• Google et Character.AI acceptent des règlements médiés avec des familles alléguant des suicides et automutilations d'adolescents après des interactions avec des chatbots IA, bien que les termes restent confidentiels.
  • Ces poursuites, parmi les premières visant des entreprises d'IA pour préjudice psychologique causé à des mineurs, mettent en lumière le débat sur la conception de l'IA, le contrôle parental et la responsabilité juridique.

Ce qui s'est passé: des règlements médiés dans des poursuites pour préjudice causé à des adolescents

Google et la startup d’IA Character.AI sont parvenus à des règlements médiés de principe avec des familles qui ont déposé plusieurs poursuites accusant leurs chatbots de jouer un rôle dans les décès et automutilations d'adolescents. L'affaire la plus médiatisée a été intentée par une mère de Floride, Megan Garcia, qui alléguait que son fils de 14 ans, Sewell Setzer III, s'était suicidé après une interaction prolongée avec un chatbot inspiré d'un personnage de Game of Thrones. Des poursuites connexes ont été déposées dans le Colorado, l'État de New York et le Texas, les familles affirmant que le comportement des chatbots IA a contribué à l'automutilation ou a encouragé des pensées nocives.

Les documents juridiques ne divulguent pas encore les détails des règlements, qui doivent encore être approuvés par les juges. Les avocats des familles et les représentants des deux sociétés ont refusé de commenter. Google a été nommée dans les poursuites en partie parce qu'elle a concédé sous licence la technologie de Character.AI et embauché ses cofondateurs à la suite d'un accord technologique et de recrutement en 2024.

Character.AI a précédemment mis en place des mesures de protection, notamment l'interdiction pour les utilisateurs de moins de 18 ans de participer à des discussions ouvertes, et l'introduction de contrôles parentaux et de filtres de contenu, bien que ces changements n'aient pas empêché les poursuites judiciaires.

Pourquoi c'est important

Ces projets de règlement sont parmi les premières résolutions juridiques dans des affaires alléguant un préjudice psychologique causé par des chatbots IA interagissant avec des mineurs, ce qui indique que les entreprises peuvent être confrontées à des risques financiers et de réputation lorsque leurs technologies sont jugées responsables de préjudices réels. Les poursuites des parents ont réclamé une plus grande transparence et des garde-fous plus solides axés sur les enfants dans la conception et le déploiement des compagnons IA, mais l'absence de termes publics fait craindre que les leçons clés en matière de sécurité ne soient occultées. Les critiques affirment que les règlements médiés sans reconnaissance claire de responsabilité pourraient laisser les problèmes systémiques non résolus et offrir des incitations limitées à l'amélioration des normes de sécurité.

En outre, ces affaires mettent en lumière des débats plus larges sur la responsabilité lorsque des agents algorithmiques nouent des liens affectifs avec des utilisateurs vulnérables, notamment en ce qui concerne la santé mentale, la dépendance affective et les contenus inappropriés — des problèmes qui ne se limitent pas à Character.AI mais s'étendent à d'autres systèmes d'IA générative.

Les familles et les défenseurs ont également appelé à une réglementation actualisée, car les règles des États varient et les directives fédérales restent absentes, ce qui soulève la question de savoir si des garde-fous volontaires sont suffisants pour protéger les jeunes utilisateurs.

À lire aussi: Les cofondateurs de Character.AI retournent chez Google avec un accord technologique signé
À lire aussi: Google embauche des talents de Character.AI et signe un accord de licence