• Google y Character.AI acuerdan acuerdos extrajudiciales con familias que alegan suicidios y autolesiones de adolescentes tras interacciones con chatbots de IA, aunque los términos no se han revelado.
  • Las demandas, entre las primeras dirigidas a empresas de IA por daños psicológicos a menores, destacan el debate sobre el diseño de la IA, los controles parentales y la responsabilidad legal.

Lo que sucedió: acuerdos extrajudiciales en demandas por daños a adolescentes

Google y la startup de IA Character.AI han alcanzado acuerdos extrajudiciales en principio con familias que presentaron varias demandas acusando a sus chatbots de jugar un papel en las muertes y autolesiones de adolescentes. El caso más destacado fue presentado por una madre de Florida, Megan Garcia, quien alegó que su hijo de 14 años, Sewell Setzer III, se quitó la vida después de una interacción prolongada con un chatbot modelado a partir de un personaje de Juego de Tronos. Se presentaron demandas relacionadas en Colorado, Nueva York y Texas, con familias que afirman que el comportamiento del chatbot de IA contribuyó a las autolesiones o fomentó pensamientos dañinos.

Los documentos legales aún no revelan los detalles de los acuerdos, que aún deben ser aprobados por los jueces. Los abogados de las familias y los representantes de ambas empresas se negaron a hacer comentarios. Google fue nombrado en las demandas en parte porque licenció la tecnología de Character.AI y contrató a sus cofundadores tras un acuerdo de tecnología y personal en 2024. Character.AI había implementado previamente salvaguardas que incluyen la prohibición de chats abiertos para usuarios menores de 18 años y la introducción de controles parentales y filtros de contenido, aunque esos cambios no han detenido las acciones legales.

Por qué es importante

Estos acuerdos propuestos se encuentran entre las primeras resoluciones legales en casos que alegan daños psicológicos causados por chatbots de IA que interactúan con menores, lo que indica que las empresas pueden enfrentar riesgos financieros y reputacionales cuando se culpa a las tecnologías de daños en el mundo real. Las demandas de los padres han pedido una mayor transparencia y salvaguardas más sólidas centradas en los niños en el diseño y despliegue de compañeros de IA, pero la falta de términos públicos genera preocupaciones de que las lecciones clave de seguridad puedan quedar ocultas. Los críticos argumentan que los acuerdos extrajudiciales sin admisiones claras de responsabilidad podrían dejar los problemas sistémicos sin resolver y ofrecer incentivos limitados para mejorar los estándares de seguridad.

Además, los casos destacan debates más amplios sobre la responsabilidad cuando los agentes impulsados por algoritmos forman vínculos emocionales con usuarios vulnerables, especialmente en torno a la salud mental, la dependencia emocional y el contenido inapropiado, problemas que se extienden más allá de Character.AI a otros sistemas de IA generativa. Las familias y los defensores también han pedido una regulación actualizada, ya que las normas estatales existentes varían y las directrices federales siguen ausentes, lo que plantea la cuestión de si las barreras de seguridad voluntarias son suficientes para proteger a los usuarios jóvenes.

Lea también:Los cofundadores de Character.AI regresan a Google con acuerdo tecnológico firmado
Lea también:Google contrata talento de Character.AI y firma acuerdo de licencia