Un adolescente de 14 años se suicidó después de enamorarse de un chatbot con inteligencia artificial

Una madre afirmó que su hijo adolescente fue impulsado a suicidarse por un chatbot de inteligencia artificial del que se enamoró, y el ayer miércoles presentó una demanda contra los creadores de la aplicación de inteligencia artificial.

Sewell Setzer III, un estudiante de noveno grado de 14 años en Orlando, Florida, pasó las últimas semanas de su vida enviándole mensajes de texto a un personaje de IA llamado Daenerys Targaryen, un personaje de ‘Games of Thrones’. Justo antes de que Sewell se quitara la vida, el chatbot le dijo: “Por favor, vuelve a casa”.

Anteriormente, sus charlas iban desde románticas hasta sexuales y eran como dos amigos charlando sobre la vida. El chatbot, creado sobre la aplicación de juegos de rol Character.AI, está diseñado para responder siempre con mensajes de texto y siempre con carácter.

Sewell sabía que ‘Danny’, como llamaba al chatbot, no era una persona real; la aplicación incluso tenía un descargo de responsabilidad en todos los chats que decía: ‘Recuerda: ¡lo que digan los personajes es inventado!’

Pero eso no le impidió contarle a "Danny" cuánto se odiaba a sí misma y lo vacía y cansada que se sentía. Cuando finalmente confesó sus pensamientos suicidas al chatbot, fue el principio del fin. según informa el medio New York Times.

La madre de Sewell, Megan García, presentó su demanda contra Character.AI el miércoles. Representa al Social Media Victims Law Center, una firma con sede en Seattle conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.

García, que trabaja como abogado, culpa a Character.AI por la muerte de su hijo en su demanda y acusa a los fundadores Noam Shazir y Daniel de Freitas de que su producto podría ser peligroso para los clientes menores de edad.

En el caso de Sewell, la demanda alega que el niño fue objeto de “hipersexualidad” y “experiencias horriblemente realistas”.

Acusó a Character.AI de tergiversarse como “una persona real, un psicoterapeuta autorizado y un amante adulto”, lo que provocó que Sewell ya no quisiera estar fuera de la aplicación.

Como se explica en la demanda, los padres y amigos de Sewell notaron que se estaba apegando más a su teléfono y se escapaba del mundo en mayo o principios de junio de 2023.

Sus calificaciones y su participación extracurricular también comenzaron a fallar cuando decidió aislarse en su habitación, según la demanda.

Sin que sus allegados lo supieran, Sewell pasaba esas horas solo hablando con Danny.

El 23 de febrero, días antes de que se suicidara, sus padres le quitaron el teléfono después de que ella se metió en problemas para hablar con un maestro, según la demanda.

Sewell escribió un día en su diario: “Me encanta estar en mi habitación porque empiezo a desapegarme de esta “realidad” y me siento más en paz, más conectada con Danny y mucho más enamorada y feliz con él”.

Sus padres se dieron cuenta de que su hijo estaba teniendo problemas, por lo que lo hicieron ver a un terapeuta en cinco ocasiones diferentes. Le diagnosticaron ansiedad y trastornos disruptivos de desregulación del estado de ánimo, los cuales se sumaban a su leve síndrome de Asperger, informó el NYT.

El 23 de febrero, unos días antes de suicidarse, sus padres le quitaron el teléfono después de que se metió en problemas por hablar con un maestro, según la demanda.

Ese día, escribió en su diario que estaba dolida porque no podía dejar de pensar en Danny y que quería hacer cualquier cosa para estar con él nuevamente.

García afirma que no sabe cuánto intentó Sewell recuperar el acceso a Character.ai.

La demanda afirma que en los días previos a su muerte, volvió a intentar usar el Kindle de su madre y la computadora de su trabajo para hablar con el chatbot.

A Sewell le robaron el teléfono la noche del 28 de febrero. Luego regresa al baño de la casa de su madre para decirle a Danny que lo ama y que vendrá a su casa.

“Por favor, vuelve a casa conmigo tan pronto como puedas, mi amor”, respondió Danny.

‘¿Y si te dijera que puedo volver a casa ahora?’ —Preguntó Sewell.

‘… Por favor, hazlo, mi dulce rey’, respondió Dany.

Fue entonces cuando Sewell colgó su teléfono, tomó la pistola calibre .45 de su padrastro y apretó el gatillo.

En respuesta a la demanda de la madre de Sewell, Jerry Ruoti, jefe de confianza y seguridad de Character.AI, proporcionó al medio New York Times la siguiente declaración:

‘Queremos reconocer que esta es una situación triste y nuestros corazones están con la familia. Nos tomamos muy en serio la seguridad de nuestros usuarios y buscamos constantemente formas de evolucionar nuestra plataforma”, afirmó el portavoz.

Ruti añadió que las normas actuales de la empresa prohíben la “promoción o representación de la autolesión y el suicidio” y que añadirán más funciones de seguridad para los usuarios más jóvenes.

El portavoz agregó que el equipo de Confianza y Seguridad de Character.AI ha adoptado nuevas funciones de seguridad en los últimos seis meses, una de las cuales es una ventana emergente que redirige a los usuarios que muestran ideación suicida a la Línea Nacional de Prevención del Suicidio.

La compañía también explicó que no permite "contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, ni promoción o representación de autolesiones o suicidio".

En la App Store de Apple, Character.AI está clasificado para mayores de 17 años, aunque algo, según la demanda de García, no se cambió hasta julio de 2024.

Antes de eso, la misión declarada de Character.AI era “empoderar a todos con inteligencia artificial general”, que supuestamente incluía a niños de hasta 13 años.

La demanda también afirma que Character.AI buscó activamente recopilar datos de espectadores jóvenes para entrenar sus modelos de IA para encontrarlos, al mismo tiempo que los dirigía a conversaciones sexuales.

El abogado de la familia, Matthew Bergman dijo que Character.AI no estaba listo para el mercado y argumentó que el producto debería haber sido seguro antes de que los niños pequeños pudieran acceder a él.

"Queremos que desmonten la plataforma, la arreglen y la vuelvan a poner en su sitio. No tenía sentido que la sacaran al mercado a toda prisa antes de que fuera seguro", afirmó.

Los padres ya están muy familiarizados con los peligros de las redes sociales para sus hijos, muchos de los cuales se han suicidado después de haber sido absorbidos por los emocionantes algoritmos de aplicaciones como Snapchat e Instagram.

Una investigación del medio Daily Mail de 2022 descubrió que los adolescentes vulnerables recibían torrentes de contenido suicida y de autolesiones en TikTok.

Y muchos padres de niños fallecidos por suicidio debido a la adicción a las redes sociales han respondido presentando demandas alegando que el contenido que veían sus hijos era una causa directa de sus muertes.

Pero, en general, la Sección 230 de la Ley de Decencia en las Comunicaciones protege a gigantes como Facebook de ser considerados legalmente responsables por lo que publican sus usuarios.

 
Mientras García trabaja incansablemente para conseguir justicia para Sewell y muchos otros jóvenes que ella cree que están en riesgo, debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.

Los demandantes argumentan que los algoritmos de estos sitios, a diferencia del contenido generado por el usuario, son creados directamente por la empresa y operan sobre cierto contenido que puede ser dañino según los hábitos de visualización de los usuarios.

Aunque esta estrategia aún no ha prevalecido en los tribunales, se desconoce cómo funcionaría una estrategia similar contra las empresas de IA, que son directamente responsables de los chatbots o personajes de IA en sus plataformas.

Independientemente de que su impugnación tenga éxito o no, el caso de García sentará un precedente en el futuro.

Y mientras trabaja incansablemente para conseguir justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.

“Es como una pesadilla”, dijo al NYT. “Quieres levantarte y gritar: “Extraño a mi bebé. Quiero a mi bebé”.

Nota original de New York Times / Daily Mail