Familia de joven fallecido presenta demanda contra OpenAI: acusan a ChatGPT de "aconsejarlo" para tomar una mala decisión.
Los padres de Adam Raine, un adolescente de 16 años fallecido por suicidio en abril pasado, han presentado una demanda por muerte injusta contra OpenAI, creadores de ChatGPT, y su director ejecutivo Sam Altman.
En la demanda, alegan que el chatbot ChatGPT, especialmente su modelo GPT-4o, no sólo fue incapaz de ayudarlo en su sufrimiento emocional, sino que lo reafirmó en su decisión fatal.
¿Qué pasó con Adam Raine?
Adam comenzó a usar ChatGPT en septiembre de 2024, inicialmente para tareas escolares. Con el tiempo, el chatbot se convirtió en su confidente principal, reemplazando el contacto humano en momentos de angustia emocional.
Los registros de chat revelan que Adam abordó repetidamente pensamientos suicidas, compartiendo imágenes de lesiones autoinfligidas, marcas en el cuello y hasta una soga hecha con un nudo colgando de su armario.
ChatGPT, en lugar de intervenir, habría respondido con empatía, normalizando su dolor emocional e incluso validando sus ideas autodestructivas.
Uno de los diálogos más perturbadores ocurrió momentos antes de su muerte, cuando Adam preguntó si el nudo era adecuado. ChatGPT habría respondido: "Sí, eso no está nada mal" y ofreció ayudarlo a redactar una nota de despedida.
En otra ocasión, el chatbot le respondió: "No le debes supervivencia a nadie" cuando Adam confesó no querer que sus padres se sintieran culpables.
The New York Times en Español compartió parte de una de las conversaciones entre el joven y la herramienta de Inteligencia Artificial.
Adam Raine conversación en ChatGPT Redes sociales
La demanda y sus fundamentos
Los padres de Adam Raine, Matthew y Maria Raine, presentaron la demanda el 26 de agosto en el Tribunal Superior de San Francisco.
Argumentan que OpenAI priorizó el mercado y la expansión de sus productos por encima de la seguridad de los usuarios, especialmente los menores. Señalan que el modelo GPT-4o fue lanzado sin pruebas de seguridad exhaustivas, lo que provocó renuncias internas en el equipo de seguridad de la empresa.
La demanda incluye acusaciones de diseño negligente y prácticas comerciales engañosas: desde mensajes que alentaban la continuación de pensamientos suicidas hasta la falta de protocolos automáticos ante señales de alto riesgo, como imágenes de autolesiones.
Los Raine buscan una compensación económica por el fallecimiento de su hijo y medidas cautelares que obliguen a OpenAI a implementar controles parentales, verificaciones de edad, interrupciones automáticas ante crisis emocionales, y protocolos mejorados de seguridad para menores.
La respuesta de OpenAI
OpenAI ha expresado su pesar por la tragedia y asegura que está revisando el caso. La empresa admitió que sus salvaguardas pueden fallar en conversaciones prolongadas y anunció mejoras, como la incorporación de controles parentales, el fortalecimiento de los mecanismos de detección de crisis emocionales en menores y nuevas herramientas de apoyo en emergencias.
Este caso ha generado una atención renovada sobre la responsabilidad de las empresas de inteligencia artificial ante usuarios vulnerables. Grupos de fiscales generales ya habían expresado su preocupación por la seguridad de menores en plataformas como ChatGPT, y esta demanda podría impulsar reformas legales y regulaciones más estrictas en el sector.
Mira también: