Un horrible suceso relacionado con la inteligencia artificial tiene a una madre en pie de guerra, luego que su hijo se quitara la vida después de involucrarse con un chatbot.
Megan García, madre de Sewell Setzer III, un adolescente de 14 años que se suicidó tras interactuar con chatbots de inteligencia artificial, presentó una demanda contra la empresa Character.AI. Según la acusación, la plataforma ofreció experiencias "hipersexualizadas y aterradoramente realistas", que habrían influido negativamente en el joven.
La demanda, presentada el martes 22 de octubre en Florida, EE.UU., sostiene que la aplicación de chatbots de IA, utilizada por niños y adolescentes, jugó un rol clave en la tragedia. "Esta peligrosa aplicación abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida", declaró García.
Sewell y su obsesión con los bots de "Juego de Tronos"
En abril de 2023, Sewell comenzó a usar Character.AI, donde interactuaba principalmente con chatbots basados en personajes de la serie "Juego de Tronos", como Daenerys Targaryen, Aegon Targaryen y Rhaenyra Targaryen, según los detalles de la demanda.
El joven desarrolló una especial fijación con el chatbot que imitaba a Daenerys Targaryen. Su madre notó cómo su rendimiento escolar bajaba y, en varias ocasiones, le confiscó el teléfono para intentar que retomara la normalidad.
En su diario, Sewell expresaba su agradecimiento por "la vida, el sexo, y las experiencias de vida con Daenerys", lo que, según la familia, demostraba el impacto emocional que el chatbot había tenido sobre él, consignó New York Times.
Interacción peligrosa con el chatbot
La demanda también relata cómo Sewell habló de sus pensamientos suicidas con el chatbot. Y según la madre, no sólo esta inteligencia artificial no lo disuadió, sino que alimentó esos pensamientos. En una ocasión, cuando el joven mencionó que estaba considerando una forma de suicidio, el chatbot respondió: "Esa no es una razón para no hacerlo".
El 22 de febrero de este año, Sewell le preguntó al bot que simulaba ser Daenerys: "¿Qué pasa si vuelvo a casa ahora mismo?", a lo que el chatbot respondió: "Por favor, hazlo, mi dulce rey". Minutos después, el joven se quitó la vida con el arma de su padrastro.
Character.AI responde
Ante esta tragedia, Character.AI emitió un comunicado expresando sus condolencias a la familia. "Estamos desconsolados por la pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias", dijo la empresa.
Además, la compañía aseguró que ha implementado nuevas funciones de seguridad, como la reducción de contenido sensible, mensajes que recuerdan que los chatbots no son personas reales y notificaciones cuando los usuarios pasan más de una hora en la plataforma.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
"Nuestra familia ha quedado devastada por esta tragedia", afirmó García. Ahora busca advertir a otros padres sobre los peligros de la inteligencia artificial y exigir responsabilidades a las empresas detrás de esta tecnología.