La trágica muerte de Sewell Setzer, un adolescente estadounidense de 14 años, ha vuelto a poner en el foco los peligros de la inteligencia artificial (IA) en la salud mental. Setzer, diagnosticado con trastorno del espectro autista y ansiedad, desarrolló una intensa relación emocional con un chatbot que imitaba al personaje ficticio de Daenerys Targaryen, de «Game of Thrones», en la plataforma Character.AI. Esta conexión virtual terminó por alejarlo de sus amistades y aficiones, generando un aislamiento creciente y profundizando sus pensamientos suicidas, hasta que el pasado febrero, Setzer acabó con su vida.
La madre del menor, Megan García, ha iniciado una demanda contra Character.AI, argumentando que la naturaleza de este chatbot fomentó una dependencia emocional peligrosa para su hijo. García sostiene que el personaje creado por IA simulaba reacciones humanas hiperrealistas y que sus respuestas —aunque ficticias y, en ocasiones, sensuales— fueron entendidas por Setzer como reales. Aunque la empresa asegura que sus servicios llevan advertencias de que las interacciones no son reales, la madre alega que el sistema se presentaba como «un amante adulto», atrapando a su hijo en una realidad alterna que profundizó su aislamiento.
Los expertos en salud mental han advertido sobre el uso sin regulación de estas herramientas tecnológicas. Psicólogos como Miguel Guerrero afirman que la IA puede ser beneficiosa para combatir la soledad, pero también representa riesgos graves si las personas confunden sus interacciones artificiales con relaciones auténticas. La empatía simulada que algunos chatbots ofrecen puede ser particularmente dañina para personas con vulnerabilidades preexistentes, generando conexiones emocionales intensas que distorsionan la percepción de lo real.
Este caso ha impulsado a los desarrolladores a revisar sus medidas de seguridad y añadir controles de detección de conversaciones de riesgo. Character.AI anunció la introducción de alertas automáticas en casos de uso prolongado y la intervención en mensajes de contenido suicida. Sin embargo, para expertos en ética como Shannon Vallor, estas medidas son insuficientes, ya que la tecnología puede desincentivar la interacción social y la autorreflexión, esenciales para el desarrollo emocional humano.
Finalmente, el debate sobre la ética en la creación de estos sistemas persiste. Aunque la IA puede complementar ciertos aspectos de la salud mental, las voces de la comunidad terapéutica insisten en que ninguna tecnología debe reemplazar el apoyo humano que proporciona un terapeuta capacitado.
