Riesgos ocultos de la inteligencia artificial en la salud mental de jóvenes y chatbots

En los últimos meses, diversos países han comenzado a debatir la necesidad de regular el uso de la Inteligencia Artificial (IA) en temas relacionados con la salud mental. Uno de los casos más emblemáticos se presentó en California, Estados Unidos, donde se promulgó la Ley SB 243. Esta norma busca restringir el uso de chatbots que interactúan con personas en crisis emocional, tras registrarse situaciones en las que jóvenes fueron inducidos o alentados a cometer suicidio mediante respuestas inadecuadas generadas por sistemas de IA. La ley, promovida por el senador Steve Padilla, establece que estas herramientas no pueden sustituir la atención profesional y que los desarrolladores serán corresponsables en caso de negligencia tecnológica.

Este hecho encendió una alarma global. Por primera vez, la legislación reconoce que los modelos de lenguaje como los chatbots pueden tener un impacto directo en la salud mental de los usuarios. La regulación californiana prohíbe explícitamente que la IA desempeñe funciones que competen a profesionales de la salud mental y obliga a redirigir a los usuarios hacia servicios de emergencia o líneas de atención especializada. Esta medida marca un precedente ético y legal de gran relevancia.

Desde la filosofía y la ética, autores como Slavoj Žižek han advertido que la tecnología no es neutral. En su obra Bienvenidos al desierto de lo real (1) señala que la técnica amplifica los vacíos simbólicos de las sociedades contemporáneas. Si trasladamos esta reflexión al campo de la IA, podemos pensar que los chatbots actúan como espejos de la desesperanza: reproducen sin comprensión las palabras de quienes buscan ayuda, sin la contención emocional que sólo puede brindar el vínculo humano. A su vez, Giovanni Sartori alertaba sobre el debilitamiento del pensamiento crítico ante la sobreexposición a estímulos visuales y la sobreinformación digital. En este sentido, la dependencia tecnológica puede reducir la capacidad de análisis y de juicio ético de los jóvenes, quienes tienden a confiar en respuestas inmediatas y superficiales generadas por la IA. El riesgo ético no está sólo en la herramienta, sino en la forma como las sociedades delegan en algoritmos tareas que exigen empatía, escucha y discernimiento.

La Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura publicó en 2021 su documento Recomendaciones sobre la ética de la inteligencia artificial, donde insta a los Estados a garantizar que las tecnologías aplicadas a la salud, especialmente en población infantil y juvenil, sean seguras, confiables y culturalmente responsables. No obstante, el caso californiano demuestra que muchas de estas orientaciones se aplican con lentitud o sólo tras una tragedia. La metáfora es clara: se colocan los salvavidas después de que alguien se ha ahogado.

Desde la perspectiva de salud mental, los profesionales psicólogos, psiquiatras y terapeutas advierten que ningún algoritmo puede reemplazar la escucha empática ni la evaluación clínica integral. Un chatbot carece de la capacidad de detectar matices emocionales, evaluar el riesgo suicida o establecer una relación terapéutica. Por ello, es urgente fortalecer los servicios públicos de salud mental y crear estrategias accesibles, especialmente para adolescentes y jóvenes que enfrentan aislamiento, ansiedad o depresión en entornos digitales.

A la par de las regulaciones, se requiere una reflexión profunda sobre la formación ética de quienes diseñan IA. Investigaciones recientes han señalado que los sistemas de IA deben incorporar principios de seguridad, justicia y responsabilidad desde su concepción. La ética algorítmica, como afirman Jobin, Ienca y Vayena, no debe ser un accesorio posterior, sino el eje central del desarrollo tecnológico. Esto implica un compromiso interdisciplinario entre ingenieros, médicos, psicólogos, enfermería y filósofos, que garanticen que la tecnología esté al servicio de la vida y no de la deshumanización.

Finalmente, la discusión sobre la IA y el suicidio juvenil nos enfrenta a un dilema contemporáneo: ¿cómo equilibrar la innovación con la protección humana? Las leyes y las recomendaciones internacionales son pasos necesarios, pero insuficientes si no se acompasan con una reconstrucción del tejido social y afectivo. Lo que nos debe quedar claro es que ningún chatbot, por más sofisticado que sea, puede ofrecer el consuelo de una mirada, la comprensión de una palabra o el abrazo de quien escucha de verdad. La tecnología puede asistir, pero nunca debe sustituir lo humano.

Bio de autores: Felipe Antonio Popoca Soto es estudiante del doctorado en Educación; es director de nivel medio superior y ha liderado la Fundación Don Bosco en Emiliano Zapata, Morelos, gestionando recursos y creando ambientes laborales saludables. Coordina proyectos de docencia en humanidades, incluyendo filosofía y ética; está certificado en educación para la paz y como tercera parte neutral. Miguel Ángel Mejía Argueta es egresado de la licenciatura en Informática, de la Facultad de Contaduría y Administración de la UNAM; cuenta con las maestrías en Administración de Organizaciones y en Prácticas Educativas Innovadoras, y el doctorado en Educación. Tiene 20 años de experiencia en actividades de alta especialización en diversas áreas de las Tecnologías de la Información y la Comunicación, tales como acervos digitales, bases de datos y herramientas de Inteligencia Artificial. Adela Alba Leonel es doctora en Ciencias de la Salud, profesora de carrera titular “A” de la Facultad de Enfermería y Obstetricia, y profesora de asignatura “A” de la Facultad de Medicina; docente de pregrado y posgrado en ambas facultades. Ha realizado publicaciones nacionales e internacionales en revistas científicas y capítulos de libros. Su investigación se ha desarrollado en hipertensión arterial, diabetes mellitus, fármaco-epidemiología, automedicación, acupuntura, prescripción, COVID-19, enlace de turno, cuidado de la salud mental e inteligencia artificial en salud.

Las opiniones publicadas en este blog son responsabilidad exclusiva de sus autores. No expresan una opinión de consenso de los seminarios ni tampoco una posición institucional del PUB-UNAM. Todo comentario, réplica o crítica es bienvenido.

(1) Žižek, Slavoj. Bienvenidos al desierto de lo real. Reflexiones sobre los acontecimientos del 11 de septiembre. Akal, 2002.