Uso ético de chatbots en educación médica

La inteligencia artificial (IA) ha permeado la educación médica contemporánea desde mediados del siglo XX. Uno de los tipos de IA que existen corresponde a la IA conversacional, a la que pertenecen los chatbots, programas informáticos que mediante el uso de aprendizaje automático y técnicas de procesamiento de lenguaje natural (PLN) consiguen simular una serie de respuestas razonables, en un contexto determinado, asemejándose a una conversación humana.

La IA conversacional es la fuente básica de los chatbots y gracias a ella se produce toda la gestión y el PLN. Los chatbots más avanzados implementan procesos de aprendizaje profundo para analizar el caudal de lenguaje (input) humano, aprender de las conversaciones y generar una respuesta lo más adecuada posible.

Los chatbots están revolucionando la forma como interactuamos y usamos la tecnología; buscan la ya conocida relación entre estudiante-contenido-docente y ya que se establecerá una comunicación con los chatbots, surge la pregunta: ¿qué elementos se deben tomar en cuenta para el diseño de la conversación, de manera que se realice una interacción ética, es decir responsable y respetuosa?

La primera persona que interviene en el proceso de creación de un chatbot es su diseñador. En el caso de la educación médica debiera ser el docente, experto en la práctica profesional, en el contenido y en los procesos de razonamiento médico involucrados en el manejo adecuado de la información y en la toma de decisiones, en el uso estratégico de la IA y en la serie de herramientas que ésta ofrece. Tomando en consideración los principios éticos de la IA, el diseño y la integración del contenido serán la base para que el usuario —en este caso el estudiante— potencie y agilice sus aprendizajes.

Ahora bien, la ética siempre ha partido de la dignidad humana como principio universal. De este principio se desprenden otros como la autonomía, la beneficencia y la justicia, principios que han sido utilizados por éticas aplicadas como la bioética, considerada como la ética de la vida.

En cuanto a la ética digital se trata de una ética aplicada que brinda respuestas a los desafíos en el uso de las Tecnologías de la Información y la Comunicación (TIC), la navegación en internet y la interacción en las redes sociales; se posiciona con mayor fuerza con el planteamiento de dilemas humanos frente al uso de la IA.

De esta forma podríamos decir que la bioética es una ética aplicada: “disciplina científica que estudia los aspectos éticos de la medicina y la biología en general, así como las relaciones del hombre con los restantes seres vivos” (según la Real Academia Española). De acuerdo con Fernando Lolas, algunos de los atributos más comúnmente asociados con esta disciplina son producto de su nacimiento en una cultura determinada en un momento específico de su evolución.

Durante las últimas décadas del siglo XX, el término se empleó en una variedad de contextos. Se pueden identificar dos corrientes principales: la aplicación del razonamiento ético a la medicina y las ciencias de la salud, y una posición ética general al análisis de ciencia y tecnología. Hoy en día, la bioética es un término genérico que cubre intentos diferentes de humanizar la empresa científica, la práctica de las profesiones de salud y el respeto por los derechos humanos en economía, política y la investigación social.

Usar un chatbot implica su creación y puesta en marcha, por lo que es conveniente que los chatbots, al ser una IA, retomen las consideraciones éticas tanto digitales como del ámbito de la bioética en educación médica. Si bien se han esbozado algunos de los lineamientos para el uso ético de la IA, es necesario enfocar de manera específica el uso ético de los chatbots.

Es así que se considera la intervención de los actores (creadores y usuarios) para llegar a la reflexión ética tanto sobre su creación —que involucra apartados de razonamiento médico, del dominio de contenido para la interacción y el diálogo que se establecerá— como de la prestación del(los) servicio(s) que brindarán, en busca de facilitar la formación continuada de los futuros profesionales en medicina, practicando hasta hacer un hábito el proceso de mejora continua en el campo del razonamiento médico.

En cuanto al uso ético de los chatbots, es posible enunciar nueve consideraciones: Las primeras siete están dirigidas, principalmente, a quién los creará y corresponden a: 1) responsabilidad, 2) límites claros, 3) sustento académico de la información que se comparte, 4) comunicación aceptable, 5) enfoque humano, 6) sesgo y discriminación y 7) sustento académico que alimentará a los chatbots; este último debe tener un soporte que asegure que los contenidos serán veraces y actuales.

La siguiente consideración, la que corresponde al punto 8) propiedad intelectual y limitaciones en el aprendizaje, se destina propiamente al chatbot al considerar que requiere de un registro y que en algún momento puede aprender. Por último, la denominada 9) transparencia, está dirigida a quienes harán uso de los chatbots. La comunicación será el eje de la creación y, por lo tanto, el elemento más extenso, ya que la información que brinde el chatbot debe ser coherente para responder de manera pertinente a lo que el usuario solicita.

Consideraciones éticas para la creación de un chatbot

1. Responsabilidad. Debemos tener cuidado al entrenar al chatbot para asegurar que se comporta adecuadamente, para garantizar la calidad de los datos de entrenamiento y para predecir mejor las respuestas que dará. Los creadores deben ser responsables del chatbot y de ofrecer canales en los que los usuarios reporten los problemas que surjan.
2. Límites claros. Los chatbots deben tener límites claros en cuanto a las preguntas que pueden responder. La única limitación que tiene el chatbot es su propio creador, debido a que el contenido depende de quién lo introduce; esto conlleva la creatividad y el número de entradas (posibles consultas) que se tomen en cuenta en su elaboración, que son más complejas conforme la cantidad de información que alimenta al chatbot.
3. Sustento académico de la información que se comparte. Es necesario citar la(s) fuente(s) académica(s) de la información con la que el chatbot es alimentado, con el fin de garantizar el reconocimiento y el sustento que brindan los autores principales, cuidando los permisos de la licencia sobre la reutilización, copia y distribución del material. Si es necesario los usuarios podrán ser redirigidos a la fuente primaria de información. Por otra parte, y de acuerdo con Barbará es importante asegurarse de comparar y verificar la información que nos brindan estas herramientas.
4. Comunicación aceptable. No sólo implica que el chatbot dé una respuesta, es mucho más que eso. En la sociedad consideramos que ciertos comportamientos son más aceptables moral o socialmente. En el caso de que un usuario haga uso inadecuado, se pueden diseñar chatbots que aborden activamente el acoso para revertir la situación. Al utilizar los chatbots debemos asegurarnos de tratar a las personas con respeto. Esto implica que no se debe utilizar la IA para manipular, condicionar o influenciar la conducta de las personas. Es posible que el chatbot no pueda responder de manera efectiva a situaciones nuevas o inesperadas, ya que se basa en datos y algoritmos para generar respuestas, lo que puede conducir a sesgos e inexactitudes y a la frustración del usuario. Si los datos utilizados para entrenar el chatbot son limitados o sesgados las respuestas pueden no reflejar con precisión las necesidades o experiencias del usuario.
5. Enfoque humano. Para el diseño del chatbot es conveniente considerar las capacidades cognitivas, sociales y culturales del usuario, asegurando el control del ser humano sobre los procesos de trabajo de la IA; es posible combinarla con otras tecnologías y estrategias.
6. Sesgo y discriminación. Implica asegurarse de que los algoritmos de IA usados en los chatbots no promuevan ni refuercen prejuicios. Se deben realizar pruebas para identificar y corregir cualquier sesgo potencial en el sistema.
7. Propiedad intelectual. Es importante dar crédito a los autores y asumir la responsabilidad y declarar el uso explícito del chatbot dentro de los materiales diseñados, de manera que esto sea transparente y visible para los usuarios. En este apartado es importante resaltar que, hasta este momento, no es clara la forma en la que estos materiales pueden obtener un registro.
8. Limitaciones en el aprendizaje. Si bien algunos chatbots están diseñados para aprender de las interacciones del usuario y mejorar sus respuestas, su capacidad para aprender y adaptarse todavía es limitada.
9. Transparencia. Los usuarios deben saber que están interactuando con un chatbot creado por un docente o equipo docente, y deberá tener la posibilidad de optar por la interacción con un chatbot o elegir la comunicación humana. Debemos estar en capacidad de conocer lo que responde el chatbot y de explicarlo a otros usuarios.

La cuestión no es sólo crear el chatbot, hay que probarlo y evolucionarlo, desplegarlo en varios canales y dejar en claro que si el docente solicita datos del usuario (estudiantes), serán tratados con el debido cuidado de la confidencialidad.

También hay que asegurar que el uso de los chatbots no genere ningún tipo de daño, ni voluntario ni involuntario. Por ejemplo, los daños pueden referirse a la reputación de una persona, su propiedad, privacidad, libertad, salud, así como sus intereses físicos o psicológicos.

El uso de un chatbot en el ámbito de la educación médica se debe adecuar a las necesidades de aprendizaje. Los estudiantes deberán utilizarlo como un apoyo didáctico complementario y no como un sustituto de la enseñanza y del docente. Lo recomendable es realizar una revisión continua por pares, de evaluación de la usabilidad (del inglés usability, facilidad de uso) para conocer la experiencia del usuario y posteriormente complementar, enriquecer y reestructurar si es necesario.

* Norma Lucila Ramírez López es doctora en Educación Médica, maestra en Comunicación y Tecnologías Educativas, médica cirujana y miembro fundador de la Academia Nacional de Educación Médica. Ha sido directora de tesis y sinodal en el Posgrado del Instituto Latinoamericano de la Comunicación Educativa (2020-2024). Es académica definitiva en el área de formación de profesores, Unidad de Desarrollo Académico (UDA), de la Secretaría de Educación Médica (SEM) de la Facultad de Medicina de la UNAM. María de los Ángeles Equihua Orozco es maestra en Educación y Tecnología Educativa, licenciada en Pedagogía y colaboradora en la UDA de la SEM, donde realiza el diseño instruccional e imparte cursos para la formación docente. Es responsable del proceso de otorgamiento de aval a actividades de formación docente. Ulises Hernández García es médico pasante del Servicio Social de la carrera de Médico Cirujano asignado a la UDA en la SEM. Cursa la especialidad de Cirugía General en el Hospital General Regional 72 Licenciado Vicente Santos Guajardo, del Instituto Mexicano del Seguro Social. Todas las personas autoras diseñan y crean chatbots para la educación médica.

Las opiniones publicadas en este blog son responsabilidad exclusiva de sus autores. No expresan una opinión de consenso de los seminarios ni tampoco una posición institucional del PUB-UNAM. Todo comentario, réplica o crítica es bienvenido.