IA fuera de control: advertencias y llamados a frenar la carrera por la inteligencia artificial

La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados ha abierto una discusión que ya no se limita a sus beneficios o a los empleos que podría transformar. 

Dentro de las propias empresas que están construyendo estas tecnologías, investigadores y especialistas han comenzado a cuestionar qué tan rápido se está avanzando y si las medidas de seguridad serán suficientes para mantener bajo control sistemas con capacidades cada vez mayores.

Las recientes renuncias y advertencias dentro de Anthropic volvieron a poner este debate sobre la mesa. Lo que ocurre en la empresa detrás de Claude se suma a una serie de episodios registrados en OpenAI, Google y otros laboratorios, donde antiguos y actuales investigadores han alertado sobre los riesgos de una inteligencia artificial que eventualmente podría incluso superar las capacidades humanas

Caso Anthropic: una renuncia y el llamado a desacelerar la IA

En los últimos días, Anthropic –empresa que se dedica al desarrollo de modelos de IA, entre ellos Claude–, quedó en el centro de una creciente discusión sobre los riesgos de desarrollar sistemas cada vez más capaces o más autónomos de inteligencia artificial.

El tema escaló con la renuncia pública del ingeniero Jacob Coxon, quien anteriormente trabajó en OpenAI y acusó a ambas compañías de avanzar hacia una superinteligencia capaz de mejorarse a sí misma.

El investigador también dijo que, según su experiencia dentro de estas compañías, las personas que están construyendo estos sistemas conocen la posibilidad de un escenario catastrófico. Coxon aseguró que algunos de quienes trabajan en el desarrollo de IA creen sinceramente que estos sistemas podrían terminar con la humanidad antes de que termine la década.

Evan Hubinger, investigador de alineación, respaldó públicamente las advertencias de Coxon y estimó en más de 10% la probabilidad de que la IA acabe a todos los humanos durante la próxima década. 

Hubinger también reconoció que Anthropic todavía no tiene un plan para resolver el problema de alineación de una eventual superinteligencia.

Las preocupaciones no se limitaron a ellos. Otros investigadores y exintegrantes de equipos de seguridad han advertido sobre el riesgo de que los avances en IA terminen superando la capacidad humana para controlarlos. 

En medio de esta presión, el propio Dario Amodei, Ceo y cofundador de Anthropic, pidió públicamente reducir el ritmo de desarrollo de los modelos de frontera. En su ensayo “We Must Pace the Frontier”, planteó dar más tiempo a las medidas de seguridad, impulsar evaluaciones independientes y aumentar la cooperación entre empresas y gobiernos. 

Anthropic también se comprometió a permitir una supervisión permanente de evaluadores externos de seguridad.

La alarma comenzó a sonar dentro de la propia industria de la IA

Antes de las recientes advertencias en Anthropic, varias de las figuras más reconocidas del desarrollo de inteligencia artificial ya habían expresado preocupación por la velocidad con la que avanzaba la tecnología. En mayo de 2023, Geoffrey Hinton, considerado uno de los “padrinos de la IA”, dejó Google para hablar con mayor libertad sobre los riesgos de este tipo de tecnología.

Hinton advirtió sobre la posibilidad de una expansión masiva de la desinformación, la pérdida de empleos y el desarrollo de sistemas que superen la inteligencia humana mucho antes de lo previsto. Incluso llegó a decir que parte de él se arrepentía del trabajo que había realizado en el campo de la inteligencia artificial.

Ese mismo año, investigadores y figuras tecnológicas respaldaron una carta del Future of Life Institute que pidió detener durante al menos seis meses el entrenamiento de sistemas más potentes que GPT-4. La preocupación central era que la industria estuviera desarrollando capacidades que eventualmente podrían resultar imposibles de controlar.

En ese sentido, apenas el 10 de septiembre de 2026, OpenAI pidió al Congreso de Estados Unidos aprobar normas obligatorias de seguridad para los sistemas de inteligencia artificial más avanzados, al considerar que los compromisos voluntarios de las empresas ya no son suficientes. 

La compañía propuso un marco federal con estándares comunes de evaluación, revisiones independientes, mayores requisitos de ciberseguridad y reportes obligatorios cuando ocurran incidentes graves.

Te puede interesar: ¡Calzoncillos bajo tierra! El insólito experimento científico para medir la salud del suelo

OpenAI también enfrentó una crisis por la seguridad de la IA

Las advertencias no se quedaron en cartas públicas. En noviembre de 2023, OpenAI atravesó una de sus mayores crisis cuando su consejo de administración destituyó temporalmente a Sam Altman. Aunque posteriormente fue reinstalado tras una fuerte presión de empleados e inversionistas, el episodio abrió un debate sobre las tensiones entre el desarrollo de productos y las preocupaciones de seguridad dentro de la compañía.

La discusión volvió a crecer en 2024 con las salidas de Ilya Sutskever y Jan Leike, quienes lideraban el equipo de Superalignment, encargado de investigar cómo mantener bajo control sistemas de IA potencialmente mucho más inteligentes que los humanos. Leike sostuvo que la seguridad había quedado relegada frente al desarrollo de productos y cuestionó que se estuvieran destinando suficientes recursos a estos riesgos.

El equipo terminó por disolverse y otros investigadores también abandonaron OpenAI, algunos después de expresar preocupaciones similares sobre la prioridad que la empresa estaba dando a sus productos frente a los riesgos de largo plazo.

De las renuncias a una exigencia: “Right to Warn”

En junio de 2024, trabajadores actuales y antiguos de OpenAI, Anthropic y Google DeepMind llevaron la discusión un paso más allá con la carta Right to Warn. El documento pidió mayores protecciones para quienes dentro de estas empresas quieran alertar sobre posibles riesgos de la inteligencia artificial, así como transparencia y garantías de que no habrá represalias por expresar preocupaciones.

La iniciativa reflejó una preocupación que ya comenzaba a repetirse entre investigadores de distintos laboratorios: quienes están más cerca del desarrollo de sistemas avanzados también quieren tener la posibilidad de hablar públicamente cuando consideran que los riesgos no están siendo atendidos. Entre quienes respaldaron la iniciativa estuvieron Hinton, Yoshua Bengio y Stuart Russell.

Bill Gates también ha advertido sobre los riesgos de la IA

Bill Gates ha señalado que la inteligencia artificial puede transformar de manera profunda la economía y el mercado laboral. El fundador de Microsoft ha advertido que los sistemas podrían llegar a realizar cada vez más tareas que actualmente dependen de las personas, lo que obligará a replantear qué trabajos deben permanecer en manos humanas.

Pero sus preocupaciones no se limitan al empleo. Gates también ha hablado de riesgos relacionados con el uso de la IA para desarrollar armas biológicas, aumentar la desigualdad y concentrar capacidades tecnológicas en pocas manos. Por ello, ha insistido en la necesidad de establecer reglas y mecanismos de cooperación para que el desarrollo de estas herramientas no avance sin controles.

Te puede interesar: ¿Cansado de la IA? Así puedes desactivarla… al menos de algunos espacios