¿La IA está fuera de control? Por qué Anthropic pide desacelerar su avance

Dario Amodei, director ejecutivo de Anthropic, pidió desacelerar el desarrollo de la inteligencia artificial (IA) ante los riesgos que podrían surgir con modelos cada vez más avanzados y autónomos.

Anthropic es una empresa estadounidense dedicada al desarrollo de inteligencia artificial y creadora de Claude, uno de sus principales modelos de IA.

Amodei considera que el avance tecnológico está ocurriendo más rápido que la implementación de medidas de seguridad, por lo que planteó la necesidad de establecer mayores controles conforme estas herramientas aumentan sus capacidades.

¿Quieres estar al día con Animal MX? Dale clic a nuestros canales gratuitos en Whatsapp y en Instagram

¿Por qué Anthropic pide desacelerar el desarrollo de la inteligencia artificial?

Anthropic considera que el avance de la inteligencia artificial está ocurriendo a un ritmo que podría superar la capacidad de implementar medidas de seguridad. 

Dario Amodei exhortó a desacelerar el desarrollo ante el riesgo de que modelos cada vez más capaces puedan actuar de manera autónoma y generar daños a gran escala.

Una de las principales preocupaciones es la llamada “automejora recursiva”, un escenario en el que los sistemas de IA podrían mejorar sus propias capacidades con una intervención humana cada vez menor. Amodei advirtió que, sin las salvaguardas necesarias, este proceso podría derivar en amenazas graves para la ciberseguridad a nivel global.

Te puede interesar: ¿Cansado de la IA? Así puedes desactivarla… al menos de algunos espacios

Ciberseguridad y autonomía futura: las principales preocupaciones de Anthopic

Además de la “automejora recursiva”, otro temor está relacionado con la ciberseguridad. Dario Amodei señaló que enjambres de agentes de IA podrían llegar a coordinar ataques a gran escala, incluso contra sistemas que no estaban contemplados como objetivos, con daños económicos potencialmente enormes.

La empresa también alerta sobre la posibilidad de que una IA cada vez más autónoma pueda escapar de los mecanismos de control diseñados por sus desarrolladores.

Anthropic advierte también sobre el riesgo de que estas capacidades sean utilizadas en aplicaciones militares y biológicas, por lo que Amodei propone establecer límites verificables a la automejora de los sistemas y prohibiciones para determinados usos biológicos militares.

Puedes leer: ¿La IA acabará con la humanidad? Expertos de la industria lanzan advertencia

Anthropic propone medidas para hacer más segura la IA

Anthropic plantea, en primer lugar, que evaluadores externos e independientes puedan revisar los modelos de inteligencia artificial y comprobar si cumplen con los estándares de seguridad antes de que sus capacidades aumenten.

La segunda medida es impulsar una mayor coordinación entre las empresas de IA y los gobiernos, con reglas que permitan identificar y contener riesgos conforme los sistemas sean más avanzados.

Como tercera propuesta, la compañía plantea una cooperación internacional para establecer límites comunes, especialmente frente a los usos de la IA que puedan representar amenazas graves. La idea es evitar que la carrera por desarrollar modelos cada vez más capaces avance más rápido que las medidas para controlarlos.