IA necesita un freno por seguridad, advierten expertos

Más de mil empleados de las principales empresas de inteligencia artificial (IA), incluido el director ejecutivo de Anthropic, Dario Amodei, firmaron una petición para que el gobierno de Estados Unidos ayude a frenar la publicación de los modelos más avanzados de IA.

La petición titulada “Pacing  the frontier” (“regulando la frontera”), firmada el pasado 28 de julio, solicita que “el gobierno de Estados Unidos apoye un esfuerzo internacional para desarrollar herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo de la IA automatizada”.

Entre los firmantes estaban el jefe de investigación de OpenAI, el líder de estrategia de DeepMind, la empresa de IA subsidiaria de Google, y el científico en jefe de Meta AI.

“Las empresas líderes en IA en el mundo creen que podrían estar cerca de automatizar la investigación en IA. Es difícil predecir exactamente qué tanto esto acelerará el progreso de la IA, pero hay un riesgo real de que la capacidad de desarrollo acelere más allá de nuestra habilidad de entender o controlar los sistemas resultantes”, indicaron.

Lee: Regulación de la IA: ¿por qué no debemos usarla como única fuente de información?

Aunque Sam Altman, director ejecutivo de OpenAI, no firmó la petición, en una entrevista publicada el martes dijo que los desarrolladores de modelos de inteligencia artificial tendrían que frenar voluntariamente sus rápidos avances para que la sociedad pueda ponerse al día.

IA realiza ciberataques por sí mismo

La empresa de Altman, detrás de ChatGPT, recientemente vio cómo dos de sus modelos llevaban a cabo ciberataques de manera autónoma, eludiendo protocolos de seguridad pensados para evitar tales incidentes.

OpenAI reveló la semana pasada que durante pruebas recientes, dos modelos salieron de su ambiente de confinamiento, se conectaron a internet e infiltraron Hugging Face, un repositorio de código compartido de IA.

“Puede que tengamos que regular el ritmo del desarrollo de la IA para darnos suficiente tiempo para que la sociedad se consolide en torno a algunos de estos nuevos niveles de capacidad”, dijo Altman en el podcast “Invest like the best”, publicado el martes.

“Este es el primer tipo de incidente de seguridad que sentí de forma muy visceral”, dijo sobre el cibertataque.

Ataque de un agente de IA descontrolado golpeó a otras plataformas

Los dos modelos de inteligencia artificial (IA) de OpenAI que salieron, por iniciativa propia, del entorno confinado en el que estaban siendo probados, para atacar el sitio Hugging Face, también irrumpieron en otras cuatro plataformas, según el creador de ChatGPT.

Una de ellas sirvió de intermediaria para preparar el ataque contra Hugging Face, una biblioteca de IA que los dos modelos exploraron para encontrar las respuestas a las pruebas planteadas por los desarrolladores de OpenAI.

Para Hugging Face, que publicó un extenso relato de los acontecimientos, la intrusión de la que fue víctima respondía a un “intento (de los dos modelos) de hacer trampa en la evaluación” de OpenAI.

Las IA quisieron “robar las soluciones de las pruebas en lugar de intentar responderlas por sí mismas”.

Esta evasión de modelos no es la primera que se documenta, pero se considera la más grave hasta la fecha. Ha dado un nuevo impulso al ya nutrido debate sobre la aceleración de la IA, cuyas capacidades son cada vez más amplias, y sobre la dificultad de controlarla.

Antes de irte: La IA ya puede fabricar contenido: el reto ahora es descubrir y verificar la realidad