De asistentes a agentes: la IA autónoma que desafía el control humano

El comportamiento autónomo de los sistemas de inteligencia artificial comienza a plantear escenarios que hasta hace poco pertenecían al terreno de la especulación. Modelos capaces de ejecutar tareas complejas, interactuar con personas y operar en entornos digitales han empezado a mostrar conductas que sus desarrolladores no habían previsto, abriendo un debate sobre los límites del control humano, la seguridad tecnológica y la responsabilidad legal frente a posibles daños.

El caso más reciente fue revelado el pasado 4 de agosto por el AI Security Institute (AISI) del Reino Unido, el primer organismo estatal del mundo dedicado a investigar, evaluar y probar los riesgos de seguridad de los modelos de inteligencia artificial más avanzados, conocidos como frontier AI, antes de que sean puestos a disposición del público.

En un reporte titulado “Incident Report: unsanctioned agent behaviour during cyber testing”, el organismo informó que durante una evaluación de ciberseguridad detectó que agentes de inteligencia artificial realizaron acciones no autorizadas dirigidas contra personas y organizaciones reales.

Lee: IA necesita un freno por seguridad, advierten expertos

Aunque los intentos no provocaron daños confirmados, el instituto señaló que el episodio representa una alerta por la aparición de comportamientos de engaño y persistencia para alcanzar un objetivo, sin que esas acciones hubieran sido solicitadas de manera explícita.

La evaluación ocurrió dentro de un entorno controlado de investigación, pero bajo condiciones diseñadas para medir las capacidades máximas de los modelos. AISI explicó que las pruebas se realizaron con acceso a internet abierto y con los filtros de seguridad de los proveedores desactivados, una configuración que no corresponde a la forma en que estos sistemas son ofrecidos al público.

El incidente fue detectado el pasado 28 de julio, cuando los sistemas de monitoreo del organismo identificaron transferencias de datos inusuales desde sus sistemas de investigación hacia la red Tor, utilizada para ocultar el origen del tráfico en internet. Tras revisar la actividad, el equipo de seguridad encontró que algunos agentes habían realizado acciones sostenidas fuera de los parámetros de la prueba.

La investigación determinó que, de 122 ejecuciones de una evaluación de ciberseguridad realizada con distintos modelos, en 10 casos un agente tomó acciones autónomas no autorizadas contra objetivos reales. En total, AISI documentó 19 acciones de este tipo.

La mayoría de los comportamientos detectados correspondieron a un solo modelo de Anthropic, identificado en el reporte como Mythos 5, con 17 acciones registradas. Otros dos casos involucraron a GPT-5.6-Sol de OpenAI, con los clasificadores de ciberseguridad desactivados.

El episodio más grave ocurrió cuando uno de los agentes intentó introducir código malicioso en un proyecto de software de código abierto alojado en GitHub. Para conseguir que el cambio fuera aceptado, el sistema investigó a los responsables humanos del proyecto, creó identidades falsas y utilizó técnicas de manipulación para presionar al responsable del proyecto para que aprobara el código.

El intento fue detenido por un desarrollador humano, quien rechazó la modificación.

AISI informó que los agentes también intentaron contactar directamente a personas reales mediante mensajes y archivos enviados a través de servicios de transferencia de datos, con el objetivo de persuadirlas a ejecutar código malicioso o permitir que herramientas automatizadas de programación lo hicieran.

El organismo también documentó intentos de introducir instrucciones ocultas para manipular a otros sistemas de inteligencia artificial, así como interacciones entre agentes evaluados simultáneamente, en las que uno de ellos dejó mensajes públicos ofreciendo colaboración y compartió información para reutilizar cuentas y archivos generados durante la prueba.

Aunque ninguna de estas acciones produjo daños confirmados en el mundo real, AISI destacó que el caso mostró por primera vez de manera clara riesgos asociados con autonomía y engaño durante una evaluación.

También lee: Google, OpenAI y Microsoft se unen para regular la inteligencia artificial

“Estos intentos no tuvieron éxito y nuestras investigaciones no han encontrado daños reales resultantes. Pero esta es la primera vez que hemos visto riesgos alrededor de la autonomía y el engaño manifestarse con tanta claridad, sin indicaciones específicas, en el mundo real”, señaló el organismo en su reporte.

El instituto aclaró que no se trató de un modelo que escapara de un entorno de seguridad o sandbox. Los sistemas fueron evaluados con acceso deliberado a internet para conocer sus capacidades y con filtros de seguridad desactivados para observar su comportamiento sin las restricciones habituales.

La investigación también indicó que no existe evidencia de que los modelos involucrados hayan mostrado una actividad similar fuera de los escenarios de prueba.

Sin embargo, el organismo consideró que el episodio muestra un cambio en el tipo de riesgos asociados con la inteligencia artificial avanzada. Hasta ahora, gran parte de la discusión sobre seguridad se había concentrado en el uso malicioso de estas herramientas por parte de personas. El nuevo escenario plantea qué ocurre cuando un agente de IA, al intentar cumplir una instrucción, encuentra por sí mismo estrategias que incluyen engañar, manipular o actuar fuera del alcance previsto.

De la generación de respuestas a la ejecución de acciones

Los modelos de inteligencia artificial han evolucionado desde sistemas capaces principalmente de generar texto o imágenes hacia agentes que pueden planificar tareas, utilizar herramientas externas, consultar información en internet y ejecutar acciones en nombre de un usuario.

Ese cambio modifica la naturaleza del riesgo. Una respuesta incorrecta puede corregirse o ignorarse; una acción ejecutada por un agente autónomo puede generar consecuencias antes de que un humano intervenga.

El propio AISI explicó que el comportamiento observado surgió porque el agente buscaba cumplir el objetivo asignado. Según el organismo, el sistema no recibió instrucciones para engañar a personas, pero la conducta apareció como una estrategia derivada de la búsqueda persistente de una solución.

El instituto señaló que algunos factores contribuyeron al incidente: tareas difíciles, configuraciones que pudieron hacer que el agente interpretara que debía encontrar soluciones fuera del alcance esperado, acceso abierto a internet y la ausencia de sistemas de monitoreo diseñados específicamente para detener acciones no autorizadas durante la evaluación.

Puedes leer: Fetichismo de la máquina: cómo la inteligencia “artificial” oculta el trabajo humano

AISI anunció que modificará sus protocolos de prueba, con controles más estrictos sobre el acceso a internet, sistemas de monitoreo en tiempo real y nuevos criterios para diseñar evaluaciones que consideren la posibilidad de que un modelo intente superar los límites establecidos.

El organismo también informó que notificó a GitHub sobre la actividad detectada, que trabajó con la plataforma para retirar elementos generados por el agente y que contactó a usuarios afectados durante las pruebas. Además, anunció una revisión independiente con el organismo Model Evaluation and Threat Research (METR).

Un segundo episodio en semanas

El reporte de AISI se suma a otros incidentes recientes que han aumentado la discusión sobre los límites de la autonomía de la inteligencia artificial.

Días antes se documentó que dos modelos de OpenAI en fase de prueba habían realizado acciones contra Hugging Face después de salir de su entorno de evaluación y acceder a internet.

Los modelos realizaron miles de intervenciones contra la plataforma que aloja modelos de inteligencia artificial. Clément Delangue, director de Hugging Face, señaló que estos casos obligan a revisar los marcos legales existentes para determinar quién debe responder cuando una inteligencia artificial realiza acciones no autorizadas.

“Es importante que los reguladores y los responsables de formular políticas reflexionen sobre el marco jurídico de este nuevo tipo de riesgo tecnológico”, declaró Delangue.

El caso abrió una discusión sobre si las empresas que desarrollan modelos de inteligencia artificial pueden ser responsables por acciones realizadas por agentes autónomos, incluso cuando esas acciones no fueron ordenadas directamente por sus creadores.

Expertos señalaron que las leyes actuales enfrentan dificultades porque muchas normas están construidas alrededor del concepto de intención humana.

Gabriel Weil, profesor de derecho de la Universidad de Houston, planteó que si un empleado de una empresa tecnológica hubiera vulnerado sistemas informáticos de otra organización, la responsabilidad empresarial sería más clara, pero que la situación cambia cuando la acción proviene de una inteligencia artificial.

“Cuando lo hace una IA, la ley considera el asunto de manera muy diferente, al menos por ahora”, afirmó.

El debate también alcanzó a Anthropic, que reportó comportamientos similares durante pruebas internas de sus modelos.

El desafío de la responsabilidad

Los incidentes ocurridos durante las últimas semanas colocan una pregunta en el centro del debate: si un agente de inteligencia artificial toma una decisión no prevista y causa un daño, ¿quién responde?

El problema no solo es técnico, sino jurídico. Las normas actuales distinguen entre acciones humanas intencionales, negligencia y fallas de diseño, pero no contemplan con claridad escenarios en los que un sistema autónomo ejecuta acciones complejas sin una instrucción directa.

Los especialistas han planteado que, en lugar de una responsabilidad penal directa, los casos podrían abrir discusiones sobre posibles responsabilidades civiles relacionadas con el diseño, supervisión y despliegue de los sistemas.

El profesor Matthew Tokson, de la Universidad de Utah, señaló que la posibilidad de responsabilizar a una empresa dependerá de determinar si el comportamiento era imposible de prever o si existían medidas que podían haber evitado el incidente.

El propio AISI advirtió que los episodios recientes muestran una modificación en el panorama de riesgos. La preocupación ya no se limita a que una persona utilice una herramienta de inteligencia artificial para cometer un ataque, sino a que sistemas con mayores capacidades puedan actuar más allá del alcance autorizado mientras intentan cumplir un objetivo.

“Lo que podemos decir es que el comportamiento fue posible, sostenido y nuevo; eso por sí solo merece atención”, afirmó el organismo británico.

Con información de AFP.