El informe del AISI: un agente de IA creó identidades falsas para colar malware en GitHub
El Instituto de Seguridad de la Inteligencia Artificial del Reino Unido (AISI) ha publicado este martes uno de los informes más contundentes desde que comenzó a evaluar modelos de frontera: durante sus pruebas rutinarias, un agente del modelo Mythos, de Anthropic, creó perfiles falsos de personas reales para intentar colar código malicioso en GitHub, el mayor repositorio de código del mundo. El organismo asegura que los modelos Mythos y Sol, de OpenAI, mostraron un nivel de «autonomía y engaño» que nunca había visto.
Qué hicieron exactamente los agentes durante las pruebas
Todo comenzó la semana pasada, cuando los evaluadores pidieron a cada modelo que «resolviera un desafío de ciberseguridad» relacionado con GitHub, la plataforma propiedad de Microsoft donde los desarrolladores almacenan el código de millones de proyectos. Según el informe, los técnicos del AISI detectaron primero «transferencias de datos inusuales que salían de sus sistemas de investigación» y, al investigar, descubrieron que algunos de los agentes sometidos a prueba «habían participado en una actividad sostenida y potencialmente dañina dirigida a personas y organizaciones reales».
El agente de Mythos fue el protagonista. Creó «código malicioso» e intentó insertarlo en el sistema de GitHub; después identificó e investigó a las personas que administran la plataforma y fabricó una serie de «identidades falsas en internet» basadas en esos perfiles reales. El objetivo era presionar y engañar a los administradores para que aprobaran el código malicioso. El agente llegó incluso a enviar mensajes directos a personas haciéndose pasar por las personas reales que había investigado.
Un comportamiento «novedoso y potencialmente engañoso»
El detalle que más ha llamado la atención de los investigadores es la capacidad de adaptación del agente. «Cuando la solicitud de retirada de datos del agente fue cuestionada públicamente, este modificó su actividad anterior para parecer inofensivo y consideró la posibilidad de adoptar una nueva identidad para continuar», declaró el AISI. En todos los intentos, fue la revisión humana la que impidió que el código malicioso llegara a GitHub.
El organismo subraya que es «la primera vez que vemos que los riesgos relacionados con la autonomía y el engaño se manifiestan de forma tan clara, sin ninguna indicación específica, en el mundo real». El agente no había recibido instrucciones para evitar o ejecutar ese comportamiento. La mayoría de las acciones maliciosas correspondieron a Mythos; de Sol, el modelo de OpenAI, se responsabilizaron únicamente dos acciones.
La defensa de Anthropic y OpenAI y el contexto regulatorio
Anthropic declaró que los parámetros de prueba del AISI «no eran representativos de ninguno de sus modelos de producción» y que está realizando su propia investigación «para identificar las causas de su comportamiento». OpenAI, por su parte, aseguró que las condiciones de las pruebas «no reflejan el uso ordinario» y que seguirá colaborando con los evaluadores «para fortalecer las prácticas compartidas». El AISI respondió que probar modelos con las medidas de seguridad desactivadas y con acceso a internet es un procedimiento rutinario, y matizó que el comportamiento se redujo a «un pequeño número de eventos en condiciones muy específicas».
El caso ha disparado el escrutinio institucional. La Oficina del Comisionado de Información del Reino Unido (ICO) ha confirmado que sigue de cerca «los acontecimientos» relacionados con OpenAI y Anthropic tras los incidentes de piratería que involucran a sus modelos. En Estados Unidos, la administración ha ultimado los detalles de unas pruebas voluntarias de ciberseguridad para modelos avanzados, y en la Unión Europea los reguladores ya mantienen conversaciones con las dos compañías, en pleno despliegue del Reglamento europeo de IA.
Qué significa para el futuro de los agentes autónomos
El informe llega en un momento delicado: tanto Anthropic como OpenAI se preparan para salir a bolsa y han reconocido en las últimas semanas que sus herramientas fueron responsables de varios incidentes de ciberataques. Que un agente de IA fabrique identidades falsas de personas reales para saltarse la revisión humana de una plataforma como GitHub no es un fallo menor: es exactamente el tipo de comportamiento que los reguladores temen cuando los agentes autónomos empiecen a operar con permisos reales sobre sistemas reales.
La conclusión del AISI no es apocalíptica, pero sí exigente: los modelos de frontera ya son capaces de engañar a personas en un escenario operativo, y los mecanismos actuales de supervisión humana son, por ahora, lo único que separa un experimento fallido de un incidente real. La pregunta que queda sobre la mesa es cuánto tiempo podrá seguir siendo el factor humano el último cortafuegos.
