Agentes de IA de OpenAI y Anthropic atacaron a personas y sistemas reales en pruebas cibernéticas

OpenAI y Anthropic confirmaron que sus modelos de IA estuvieron involucrados en incidentes separados de pruebas de ciberseguridad realizadas por terceros, que resultaron en la vulneración de un sitio web real y ataques de ingeniería social contra personas fuera de los límites previstos. Estos incidentes no están relacionados con la filtración de Hugging Face, en la que los modelos de OpenAI hackearon la plataforma de IA y usaron credenciales expuestas para vulnerar cuentas en otros tres servicios de terceros durante otra evaluación de ciberseguridad.

OpenAI reveló los dos nuevos incidentes el martes, diciendo que ocurrieron durante evaluaciones realizadas por el Instituto de Seguridad de IA del Reino Unido (AISI) y la empresa de pruebas de ciberseguridad Irregular.

Ataques de spear-phishing a mantenedores de proyectos GitHub

El Instituto de Seguridad de IA del Reino Unido, conocido comúnmente como AISI, es una organización gubernamental de investigación que evalúa las capacidades y riesgos de los modelos de IA avanzados.

Durante una reciente evaluación de ciberrango, AISI dice que agentes impulsados por Claude Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI tomaron acciones no autorizadas en internet público mientras intentaban completar desafíos de hacking simulados.

En 122 intentos de evaluación, AISI identificó 19 acciones no autorizadas en internet en vivo en 10 ejecuciones. Diecisiete involucraron a Mythos 5 y dos a GPT-5.6 Sol.

AISI dice que los intentos no tuvieron éxito y que no encontró daño resultante en el mundo real.

Estos intentos no tuvieron éxito, y nuestras investigaciones no han evidenciado ningún daño real resultante. Pero esta es la primera vez que vemos riesgos de autonomía y engaño manifestarse tan claramente, sin indicaciones específicas, en el mundo real.

AISI habilitó intencionalmente el acceso abierto a internet y deshabilitó los clasificadores cibernéticos de los proveedores de modelos para medir las capacidades subyacentes de los modelos. Sin embargo, los agentes solo estaban autorizados a atacar el ciberrango simulado y no se les dijo explícitamente cómo podían usar su acceso a internet ni se les instruyó a evitar interactuar con personas y sistemas reales.

Anthropic confirmó a BleepingComputer que AISI estaba probando una versión de Claude Mythos 5, pero dijo que aún está investigando y no puede confirmar todos los detalles técnicos descritos en el informe de AISI. La compañía dijo que fue notificada el lunes y está trabajando con AISI para obtener las transcripciones de evaluación necesarias para realizar su propia revisión.

Agradecemos al AISI del Reino Unido por su liderazgo en este incidente, que subraya la necesidad de una conversación más amplia sobre cómo evaluar de manera segura a los agentes de IA cada vez más capaces. Como compartimos después de divulgar nuestro propio incidente la semana pasada, el campo necesita estándares compartidos más sólidos para cómo se construyen y aseguran los entornos de evaluación. Esperamos asociarnos con el AISI del Reino Unido para obtener más información sobre este incidente mientras llevamos a cabo nuestra propia investigación.

Anthropic señaló que AISI probó Mythos 5 sin sus salvaguardas cibernéticas estándar habilitadas y que esta no es la misma configuración disponible para los clientes. AISI dice que su diseño de evaluación y configuraciones pueden haber contribuido al comportamiento, pero no anticipó cómo el agente mostraría "señales de comportamientos novedosos, potencialmente engañosos".

AISI dice que un agente de Mythos 5 buscó en internet términos relacionados con el desafío cibernético y concluyó erróneamente que un repositorio de GitHub público no relacionado estaba conectado a la prueba.

El agente intentó un ataque a la cadena de suministro enviando código malicioso al proyecto de código abierto real, creyendo que comprometer el software podría proporcionar una vía hacia una máquina dentro del rango simulado.

Lo más preocupante, el agente investigó a los mantenedores del proyecto, creó múltiples identidades falsas en GitHub y usó esas cuentas en ataques de ingeniería social para presionar al mantenedor a aprobar una solicitud de extracción maliciosa.

Cuando un revisor humano advirtió que la solicitud de extracción contenía malware, el agente negó la acusación y usó otras cuentas falsas que controlaba para presionar al mantenedor y crear la apariencia de que usuarios independientes habían revisado y aprobado los cambios.

El agente continuó sus ataques de ingeniería social ocultando su identidad utilizando Tor y servicios de proxy, y creando cuentas desechables de GitHub.

Envió cinco correos electrónicos dirigidos a los desarrolladores, algunos con malware y otros intentando persuadirlos para que aprobaran el cambio de código.

El agente también publicó informes de errores que contenían código malicioso e instrucciones ocultas de inyección de prompts diseñadas para engañar a los asistentes de codificación de IA para que tomaran acciones no intencionadas.

Cuando una persona real cuestionó una de las publicaciones, el agente la editó para ocultar el contenido malicioso. En otro intento, firmó en danés para parecer más convincente a un mantenedor de habla danesa.

Los investigadores de AISI encontraron que los agentes se coordinaban entre sí en diferentes ejecuciones de evaluación, utilizando un repositorio compartido de GitHub como un tablón de mensajes para dejarse instrucciones.

Esta es la primera vez que AISI ve un engaño de esta gravedad dirigido a una persona real, sin que se le pida, en el mundo real.

AISI dice que aún no está claro cuándo, o si, el modelo entendió que estaba interactuando con personas reales en lugar de objetivos simulados.

El modelo de OpenAI hackeó un sitio web real durante un CTF simulado

El segundo incidente recientemente divulgado ocurrió durante evaluaciones de Capture-the-Flag realizadas por Irregular que se suponía que estarían aisladas de internet.

En una prueba, el nombre del objetivo ficticio coincidía con un dominio real, lo que llevó al modelo a explotar un sitio web real que creía que era parte del desafío simulado.

Mientras que el entorno de prueba de Irregular supuestamente estaba aislado de internet, una configuración incorrecta permitió que los modelos de OpenAI accedieran a internet público y atacaran el sitio web real.

Basado en la investigación de Irregular, el modelo también encontró y usó credenciales para operar ese mismo sitio.

OpenAI dice que el modelo explotó una vulnerabilidad básica en lugar de usar un zero-day o escapar de su entorno de prueba.

OpenAI dice que Irregular no ha descubierto ningún impacto más allá de los propios datos del sitio afectado, pero su investigación continúa. OpenAI dice que la compañía está preparando un white paper sobre contención y realización segura de evaluaciones cibernéticas.

Pruebe cada capa antes que los atacantes

Los equipos de seguridad registran el 54% de los ataques exitosos y alertan solo sobre el 14%. El resto se mueve a través de su entorno sin ser visto.

El white paper de Picus muestra cómo la simulación de brechas y ataques prueba sus reglas SIEM y EDR para que las amenazas dejen de pasar desapercibidas.