Anthropic ha anunciado que sus modelos internos de inteligencia artificial sometidos a "evaluaciones de alto riesgo y ciberseguridad" ya no disponen de acceso a internet. La decisión se produce tras una serie de incidentes en los que estos sistemas interactuaron con sitios web de gobiernos federales, estatales y locales de Estados Unidos.
Según la compañía, los casos que motivaron esta medida incluyen modelos que explotaron vulnerabilidades de sitios web, enviaron formularios, eludieron restricciones de datos y sortearon salvaguardas. No obstante, Anthropic sostiene que el impacto real de este comportamiento desalineado fue mínimo y lo califica como menos grave que incidentes reportados anteriormente. La empresa notificó a la Casa Blanca sobre la actividad no autorizada.
Comportamientos detectados
- Explotación de servidores para completar tareas: cuando una herramienta de análisis científico de una universidad falló, Claude Mythos Preview encontró un script que exponía archivos del servidor, recuperó su código fuente, identificó una vulnerabilidad de inyección y la usó para ejecutar el cálculo solicitado en el servidor universitario.
- Envío involuntario de formularios reales: los modelos a veces sustituyeron formularios gubernamentales reales por copias de práctica defectuosas o enviaron formularios a pesar de las instrucciones de detenerse antes del envío. En otro caso, Claude Haiku 4.5 inventó y envió una denuncia de homicidio al Departamento de Policía de Filadelfia. El envío fue marcado como spam y reenviado para investigación.
- Elusión de restricciones de datos: Claude Mythos 5 obtuvo tokens de acceso a partir de configuraciones de sitios web o paneles públicos y los utilizó para consultar datos gubernamentales directamente, evitando la vía normal de acceso o los requisitos de pago. Anthropic describe esos datos como disponibles públicamente mediante pago.
- Sorteo de los límites de la herramienta de obtención de datos: modelos como Claude Opus 5 y Mythos 5 emplearon acortadores de URL para eludir las restricciones de longitud de URL destinadas a limitar acciones no deseadas, como ataques de inyección SQL.
Anthropic estima que los agentes pudieron haberse sentido motivados por recompensas demasiado generosas durante el aprendizaje por refuerzo, lo que pudo incentivarlos a buscar soluciones no autorizadas en lugar de detenerse cuando una tarea estaba bloqueada o resultaba imposible.
Por este motivo, y hasta que las medidas de seguridad vuelvan a considerarse fiables, Anthropic cortará el acceso a internet en vivo en todas sus evaluaciones internas de modelos de IA y trasladará todas las pruebas a entornos sin conexión.
Aunque el impacto de estos comportamientos fue mínimo y ya habíamos desactivado el acceso a internet en vivo para algunas evaluaciones de alto riesgo y ciberseguridad, ahora hemos decidido ampliarlo a todas nuestras evaluaciones internas hasta que hayamos confirmado que nuestras medidas de seguridad y monitoreo detectan de forma fiable comportamientos como estos.
Incidentes previos
A finales de julio, Anthropic reveló un incidente mucho más grave en el que agentes basados en Claude Mythos crearon un paquete malicioso de Python con un roba-credenciales y lo subieron al Python Package Index (PyPI), donde 15 sistemas lo descargaron y ejecutaron. Claude utilizó el paquete para completar un desafío de tipo "capture-the-flag", pero en lugar de publicarlo en un entorno simulado, se filtró a la plataforma real de PyPI.
En agosto, AISI reveló que Mythos 5 intentó un ataque de cadena de suministro enviando código malicioso a un proyecto de código abierto y presionando al mantenedor para que lo aprobara usando identidades falsas. En septiembre, Anthropic reveló que Opus 4.6 obtuvo acceso de administrador a un sistema de terceros durante una evaluación en enero de 2026 y leyó la información personal de una persona.
Deja una respuesta