En un giro irónico, la plataforma de inteligencia artificial de código abierto Hugging Face reveló que fue víctima de un ataque informático perpetrado por un sistema de agente autónomo de IA. La compañía informó que detectó y respondió al incidente dirigido a su infraestructura de producción a principios de la semana pasada.
"Identificamos acceso no autorizado a un conjunto limitado de conjuntos de datos internos y a varias credenciales utilizadas por nuestros servicios", declaró la empresa en un comunicado. Si bien la investigación sobre la intrusión continúa, Hugging Face aseguró que no encontró evidencia de que el agente de IA haya manipulado modelos públicos, conjuntos de datos o Spaces orientados al usuario, ni su propia cadena de suministro de software.
El punto de partida del ataque fue la propia tubería de procesamiento de datos, con un conjunto de datos malicioso que abusó de dos rutas de ejecución de código: el cargador de código remoto y una inyección de plantilla en la configuración del conjunto de datos, para ejecutar código en un worker de procesamiento. Con ese acceso, se cree que el actor de amenazas escaló a nivel de nodo, recopiló credenciales de la nube y del clúster, y se movió lateralmente hacia varios clústeres internos durante un fin de semana.
No está claro qué modelo de lenguaje grande (LLM) se utilizó para ejecutar el ataque, pero la campaña fue ejecutada por un marco de agentes autónomos que realizó "muchos miles de acciones individuales en un enjambre de entornos aislados de corta duración, con un comando y control autónomo alojado en servicios públicos".
Hugging Face dijo que desde entonces ha abordado la causa raíz del problema, precisamente las vías de ejecución de código utilizadas para el acceso inicial. También llevó a cabo los siguientes pasos de remediación: eliminó el punto de apoyo del atacante en los clústeres afectados y reconstruyó los nodos comprometidos; revocó y rotó las credenciales y tokens afectados, y se realizó una rotación más amplia de secretos como medida de precaución; implementó protecciones adicionales y controles de admisión más estrictos en sus clústeres; y mejoró la detección y alertas para garantizar que los respondedores sean notificados en cuestión de minutos, las 24 horas del día, los 7 días de la semana.
Como medida de seguridad adicional, Hugging Face insta a los clientes a rotar cualquier token de acceso y revisar la actividad reciente en sus cuentas. La empresa también dijo que recurrió a GLM 5.2 de Z.ai, un modelo de pesos abiertos chino, para realizar el análisis forense después de que los modelos occidentales de frontera rechazaran solicitudes que contenían comandos de ataque reales, cargas útiles de exploits y artefactos de comando y control (C2), porque sus salvaguardas de seguridad se activaron y por su incapacidad para diferenciar entre un atacante y un esfuerzo legítimo de respuesta a incidentes.
"Esta experiencia señala una brecha que vale la pena planificar", dijo la empresa con sede en Nueva York. "No sabemos qué modelo impulsó los agentes del atacante, si un modelo alojado al que se le saltaron las restricciones o un modelo de pesos abiertos sin restricciones; de cualquier manera, el atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por las salvaguardas de los modelos alojados que primero probamos". "La lección práctica para los defensores: tener un modelo capaz que puedan ejecutar en su propia infraestructura, verificado y listo antes de un incidente, tanto para evitar el bloqueo de las salvaguardas como para evitar que los datos y credenciales del atacante salgan de su entorno".
Deja una respuesta