El repositorio de inteligencia artificial Hugging Face informó que atacantes obtuvieron acceso a conjuntos de datos internos y credenciales tras vulnerar su infraestructura de producción utilizando un sistema de agente de IA autónomo. Hugging Face es una plataforma de IA y aprendizaje automático de código abierto que ofrece acceso a más de 45.000 modelos de proveedores líderes, utilizada por más de 50.000 organizaciones.
La compañía aún investiga si datos de socios o clientes resultaron afectados y contactará directamente a las partes involucradas. Hasta el momento, no encontró evidencia de manipulación en modelos, conjuntos de datos o Spaces públicos, y su cadena de suministro de software ha sido 'verificada como limpia'.
La intrusión comenzó en el pipeline de procesamiento de datos de Hugging Face. Los atacantes utilizaron un conjunto de datos malicioso para explotar dos vulnerabilidades de ejecución de código y ejecutar código en un trabajador de procesamiento. Esto les permitió robar credenciales de la nube y del clúster, y moverse lateralmente a través de varios clústeres internos.
La campaña fue ejecutada por un marco de agente autónomo (aparentemente construido sobre un arnés de investigación de seguridad agéntico — el LLM utilizado aún se desconoce) realizando miles de acciones individuales en un enjambre de sandboxes de corta duración, con un mando y control auto-migrante alojado en servicios públicos. Esto coincide con el escenario de 'atacante agéntico' que la industria había pronosticado.
En respuesta, Hugging Face cerró las rutas de ejecución de código vulnerables (una inyección de plantilla en una configuración de conjunto de datos y un cargador de código remoto), expulsó al atacante, reconstruyó los nodos comprometidos, y revocó y rotó todas las credenciales afectadas. Además, desplegó sistemas mejorados de detección de actividad maliciosa, reportó el incidente a las autoridades y trabaja con expertos forenses externos para evaluar el impacto.
No sabemos qué modelo impulsó los agentes del atacante, si un modelo alojado liberado de restricciones o uno de pesos abiertos sin restricciones; en cualquier caso, el atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense se vio bloqueado por las salvaguardas de los modelos alojados que probamos inicialmente. La lección práctica para los defensores: tener un modelo capaz que puedas ejecutar en tu propia infraestructura, verificado y listo antes de un incidente, tanto para evitar el bloqueo por salvaguardas como para mantener los datos del atacante y las credenciales fuera de tu entorno.
Hugging Face recomendó a los usuarios rotar los tokens de acceso y revisar la actividad reciente de la cuenta en busca de comportamientos sospechosos, y continuará compartiendo hallazgos sobre la defensa contra ataques impulsados por IA. Aunque es el primer incidente de seguridad vinculado a un agente de IA en la plataforma, no es la primera brecha reportada por Hugging Face en los últimos años. La compañía también revocó secretos de autenticación de algunos miembros hace dos años tras un ataque a su plataforma Spaces. Actores maliciosos también han abusado de la plataforma para difundir modelos maliciosos de IA/ML y malware robador de información, así como para propagar miles de variantes de malware Android.
Deja una respuesta