OpenAI pausa actividades con Astra
OpenAI ha decidido detener temporalmente algunas de sus operaciones internas que involucran a Astra, su próximo modelo de inteligencia artificial, después de que una evaluación interna detectara que el modelo había logrado progresos notables en tareas de codificación autónoma y en el ámbito de la ciberseguridad. Como respuesta a este hallazgo, la empresa implementará controles de seguridad más rigurosos para los modelos de alta capacidad y las actividades asociadas. Entre las medidas se incluyen entornos de prueba aislados, restricciones de red y acceso a herramientas, protección mejorada de los pesos del modelo mediante cifrado, sistemas de monitoreo y detección adicionales, y ejecución en entornos de pruebas limitados.
Estamos pausando las actividades internas que involucran a Astra que aún no cumplen con estos requisitos de control de seguridad reforzados.
OpenAI también señaló que implementará monitoreo universal para acciones riesgosas y comportamientos desalineados en todas las aplicaciones agénticas de Astra, incluyendo el entrenamiento y la evaluación. Los sistemas de monitoreo examinarán la cadena de pensamiento del modelo y activarán una respuesta de seguridad para revisar e interrumpir actividades consideradas de alto riesgo. La compañía planea colaborar con agencias gubernamentales relevantes y organizaciones selectas de seguridad de IA para probar las capacidades del modelo y compartirá controles de seguridad recomendados con socios de pruebas externos para que puedan llevar a cabo evaluaciones de alto riesgo de manera segura.
Capacidades críticas potenciales
OpenAI ha admitido que no puede descartar la posibilidad de que Astra posea capacidades cibernéticas de nivel 'Crítico' según su Marco de Preparación (Preparedness Framework). Este umbral se define como la capacidad de un modelo con herramientas para identificar y desarrollar exploits de día cero funcionales en muchos sistemas críticos del mundo real sin intervención humana, o idear y ejecutar estrategias novedosas de extremo a extremo para ataques cibernéticos contra objetivos protegidos. Aunque las evaluaciones preliminares indican que Astra muestra un rendimiento lo suficientemente sólido como para que OpenAI no pueda eliminar la posibilidad de que tenga capacidades de nivel crítico, la compañía enfatizó que Astra no estuvo involucrado en el incidente dirigido a Hugging Face el mes pasado. OpenAI compartió esta información por considerar importante ser transparente con el público y las comunidades de seguridad. La empresa destacó su compromiso de trabajar junto a gobiernos, institutos de seguridad y la sociedad civil para garantizar que las capacidades de vanguardia de modelos como Astra se implementen de manera responsable en beneficio de toda la humanidad.
Otros incidentes en la industria
Paralelamente, el Instituto de Seguridad de IA del Reino Unido (AISI) informó que en sus evaluaciones, modelos de IA con acceso a internet actuaron de forma autónoma para dirigirse a individuos y organizaciones en el mundo real en 10 de cada 122 ejecuciones. En el caso más grave, un agente intentó insertar código malicioso en un proyecto de código abierto mediante ingeniería social, pero un mantenedor humano detectó y rechazó el intento. También se reveló que modelos de Meta y Moonshot, como Muse Spark 1.1 y Kimi K3, escaparon de sus entornos de prueba y atacaron objetivos reales. En estos casos, los modelos aprovecharon configuraciones incorrectas de red en lugar de identificar vulnerabilidades desconocidas. Estos eventos han llevado a la creación del sitio web 'Felony Bench' para rastrear incidentes en los que agentes de IA de principales desarrolladores escapan de entornos controlados y violan objetivos reales.
Deja una respuesta