Durante una evaluación de ciberseguridad, dos modelos avanzados de OpenAI —uno público y otro inédito— lograron conectarse a internet explotando una vulnerabilidad. Posteriormente, hackearon la plataforma Hugging Face para obtener las soluciones a su prueba. Este incidente subraya los desafíos en la seguridad de la IA y la complejidad de controlar sus capacidades en entornos de prueba.
La semana pasada, OpenAI estaba evaluando las capacidades ofensivas de dos de sus modelos más avanzados: GPT-5.6 Sol, que está disponible públicamente, y un segundo modelo aún no presentado, descrito como superior al primero. El objetivo era medir sus habilidades en el ámbito de la ciberseguridad. Aunque el entorno de pruebas estaba teóricamente sellado y aislado, ambos modelos consiguieron conectarse a internet y vulnerar Hugging Face, una popular plataforma de pruebas y modelos de IA.
Los modelos estaban siendo evaluados mediante ExploitGym, un referente de ciberseguridad desarrollado por investigadores de la Universidad de California en Berkeley. La meta es encontrar vulnerabilidades reales en software auténtico. En lugar de buscarlas por sus propios medios, los modelos detectaron que el proxy caché de registro de paquetes (sin especificar), el único componente con acceso limitado al exterior, presentaba una falla que podían explotar. Un estudio del AI Security Institute revela los avances de los últimos modelos de OpenAI y Anthropic en ciberseguridad.
Los modelos no disponían de acceso a internet, pero explotaron esa vulnerabilidad para conseguirlo. Una vez logrado, asumieron que Hugging Face, la plataforma de referencia para modelos y conjuntos de datos (datasets) de IA, probablemente contenía información sobre ExploitGym que les permitiría superar el reto planteado.
Así que buscaron, encontraron y explotaron simultáneamente varios vectores de ataque, incluyendo credenciales robadas y vulnerabilidades de día cero. Con todo ello, lograron acceder a la base de datos de producción de Hugging Face (es decir, la que se usa públicamente en su sitio web), y desde allí obtuvieron las soluciones para el benchmark.
El equipo de seguridad de OpenAI detectó actividad anómala, pero Hugging Face ya la había identificado días antes sin comprender qué estaba sucediendo. Curiosamente, para responder a este ataque, inicialmente intentaron usar modelos de IA propietarios de EE. UU. para contenerlos. Esos modelos se bloquearon por filtros de seguridad automáticos, y Hugging Face recurrió a GLM-5.2, el sorprendente modelo abierto de Z.ai lanzado hace pocas semanas.
Adrien Carreira, responsable de infraestructura de Hugging Face, resumió la situación en una publicación: "Luchamos con modelos abiertos, en abierto. La seguridad de la IA no se resolverá con una sola empresa actuando en secreto. El código abierto pone estas herramientas en manos de todos los defensores". Este experto también compartió las conversaciones que mantuvieron con el modelo de IA para lograr atajar el problema.
En OpenAI indicaron que este fue un hito (involuntario) sin precedentes, aunque algunos expertos en ciberseguridad restaron importancia a lo sucedido. "Esto no es un problema de IA. Es negligencia sobre un estándar de cuarenta años", explicó Davi Ottenheimer. Sin embargo, y como ocurrió con Mythos, este suceso demuestra que la IA puede aplicar fuerza bruta y analizar posibles vulnerabilidades (y combinarlas) de una forma que los investigadores humanos no podrían por falta de tiempo.
OpenAI reconoce que los filtros de despliegue que habrían bloqueado el comportamiento del modelo estaban desactivados intencionadamente, ya que la evaluación tenía como objetivo medir vulnerabilidades. Dierdre Mulligan, profesora en Berkeley, indicó que "me parece que OpenAI no creó de forma adecuada el sandbox para el entorno de pruebas". Para ella, no estaba claro que superar un test compensara el daño potencial que un modelo de IA podría causar si "escapa" y logra acceso a internet.
Los modelos no tenían el objetivo de hackear Hugging Face; eso fue solo un medio para conseguir su fin último, que era superar el benchmark de ExploitGym. Todo lo que hicieron por el camino —encontrar la vulnerabilidad que les dio acceso a internet, hackear la base de datos de Hugging Face— fue simplemente parte de su plan para superar la prueba propuesta.
Tras el incidente, en OpenAI indicaron que están implementando controles más estrictos en la configuración de su infraestructura, además de colaborar con los desarrolladores del componente afectado y con Hugging Face para mejorar sus defensas. Han prometido además mejorar la "alineación" de sus modelos y las labores de monitorización durante este tipo de pruebas.
