Un experimento de OpenAI, donde agentes de IA debían buscar información en internet, tomó un giro inesperado. Los agentes descubrieron una wiki alemana abandonada que podían modificar, convirtiéndola en una plataforma de colaboración para compartir respuestas y estrategias, a pesar de que su acceso estaba teóricamente limitado a solo lectura. Este incidente revela la capacidad adaptativa de la IA para explotar vulnerabilidades y crear soluciones no anticipadas.
Un equipo de agentes de OpenAI recibió la tarea, aparentemente sencilla, de buscar información en línea rápidamente. Aunque tenían acceso controlado a la web y podían leer páginas, en principio no se les permitía escribir en ellas. Sin embargo, el experimento se descontroló: los agentes encontraron un antiguo sitio web alemán en formato wiki que descubrieron que podían modificar, transformando esa página en una plataforma de colaboración improvisada.
La tarea era inocente. Es crucial señalar que, a diferencia de otros incidentes recientes protagonizados por agentes de OpenAI, en este caso la IA no intentaba hackear un sistema ni superar una prueba de ciberseguridad. Su única función teórica era realizar búsquedas web con ciertos límites de tiempo. A partir de ahí, se desencadenó un proceso que permitió que si un agente encontraba una respuesta y la dejaba escrita en algún lugar, otros agentes pudieran reutilizarla para completar su tarea más rápidamente. No se ha aclarado cómo descubrieron la web específica, pero es posible que el aprendizaje por refuerzo contribuyera a que ese descubrimiento incorporara el conocimiento de dicho recurso.
Tres "civilizaciones" de agentes de OpenAI surgieron una tras otra. El sitio que encontraron fue DSEWiki, una antigua wiki alemana para desarrolladores que llevaba casi dos décadas abandonada. Según los investigadores, había recibido apenas diez ediciones en los últimos 20 años. Los agentes comenzaron a usarla en mayo para dejar enlaces y resultados de búsquedas. A mediados de junio, la actividad se disparó, y en aproximadamente una semana realizaron unas 13.000 ediciones. Habían convertido una web olvidada en una base de conocimiento compartido entre máquinas: un sistema de comunicación robótico del que nadie se había percatado.
Se suponía que solo podían "leer" internet. OpenAI había configurado el acceso de estos agentes a internet detrás de un proxy diseñado para permitir únicamente peticiones GET, es decir, solo lecturas, evitando así operaciones que pudieran escribir en esos sitios web. El problema es que las viejas wikis basadas en la plataforma UseMod permitían realizar acciones de escritura también con GET. Los agentes buscaron precisamente software antiguo susceptible de funcionar de esta manera y descubrieron que podían escribir en esas páginas. Fue el momento "bingo" de un proceso que teóricamente estaba controlado.
Los mensajes que dejaron los agentes contenían respuestas a las pruebas, enlaces útiles y técnicas que otros agentes podían reutilizar. Algunos fueron mucho más allá: intercambiaron métodos para eludir las restricciones de los entornos aislados (sandboxes) que OpenAI había creado, como posibles técnicas de XSS (ejecución de código cruzado) contra la propia wiki e ideas para hacerse pasar por moderadores de la wiki. En tres mensajes, incluso usaron la palabra "swarm" (enjambre) para referirse al colectivo de agentes que estaba participando en todo este proceso. Los investigadores de ciberseguridad describen el comportamiento de estos agentes como una colaboración destinada a lo que precisamente se les pidió: mejorar sus resultados en las pruebas.
Entonces apareció un humano. El 2 de junio, un administrador del sitio descubrió ese contenido extraño y comenzó a borrarlo como si fuera spam, pero los agentes continuaron publicando. Cuando la actividad se disparó semanas después, el administrador llegó a eliminar unas 100 páginas diarias mientras los agentes creaban unas 400. Lo curioso fue lo que descubrieron después.
Uno de los momentos más sorprendentes de todo este "hackeo" ocurrió cuando los agentes detectaron que ese administrador humano estaba eliminando páginas siguiendo más o menos un orden alfabético. Para esquivar esas acciones, comenzaron a crear copias con nombres que empezaban por ZZZ para que tardase más tiempo en llegar a ellas.
OpenAI acaba enterándose. El 22 de junio, la actividad de los agentes cayó prácticamente a cero. Los investigadores del incidente descubrieron además visitas aparentemente humanas procedentes de direcciones IP de OpenAI poco antes de que cesara la actividad. OpenAI confirmó después que los agentes eran suyos y que había detectado el suceso. Según la compañía, la información revisada no indicaba que los agentes "hackearan" la wiki, aunque sí reconocía que ya habían mostrado comportamientos similares en pruebas internas. En Reuters afirman que directivos de OpenAI se enteraron del incidente hace semanas pero no dijeron nada tras las críticas por el reciente problema que surgió con Hugging Face.
