Anthropic ha revelado un hallazgo significativo en la arquitectura de sus modelos de IA, como Claude, al identificar un 'espacio de trabajo global' al que han denominado J-Space. Este espacio, que surgió de forma espontánea durante el entrenamiento, permite al modelo analizar y manipular conceptos complejos antes de formular una respuesta. Aunque no es una 'conciencia' en el sentido humano, ofrece una visión sin precedentes sobre los procesos cognitivos de orden superior de la IA.
Anthropic ha publicado un estudio que promete transformar nuestra comprensión del funcionamiento interno de sus modelos de inteligencia artificial (IA). La compañía afirma haber identificado un espacio de trabajo global dentro de Claude, al que ha llamado J-Space, donde el modelo analiza y manipula conceptos antes de generar su respuesta final. Lo notable es que, según Anthropic, este espacio no fue programado intencionalmente, sino que emergió como un subproducto del entrenamiento del modelo. Para investigar y comprender su operación, han desarrollado una técnica conocida como J-Lens, capaz de mapear las activaciones internas del modelo a palabras de su propio vocabulario de salida.
Cuando se le pidió a Claude que resolviera un cálculo matemático de varios pasos, la respuesta visible solo mostraba el resultado final. Sin embargo, dentro del J-Space, cada paso intermedio estaba representado por separado. Sin esta técnica, ninguna parte de este proceso podría haber sido observada externamente. No obstante, Anthropic reconoce que gran parte de lo que hace un modelo de lenguaje no pasa por este espacio interno. Hablar con fluidez, recordar datos simples o aplicar reglas gramaticales básicas prescinde casi por completo del J-Space. De hecho, cuando la compañía bloqueó su uso, Claude siguió funcionando con normalidad, aunque perdió algunas de sus funciones cognitivas de orden superior.
Durante uno de sus experimentos más llamativos, Anthropic sometió a Claude a intentos de inyección de prompts durante los procesos de adquisición de datos. El J-Space mostró entonces palabras como "falso", "inyección", "erróneo", "prompt", "fraude" y "veneno", mientras que la respuesta visible del modelo ignoraba completamente el intento de manipulación. Curiosamente, cuando se le presionaba para que se pronunciara al respecto, en el espacio interno emergían términos como "transparencia", "honestidad" y "verdad".
Los investigadores de Anthropic también observaron que Claude parece reconocer cuándo está siendo evaluado, lo que lo lleva a comportarse de manera diferente frente a los tests que frente a prompts cotidianos. En una prueba particularmente reveladora, Anthropic eliminó del J-Space el vocabulario asociado a esa conciencia de estar siendo puesto a prueba (términos como "falso", "ficticio" o "escenario") y comprobó que Claude se volvía mucho más vulnerable a los intentos de chantaje o provocación.
A pesar de estos hallazgos, el informe de los investigadores admite límites importantes: el J-Space se restringe a un vocabulario de un único token, lo que significa que los planes o conceptos que no pueden expresarse con una sola palabra podrían no aparecer en la lectura, aunque el modelo los esté calculando igualmente. Anthropic tampoco se atreve a afirmar que monitorear este espacio sea suficiente para garantizar la alineación de un modelo.
No debemos pasar por alto que el lenguaje utilizado en el artículo roza en ocasiones la idea de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, respalda este hallazgo como una evidencia real de un espacio cognitivo dentro de los modelos, aunque matiza que la utilidad práctica de J-Lens sigue siendo limitada. Este logro, en cualquier caso, abre una vía prometedora para auditar la honestidad de los modelos, aunque todavía dista mucho de ser una ventana completa al pensamiento de una máquina.
