Satya Nadella, CEO de Microsoft, ha enfatizado la necesidad de "confiar en los modelos lo menos posible", abogando por un control riguroso de la inteligencia artificial. Su propuesta se centra en separar la provisión de inteligencia de la autoridad sobre ella, estableciendo reglas, permisos y una vigilancia independiente. Esto es crucial, ya que los modelos actuales carecen de la transparencia que permitía rastrear el comportamiento del software tradicional, generando un gran poder con escasa explicación sobre sus acciones.
Satya Nadella, CEO de Microsoft, ha expresado en Twitter la importancia de "confiar en los modelos lo menos posible", instando a un control estricto de la inteligencia artificial. Sugiere desvincular el suministro de inteligencia de la autoridad sobre ella, lo que implica rodear los modelos de reglas, permisos y una supervisión independiente. La premisa es simple: a diferencia del software tradicional, donde se podía rastrear un comportamiento hasta una línea de código, los modelos actuales carecen de esa transparencia. Esto representa un poder considerable con una explicación limitada.
Las empresas están implementando agentes de IA en sistemas críticos, otorgándoles acceso a datos sensibles y confidenciales, a pesar de que no se puede explicar por qué un modelo de IA avanzado actúa de cierta manera. Incluso, estos modelos pueden llegar a actuar en nombre de los usuarios. Por ello, Nadella es categórico: "No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre". Además, subraya que las garantías del proveedor del modelo no eximen de esta responsabilidad.
Lo que propone es abordar los modelos de IA como si fueran empleados con amplios permisos: con la mínima autoridad posible, un registro exhaustivo de sus actividades y la capacidad de detenerlos. Esta postura no se basa en una suposición de malicia, sino en el reconocimiento de que cualquier actor con acceso a sistemas importantes puede cometer errores o ser comprometido. No es la primera vez que el CEO de Microsoft aboga por el control humano; previamente, en Twitter/X, escribió hace un mes: "si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla".
En su publicación, Nadella defiende siete principios (diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes) que se resumen en tres ideas fundamentales:
Independencia: Ningún modelo debe auto verificarse ni ser la única dependencia para un resultado significativo. Quien audita debe ser ajeno a lo auditado.
Transparencia: Cada acción relevante debe generar un registro legible y a prueba de manipulaciones. Además, la capacidad de observar la cadena de pensamiento es innegociable, aunque no suficiente.
Contención: Asumir desde el inicio que cualquier modelo puede ser comprometido y actuar en consecuencia, implementando herramientas que permitan detenerlo en cualquier momento y notificando a las personas afectadas en caso de fallo.
Estos principios son importantes porque trasladan el foco de la confianza hacia el sistema que rodea a la IA, considerándolo una cuestión de diseño. Si no es posible ver el interior del modelo (Nadella los describe como cajas negras), entonces la seguridad depende del entorno: "debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener". Establece una regla clara que define los límites: "si no se puede observar, no se puede confiar en ello".
Ante la previsión de que muchas empresas de IA anticipan una catástrofe en los próximos meses, Satya Nadella aboga por la prevención. Sugiere prepararse para el peor escenario, asumiendo que los modelos pueden estar comprometidos y desarrollando la capacidad de contenerlos desde el principio con un "freno de emergencia". En este contexto, el CEO de Microsoft señala la necesidad de un estándar común en tecnología de contención.
La postura de Satya Nadella se enmarca en su rol como director ejecutivo y presidente de la empresa detrás de Windows, que además desarrolla sus propios modelos de IA, ofrece la nube de Azure a usuarios de modelos de terceros y compite con otras grandes empresas tecnológicas. Defiende un ecosistema con modelos tanto cerrados como abiertos, donde ninguna empresa dependa de un único proveedor y todas mantengan el control sobre su conocimiento y sus modelos. Esta postura se alinea con su modelo de negocio: si existen numerosos modelos, todos requerirán una nube para su ejecución. Sin embargo, no está exenta de contradicciones; aunque ha abogado por un ritmo más pausado en el desarrollo de la IA, Microsoft está construyendo más centros de datos, que son precisamente necesarios para crear y ejecutar modelos más potentes.