Anthropic ha revelado haber interceptado múltiples intentos de uso de su modelo de IA Claude en investigaciones biológicas de riesgo, incluyendo un caso relacionado con el virus chikungunya. Aunque el laboratorio no pudo determinar la intencionalidad maliciosa, la ocultación del propósito de estos trabajos por parte de los investigadores es un indicio preocupante. Esta situación subraya el desafío de discernir entre la investigación legítima y aquella con fines perniciosos, y la necesidad urgente de colaboración entre laboratorios, gobiernos e instituciones reguladoras.
Los modelos de inteligencia artificial (IA) de vanguardia están superando todas las expectativas. Aún nos encontramos inmersos en la conmoción provocada por la posible resolución de uno de los problemas del milenio, las ecuaciones de Navier-Stokes, por un modelo avanzado de OpenAI, cuando Anthropic ha lanzado otra noticia impactante. El pasado 10 de septiembre, el laboratorio de IA, bajo la dirección de Dario Amodei, publicó un informe titulado "Detectando y combatiendo el uso indebido de la IA", en el que admite haber frustrado varios posibles intentos de emplear Claude en investigaciones que podrían contribuir al desarrollo de armas biológicas. Sin duda, es una noticia muy alarmante, pero existen varios aspectos que no debemos ignorar.
Anthropic no sostiene haber descubierto a científicos intentando usar sus modelos de IA para crear armas biológicas; lo que afirma es haber identificado cinco intentos de científicos que buscaban emplear sus modelos para llevar a cabo investigaciones biológicas potencialmente peligrosas. En estos casos, los investigadores procuraron eludir los mecanismos de seguridad de los modelos y ocultar el objetivo de su trabajo. Uno de estos incidentes es particularmente inquietante.
La respuesta de Anthropic a estos cinco casos de uso potencialmente peligrosos fue bloquear las cuentas de los investigadores o limitar su acceso, permitiéndoles usar solo modelos menos avanzados. No obstante, este laboratorio reconoce que no pudo determinar si realmente existía una intención maliciosa o si, por el contrario, se trataba de trabajos biológicos bienintencionados. Sea como fuere, el hecho de que los investigadores intentaran ocultar la finalidad de su trabajo es un claro indicio de un uso pernicioso.
Este escenario plantea una realidad inquietante: para los responsables de los modelos de IA de frontera, resulta muy difícil discernir cuándo una investigación legítima de doble uso podría cruzar una línea peligrosa. Gestionar esta incertidumbre es actualmente un desafío enorme. De hecho, existe la posibilidad de que un investigador lo suficientemente perseverante logre construir, sorteando los mecanismos de seguridad de los modelos de IA, un flujo de trabajo capaz de obtener información sensible.
En su informe, Anthropic no revela la procedencia de estos intentos de uso potencialmente peligrosos, pero confiesa que uno de ellos es muy preocupante. Al parecer, un científico estaba utilizando Claude para preparar una propuesta de investigación respaldada por el Estado y relacionada con el virus chikungunya. Es posible que su objetivo fuera comprender mejor este virus o incluso desarrollar una vacuna, pero también es posible que los conocimientos proporcionados por Claude se utilizaran para desarrollar un arma biológica.
Anthropic reconoce en su informe que sus controles de seguridad no le permiten garantizar que un modelo de IA cada vez más capaz no termine contribuyendo al desarrollo de agentes biológicos perniciosos. Para abordar este riesgo real, propone que los laboratorios de IA, los gobiernos y las instituciones de regulación colaboren para resolver de manera conjunta un problema que las empresas de IA no pueden solucionar por sí solas. La buena noticia es que Anthropic está reconociendo una limitación significativa y solicitando ayuda. La mala es que este desafío, por el momento, no parece tener una solución verdaderamente eficaz.
