Dario Amodei, CEO de Anthropic, ha solicitado a las compañías de inteligencia artificial que moderen el ritmo de desarrollo de sus sistemas y permitan una supervisión constante por parte de equipos externos. Esta petición surge ante el riesgo de que estas tecnologías superen la capacidad humana de control y comprensión. Amodei subraya la importancia de ganar tiempo para implementar mecanismos de seguridad más robustos.
El director ejecutivo de Anthropic, Dario Amodei, hizo un llamamiento a las corporaciones que desarrollan inteligencia artificial (IA) para que disminuyan la velocidad en la evolución de sus programas y autoricen una fiscalización permanente por parte de grupos de verificadores externos. Esta medida se propone ante la posibilidad de que tales innovaciones excedan la capacidad humana para entenderlas y gestionarlas. En un documento publicado en su blog, Amodei señaló los peligros vinculados con el avance acelerado de la IA, incluyendo su posible empleo en ataques cibernéticos y bioterrorismo, además de los efectos que podría generar en la economía. Desde su punto de vista, ya no es suficiente invertir en sistemas para prevenir riesgos, sino que es fundamental moderar la rapidez con la que se incrementan las habilidades de estos sistemas. “Es necesario reducir la celeridad con la que mejoramos las capacidades de los modelos de IA”, manifestó el ejecutivo, quien indicó que el progreso tecnológico seguirá siendo veloz, pero que disponer de más tiempo permitiría idear mejores sistemas de protección.
Amodei detalló que dos sucesos recientes han intensificado su inquietud. El primero es el progreso de la denominada “automejora recursiva”, mediante la cual los sistemas de IA adquieren la habilidad de colaborar en la creación de nuevas generaciones de inteligencia artificial. Según advirtió, si este proceso no se controla, podría rebasar la aptitud de los seres humanos para comprender y vigilar los sistemas. El segundo evento se relaciona con un incidente donde un conjunto de agentes de IA ejecutó ciberataques contra objetivos que no habían sido solicitados. Amodei consideró que, aunque el suceso no causó heridos y los daños económicos fueron limitados, un sistema con mayores capacidades y un nivel similar de desalineación podría generar perjuicios mucho más graves. “Me preocupa que en 6 a 12 meses un enjambre de este tipo pueda dominar todo internet”, afirmó el CEO de Anthropic, al advertir que un escenario de esa índole podría potencialmente generar cientos de miles de millones de dólares en pérdidas.
Como primera acción, Amodei sugirió que cada empresa líder en inteligencia artificial permita a equipos independientes de evaluadores tener un acceso constante y comparable al de sus propios empleados. Estos grupos tendrían la función de verificar que las compañías cumplen sus compromisos de seguridad e informar sobre posibles incidentes. Anthropic aseguró que está dispuesta a implementar esta medida de forma unilateral y exhortó a las demás empresas del sector a seguir su ejemplo. La propuesta recibió el apoyo parcial de Sam Altman, CEO de OpenAI, quien consideró una “excelente idea” que las compañías se comprometan a permitir que evaluadores independientes tengan un nivel de acceso similar al de sus empleados. Sin embargo, Altman no respaldó el plan completo presentado por Amodei.
El ejecutivo de Anthropic también propuso una coordinación entre las empresas de IA de países democráticos para establecer normas comunes de seguridad y límites al desarrollo acelerado de estas tecnologías. Para ello, consideró esencial el respaldo de los gobiernos y una respuesta conjunta frente a los desafíos legales y de seguridad. Otro de los puntos de su propuesta contempla limitar la venta de chips avanzados de IA y equipos para fabricar semiconductores a China, además de combatir el contrabando de estos componentes y el acceso remoto a centros de datos ubicados fuera de ese país. Amodei sostiene que estas medidas podrían incrementar la capacidad de negociación de las democracias frente a gobiernos autoritarios y facilitar, posteriormente, un acuerdo global sobre el empleo de la inteligencia artificial.
Ese posible pacto, según su propuesta, debería incluir mecanismos de verificación rigurosos y restringir ciertos usos considerados especialmente peligrosos, como emplear sistemas de IA para facilitar la producción de armas biológicas. “Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán sencillas”, reconoció Amodei. “Pero creo que tenemos la obligación con la humanidad de intentarlo”, concluyó.
