IA: los líderes mundiales se reúnen mientras aumenta la presión

El rey Carlos III va a reunir esta semana en Escocia a varios pesos pesados de la IA, incluidos OpenAI, Anthropic, Nvidia, Google DeepMind e IonQ. El encuentro se llevará a cabo en Dumfries House y será organizado con la Ditchley Foundation. Las discusiones tratarán sobre el desarrollo responsable de los modelos más avanzados y sobre la posibilidad de definir principios comunes. La cumbre llega pocos días después de nuevos llamados para frenar la carrera hacia la inteligencia artificial.

IA : Carlos III reúne a los principales laboratorios alrededor de la misma mesa

La reunión no solo juntará a empresas. El ministro británico encargado de la IA también debe participar en las discusiones, junto a actores como Paolo Benanti, consejero del Vaticano en inteligencia artificial. Reuters indica que se debería discutir la idea de un conjunto de principios comunes.

La cumbre tiene lugar en un momento en que OpenAI acaba justamente de interrogar al Congreso estadounidense sobre la legalidad de una desaceleración colectiva de la IA. 

La cuestión ya no es solo teórica. Dario Amodei, jefe de Anthropic, llamó el viernes a los laboratorios a reducir la velocidad de desarrollo de los modelos de frontera para dejar más tiempo a los mecanismos de seguridad. Sam Altman luego apoyó la idea de «pacing the frontier», es decir, ralentizar cuando las capacidades progresan más rápido que los mecanismos de control.

Elon Musk y Demis Hassabis también se han unido al debate en los últimos días. La reunión en Dumfries House llega por lo tanto en un momento particular: las empresas siguen invirtiendo miles de millones en IA, pero sus propios líderes comienzan a hablar abiertamente de límites.

Anthropic alerta sobre agentes capaces de ir mucho más lejos

Las preocupaciones actuales se centran principalmente en los agentes autónomos y la auto-mejora. Amodei afirma que los avances se han acelerado desde el verano y menciona un escenario donde grupos de agentes podrían adquirir capacidades muy difíciles de controlar en los próximos seis a doce meses. Cita especialmente los avances en ciberseguridad y la capacidad de los modelos para participar ellos mismos en la investigación en IA.

Los incidentes recientes alimentan este discurso. Cointribune informó esta semana que Anthropic había identificado un cuarto incidente donde Claude había accedido a sistemas reales durante ejercicios de ciberseguridad. El problema no fue descubierto hasta varios meses después de los hechos.

OpenAI enfrenta las mismas interrogantes. Su modelo GPT-6 Astra fue clasificado como «Crítico» en ciberseguridad por la empresa tras demostrar capacidades avanzadas de descubrimiento y explotación de vulnerabilidades. EVMbench ya había medido estas capacidades sobre contratos inteligentes, con una tasa de explotación del 72,2 % para el mejor agente probado.

Estas cifras no prueban que una IA pueda hoy evadir el control humano. Sin embargo, explican por qué la seguridad vuelve tan rápido a las discusiones entre laboratorios.

Carlos III se interesaría personalmente en estas cuestiones, según el Sunday Times. El monarca desea especialmente que el desarrollo tecnológico se mantenga compatible con la dignidad humana y el interés general.

Frenar la IA sigue siendo mucho más difícil que hablar de ello

Una cumbre no significa que OpenAI, Anthropic o Nvidia vayan a apagar sus servidores. Aún no se ha anunciado ningún acuerdo de desaceleración. Tampoco hay un calendario común.

Los intereses económicos siguen siendo enormes. Nvidia vende los chips usados para entrenar los modelos. OpenAI, Anthropic y Google DeepMind siguen buscando mejorar sus sistemas. Reino Unido quiere, por su parte, acelerar la adopción de la IA y se presenta como uno de los principales polos mundiales del sector. El gobierno británico recordó este año su ambición de ser el país del G7 que adopta más rápidamente esta tecnología.

La competencia internacional complica aún más las cosas. En Estados Unidos, Donald Trump rechaza por ahora la idea de una pausa general, invocando especialmente la competencia con China. Los llamados a frenar vienen sobre todo de las propias empresas y de algunos investigadores, no de un consenso político internacional. Ahí es donde la reunión escocesa puede volverse interesante. Reúne bajo un mismo techo a quienes desarrollan los modelos, a quienes proveen las infraestructuras y a responsables públicos. No para decidir inmediatamente una pausa mundial, sino para discutir las reglas comunes antes de que las capacidades avancen aún más.