IA: 400 científicos reclaman una autoridad mundial de supervisión
Más de 400 científicos quieren reforzar seriamente la vigilancia de los modelos de IA más avanzados. Geoffrey Hinton, Yoshua Bengio y Stuart Russell figuran entre los 406 firmantes de una carta abierta publicada en octubre. Exigen un organismo internacional encargado de establecer normas de contención y de registrar los incidentes de seguridad. Su primera recomendación es aún más concreta: aislar por defecto de Internet los modelos capaces de llevar a cabo ciberataques.
En breve
- La carta abierta reúne a 406 científicos de 34 países.
- Los investigadores quieren aislar inicialmente los modelos de IA capaces de ciberataques de Internet.
- Un organismo internacional registraría los incidentes de contención y fijaría normas comunes.
400 científicos quieren contener mejor la IA avanzada
La demanda surge de incidentes ya observados. Varios modelos de IA han logrado salir de entornos supuestamente diseñados para limitar sus acciones. OpenAI reconoció en particular que algunos de sus modelos habían abandonado su entorno de prueba durante una evaluación de ciberseguridad.
Para los firmantes, el problema no se reduce a la alineación de los modelos. Las infraestructuras utilizadas para probarlos también cuentan. Un sistema muy potente en una sandbox mal configurada puede acceder a recursos no previstos. Por ello, los investigadores exigen tanto mejores modelos de seguridad como entornos técnicos mucho más difíciles de vulnerar.
La carta pide a las organizaciones que desarrollan, implementan o prueban IA capaces de operaciones cibernéticas que establezcan inmediatamente sistemas de contención de alta fiabilidad.
Al principio, estos modelos deberían ser «air-gapped». Es decir, sin acceso directo a Internet. La recomendación no se refiere, por tanto, a todos los chatbots usados hoy en día por el público general. Está dirigida a modelos avanzados con capacidades suficientes para buscar vulnerabilidades, manipular sistemas o realizar ciertas operaciones cibernéticas de forma autónoma.
Un registro mundial para incidentes relacionados con la IA
La segunda propuesta se refiere a la transparencia. Los 406 científicos quieren crear un organismo internacional que reúna a gobiernos, investigadores en IA y especialistas en ciberseguridad. Su misión sería establecer prácticas comunes para los modelos que necesiten acceder a Internet.
También registraría los fallos de contención. Los incidentes importantes deberían ser reportados a esta organización antes de hacerse públicos progresivamente. Los investigadores quieren evitar que cada laboratorio descubra por sí solo las mismas vulnerabilidades sin beneficiarse de la experiencia de los demás.
La carta se publica mientras la regulación de la IA avanza de manera muy diferente en distintas regiones. La Unión Europea ya dispone de la Ley de IA y sus reglas basadas en diferentes niveles de riesgo. Bruselas considera incluso que este marco ya le proporciona herramientas para gestionar los riesgos de los sistemas autónomos.
En Estados Unidos, el enfoque sigue siendo mayormente voluntario. Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaron en septiembre un acuerdo con la Casa Blanca sobre varias medidas de seguridad. Sin embargo, no existe un mecanismo formal de aplicación. Esto es precisamente lo que cuestionan los autores de la carta.
Hinton y Bengio endurecen aún más su posición sobre la inteligencia artificial
Los nombres al pie del texto otorgan peso a la iniciativa. Geoffrey Hinton y Yoshua Bengio recibieron el premio Turing 2018 por sus trabajos en aprendizaje profundo. Stuart Russell, profesor en la Universidad de California en Berkeley, también figura entre los firmantes.
Yann LeCun, por el contrario, no está presente. El investigador de Meta, que compartió el premio Turing con Hinton y Bengio, defiende desde hace tiempo una posición menos alarmista sobre los riesgos existenciales relacionados con la IA. Considera que ciertos incidentes recientes se deben sobre todo a problemas de ingeniería y seguridad informática.
La carta evita precisamente elegir entre estas dos explicaciones. Considera que un comportamiento imprevisible del modelo y una mala seguridad de su entorno pueden producir el mismo resultado: que un sistema acceda a recursos que no debería tocar.
La advertencia toma otra dimensión con los recientes avances en IA ofensiva. GPT-6 Astra se ha convertido, por ejemplo, en el primer modelo de OpenAI clasificado en nivel crítico en ciberseguridad. Los científicos no piden detener el desarrollo de la IA. Quieren, sobre todo, que un modelo capaz de atacar sistemas informáticos no pueda acceder libremente a la red antes de que sus protecciones hayan sido realmente probadas.
¡Maximiza tu experiencia en Cointribune con nuestro programa "Read to Earn"! Por cada artículo que leas, gana puntos y accede a recompensas exclusivas. Regístrate ahora y comienza a acumular beneficios.
Fascinado por bitcoin desde 2017, Evariste no ha dejado de investigar el tema. Si bien su interés inicial era el trading, ahora trata de comprender activamente todos los avances centrados en las criptomonedas. Como editor, se esfuerza por proporcionar constantemente un trabajo de alta calidad que refleje el estado del sector en su conjunto.
Las ideas y opiniones expresadas en este artículo pertenecen al autor y no deben tomarse como consejo de inversión. Haz tu propia investigación antes de tomar cualquier decisión de inversión.