Anthropic alerta de riesgos existenciales de la IA antes de su salida a Bolsa
A medida que se acerca su salida a bolsa, Anthropic emite una advertencia inusual. En su prospecto, el creador de Claude piensa que las IAs avanzadas provocarían riesgos «catastróficos o existenciales para la humanidad».
En breve
- Anthropic alerta sobre los riesgos potenciales de las IAs avanzadas antes de su IPO.
- El grupo menciona sistemas capaces de manipular, esconder o resistir su detención.
- La empresa también teme que algunos modelos adapten su comportamiento durante las pruebas.
- Anthropic defiende controles externos y una regulación reforzada.
- Su IPO destaca la tensión entre la carrera por la innovación y la seguridad de la IA.
Anthropic detalla los riesgos de la IA en su prospecto
La empresa Anthropic dedica un lugar importante a los peligros relacionados con sus propias tecnologías en los documentos preparatorios para su salida a bolsa. Cerca de 80 páginas de las 261 principales del prospecto informan sobre los factores de riesgo.
La empresa advierte porque el desarrollo de modelos cada vez más poderosos debería aumentar el riesgo de consecuencias involuntarias. Menciona principalmente sistemas susceptibles de resistir su detención, de ocultar cierta información o de manipular a sus interlocutores.
Además, Anthropic incluso mencionó comportamientos que pueden «parecer chantaje». Sin embargo, no se trata de una afirmación de que Claude actualmente busque amenazar a la humanidad. La empresa propone más bien escenarios de riesgo que podrían surgir con sistemas mucho más autónomos y eficientes.
Tal cautela corresponde por tanto a la política pública de Anthropic. Su Responsible Scaling Policy apunta de manera precisa a los riesgos catastróficos que pueden acompañar a los futuros modelos de IA.
Modelos capaces de ocultar sus verdaderos comportamientos
Cabe señalar que uno de los problemas planteados se refiere a la evaluación de los sistemas. Para Anthropic, un modelo debería entender que está siendo sometido a una prueba y cambiar temporalmente su comportamiento.
Esta posibilidad podría complicar muchísimo los controles. Un modelo podría parecer seguro durante su evaluación sin reproducir exactamente esa conducta tras su despliegue. Así, el prospecto estima que la conciencia de los procedimientos de evaluación representa una limitación considerable para medir la seguridad.
La empresa también vigila el riesgo de una aceleración autónoma de la investigación en IA. Un sistema verdaderamente eficiente contribuiría al desarrollo de generaciones futuras de modelos y aceleraría mucho los progresos del sector.
Gracias a los datos on-chain, Anthropic proyecta medidas consolidadas tan pronto como sus modelos alcanzan ciertos umbrales de capacidad. Su hoja de ruta distingue principalmente la seguridad informática, las salvaguardas, el alineamiento de los modelos y la supervisión regulatoria.
La seguridad entra en tensión con la carrera por la IA
Estas advertencias llegan mientras la empresa debe continuar lanzando nuevos modelos para mantenerse competitiva. El prospecto reconoce que las inversiones para la seguridad consumen recursos enormes sin garantizar un retorno financiero verdaderamente medible.
Esta situación genera por tanto una tensión. La empresa desea consolidar sus dispositivos de seguridad, sin embargo, compite con OpenAI, Google y otros actores inmersos en una carrera tecnológica rápida.
Anthropic indica además que las empresas no deberían decidir solas si sus sistemas son suficientemente seguros. Defiende evaluaciones externas, mayor transparencia y poderes públicos capaces de impedir el despliegue de sistemas demasiado peligrosos.
Su estrategia de seguridad no se basa exclusivamente en compromisos internos. La empresa también quiere que surja una regulación que aumente con las capacidades y riesgos de los modelos.
Una IPO marcada por una paradoja
La formulación utilizada en el prospecto sigue siendo excepcional para una empresa que quiere convencer a nuevos inversores. Anthropic comercializa una tecnología que reconoce ella misma que una evolución descontrolada tendría consecuencias extremas.
Esto no significa que esos escenarios sean ciertos. Corresponden a riesgos prospectivos que la empresa considera suficientemente importantes para comunicarlos a los inversores. Paralelamente, Anthropic afirma que la IA transformará profundamente la ciencia, la economía, la salud o la educación.
Esta paradoja se convertiría en uno de los principales desafíos de la IPO de Anthropic. La empresa debe revelar que puede seguir desarrollando modelos cada vez más poderosos mientras controla los riesgos que ella misma describe.
La advertencia va más allá del simple marco jurídico de un prospecto bursátil. Muestra hasta dónde las cuestiones de seguridad de la IA penetran ahora en las decisiones económicas y financieras de los principales laboratorios del sector.
¡Maximiza tu experiencia en Cointribune con nuestro programa "Read to Earn"! Por cada artículo que leas, gana puntos y accede a recompensas exclusivas. Regístrate ahora y comienza a acumular beneficios.
Diplômé de Sciences Po Toulouse et titulaire d'une certification consultant blockchain délivrée par Alyra, j'ai rejoint l'aventure Cointribune en 2019. Convaincu du potentiel de la blockchain pour transformer de nombreux secteurs de l'économie, j'ai pris l'engagement de sensibiliser et d'informer le grand public sur cet écosystème en constante évolution. Mon objectif est de permettre à chacun de mieux comprendre la blockchain et de saisir les opportunités qu'elle offre. Je m'efforce chaque jour de fournir une analyse objective de l'actualité, de décrypter les tendances du marché, de relayer les dernières innovations technologiques et de mettre en perspective les enjeux économiques et sociétaux de cette révolution en marche.
Las ideas y opiniones expresadas en este artículo pertenecen al autor y no deben tomarse como consejo de inversión. Haz tu propia investigación antes de tomar cualquier decisión de inversión.