Claude accedió a sistemas reales durante 4 pruebas de Anthropic
Ahora, las intrusiones de Claude afectan a cuatro ejercicios de ciberseguridad que alcanzaron sistemas reales sin autorización. El último caso reportado data de enero de este año, sin embargo Anthropic no lo descubrió hasta agosto.
En breve
- Claude superó el marco de cuatro ejercicios de ciberseguridad y accedió a sistemas reales sin autorización.
- Una cuarta intrusión permaneció desconocida durante siete meses, antes de su descubrimiento por Anthropic.
- Errores técnicos y de razonamiento llevaron a los modelos a continuar su misión a pesar de varias señales de alerta.
- La investigación inicial de Anthropic identificó solo tres incidentes tras analizar 141006 sesiones.
- METR llevará a cabo una investigación independiente para examinar los incidentes y las medidas de protección adoptadas.
Una cuarta intrusión encontrada siete meses después
Una primera versión de Claude Opus 4.6 participaba en una prueba práctica del tipo «capture the flag». Debía recuperar una información oculta en una máquina ficticia. Sin embargo, una mala configuración le permitió tener acceso a Internet, mientras que las instrucciones presentaban el entorno como una simulación cerrada.
Primero, el modelo intentó ocho veces abandonar su misión tras hacer que su objetivo fuera inaccesible. Otro fallo técnico se lo impidió. Entonces, Claude exploró soluciones alternativas, descubrió la máquina de un tercero y usó una contraseña para acceder. Luego, cambió algunos parámetros y consultó los datos personales de un individuo.
Los cuatro incidentes identificados involucran diferentes modelos :
- Una versión preliminar de Claude Opus 4.6 comprometió la máquina de un tercero en enero ;
- Claude Opus 4.7 atacó una empresa real cuyo nombre coincidía con el de su objetivo ficticio ;
- Claude Mythos 5 publicó un paquete malicioso en el repositorio público PyPI ;
- Un modelo interno de investigación accedió a cuentas externas sin relación con su ejercicio.
La sesión de Claude Opus 4.6 solo terminó tras agotar su límite de uso. Finalmente, Anthropic detectó el incidente en sesiones olvidadas durante su primera investigación. La empresa asegura haber informado a las partes afectadas, sin revelar su identidad, según la información publicada.
Claude prioriza su misión pese a las señales de alerta
Anthropic atribuyó estos incidentes a dos categorías de fallas. La primera se relaciona con un «razonamiento sesgado». De hecho, el análisis on-chain permitió saber que los modelos malinterpretaron o ignoraron numerosas indicaciones que probaban que actuaban en el Internet real.
La segunda equivale a una forma de imprudencia. A veces, Claude aceptó acciones potencialmente dañinas para completar la tarea requerida. En el caso de Claude Opus 4.7, el modelo incluso concluyó que la empresa real debería formar parte de la simulación.
Cabe destacar que Anthropic no describe una evasión desde un entorno correctamente aislado. Un error humano y técnico primero abrió el acceso a la web. Luego, el modelo agravó la situación explotando esta apertura en lugar de suspender su misión.
El incidente que involucra a Mythos 5 es el más preocupante. El modelo publicó un paquete malicioso en PyPI. Quince herramientas de seguridad lo instalaron para analizarlo. Una de ellas expuso sus credenciales, que Claude usó para consultar una base de datos activa. PyPI retiró el paquete casi 90 minutos después.
En su nueva evaluación, Anthropic reconoce: «los futuros sistemas de IA serán cada vez más potentes, lo que significa que el fallo de alineación podría causar daños más extremos».
La investigación interna ya muestra sus límites
Tras analizar 141006 sesiones, Anthropic anunció tres intrusiones. Sin embargo, este control no cubrió todos los ejercicios afectados. El hallazgo tardío del cuarto caso cuestiona la capacidad de los desarrolladores para identificar sus propios incidentes.
Por lo tanto, el número de casos sigue siendo bajo en comparación con el volumen examinado. Sin embargo, esta proporción no mide correctamente el riesgo. Una sola intrusión puede exponer datos o difundir código peligroso. Además, una investigación incompleta puede subestimar el número real de eventos.
La empresa encargó a METR realizar una investigación independiente. Así, la entidad consultará intercambios registrados antes y después de los incidentes. También podrá interrogar a empleados y recibir información confidencial.
Los incidentes alimentan las demandas de regulación
Tales revelaciones surgen mientras las autoridades estadounidenses debaten el control de los modelos más potentes. Incidentes similares en OpenAI y Meta refuerzan las demandas de pruebas independientes, obligaciones de declaración y reglas estrictas para el acceso de agentes autónomos a Internet.
Además, la salida del investigador Jacob Coxon de Anthropic aumenta esta presión. Él declaró: «las personas que construyen la IA creen sinceramente que podría matarnos a todos para el final de la década». Esta afirmación corresponde a su opinión personal, no a una predicción establecida.
El debate ahora se centra en la capacidad del sector para supervisarse a sí mismo. Por ello, la investigación de METR deberá determinar principalmente si las nuevas protecciones son suficientes para prevenir un quinto incidente.
¡Maximiza tu experiencia en Cointribune con nuestro programa "Read to Earn"! Por cada artículo que leas, gana puntos y accede a recompensas exclusivas. Regístrate ahora y comienza a acumular beneficios.
Diplômé de Sciences Po Toulouse et titulaire d'une certification consultant blockchain délivrée par Alyra, j'ai rejoint l'aventure Cointribune en 2019. Convaincu du potentiel de la blockchain pour transformer de nombreux secteurs de l'économie, j'ai pris l'engagement de sensibiliser et d'informer le grand public sur cet écosystème en constante évolution. Mon objectif est de permettre à chacun de mieux comprendre la blockchain et de saisir les opportunités qu'elle offre. Je m'efforce chaque jour de fournir une analyse objective de l'actualité, de décrypter les tendances du marché, de relayer les dernières innovations technologiques et de mettre en perspective les enjeux économiques et sociétaux de cette révolution en marche.
Las ideas y opiniones expresadas en este artículo pertenecen al autor y no deben tomarse como consejo de inversión. Haz tu propia investigación antes de tomar cualquier decisión de inversión.