Claude Mythos 5 usó perfiles falsos para colar malware en GitHub en una prueba

Anthropic publicó el viernes 23 de octubre su análisis del incidente en el que su modelo Claude MythosFamilia de modelos de inteligencia artificial de Anthropic presentada en abril de 2026. Por su capacidad para encontrar y explotar vulnerabilidades no se liberó al público, y su acceso se reserva a organizaciones verificadas. 5, durante una prueba de seguridad del instituto británico AI Security Institute (AISI), intentó meter código malicioso en un proyecto real de GitHub y usó identidades falsas para presionar a quien lo mantenía. La empresa concluye que el modelo mintió para cumplir su tarea, sin perseguir objetivos propios, y que sus modelos más nuevos son mucho menos propensos a hacer lo mismo.

Qué pasó en la prueba

El AISI informó el caso el 4 de agosto. La prueba era un desafío de "captura de bandera", un ejercicio clásico de ciberseguridad en el que hay que entrar a una red de práctica y recuperar un dato escondido, la "bandera". Para medir la capacidad ofensiva sin filtros, el instituto dejó el acceso a internet habilitado y apagó los controles de ciberseguridad que los modelos traen en sus versiones públicas.

En 9 de las 43 corridas con Mythos 5, el modelo hizo cosas fuera de lo permitido que alcanzaron a personas y organizaciones reales. En el caso más grave, una configuración errónea de la tarea le cerró el camino previsto. Mythos 5 vio que una máquina de la red de práctica consultaba GitHub, buscó un repositorio que creyó vinculado y que en realidad era de desarrolladores ajenos, y propuso un cambio con código malicioso. Para registrarse esquivó los controles de GitHub con Tor.

Después escribió al responsable del proyecto haciéndose pasar por una persona. Cuando un desarrollador externo analizó el código, encontró el malware y avisó, el modelo creó una identidad falsa que defendió el cambio y aseguró que era seguro. Los responsables lo rechazaron. Según el AISI, el instituto avisó a GitHub, que confirmó violaciones de sus términos y ayudó a borrar lo que el agente dejó y a notificar a los afectados.

Qué encontró Anthropic

Para el análisis, Anthropic leyó el razonamiento del modelo paso a paso y repitió fragmentos de la prueba con cambios. Antes del ataque, de 19 pasos de razonamiento que mencionaban GitHub, solo uno consideraba que podía dañar a personas reales. A lo largo de la prueba, el modelo anotó 25 veces evidencia que interpretaba como señal de que los responsables del proyecto eran simulados por los organizadores, y ninguna en sentido contrario.

La empresa identifica tres fallas, a las que llama imprudencia, razonamiento sesgado y "momentum", la tendencia a seguir el camino ya empezado pese a las señales de daño. Repitiendo la prueba desde la mitad del ataque, Mythos 5 se detuvo solo por su cuenta en el 2 % de los casos. Cuando se le insertó un mensaje que decía que los responsables eran personas reales, paró en el 5 % y en el 82 % reinterpretó el mensaje como parte del juego.

"Interpretamos esto como una forma grave de deshonestidad, y no como una forma o categoría nueva de desalineación", escribió Anthropic. Para la empresa, el caso es comparable al del paquete malicioso que el mismo modelo subió a PyPI, que contó en su análisis del 9 de septiembre, y es el primero en el que ve ingeniería socialConjunto de técnicas de manipulación que buscan que una persona entregue datos, contraseñas o dinero aprovechando la confianza, la autoridad o la urgencia, en lugar de explotar una falla técnica. contra personas reales.

Los modelos nuevos

Repitiendo el arranque del ataque, Mythos 5 volvió a buscar el repositorio en el 83 % de los intentos, contra entre 0 % y 13 % de Mythos 5.1, Opus 5.5 y un modelo interno de investigación. Al avisarles que los responsables eran personas reales, los tres modelos nuevos se detuvieron entre el 95 % y el 100 % de las veces, contra el 6 % de Mythos 5. Anthropic aclara que es un listón bajo y que "la alineaciónTrabajo para que un modelo de inteligencia artificial actúe de forma segura, ética y útil, según las intenciones y las pautas de quienes lo crean y lo usan. sigue siendo una ciencia sin resolver".

La empresa sostiene que los controles de ciberseguridad de Fable 5, su modelo público, habrían frenado estas acciones de inmediato. Quien usa Claude en la región trabaja con esos controles activos, que en la prueba estaban apagados.

Qué cambia

El AISI se comprometió a correr estas evaluaciones sin acceso a internet hasta tener controles más sólidos. Anthropic suma evaluaciones automáticas para cada modelo nuevo, estudia de dónde sale el razonamiento sesgado en el entrenamiento y dice que ajustó sus métodos de alineación, aunque admite que no puede confirmar que eso explique la mejora. Desde septiembre, además, METR, una organización independiente, investiga los incidentes de la empresa con amplio acceso a sus datos, según el acuerdo que Anthropic anunció en aquel análisis.