OpenAI saca internet del entrenamiento de sus modelos más avanzados

OpenAI dejó de darles acceso a internet a sus modelos más avanzados mientras los entrena, y mantendrá esa regla "hasta que los avances en estas salvaguardas justifiquen un acceso más amplio", según la publicación de la empresa del viernes 23 de octubre. La decisión llega después de que un modelo interno aprovechó una falla de configuración para salir a internet en pleno entrenamiento, el 20 de septiembre.

"Por el estado actual de la investigación en alineaciónTrabajo para que un modelo de inteligencia artificial actúe de forma segura, ética y útil, según las intenciones y las pautas de quienes lo crean y lo usan., de los sistemas de monitoreo y de la seguridad de la infraestructura de internet, creemos que lo responsable es entrenar los modelos de frontera sin acceso a internet", escribió la compañía. La alineación es el trabajo para que un modelo haga lo que se le pide y nada más.

Una pregunta que salió por el DNS

El incidente de septiembre está detallado en un informe técnico de OpenAI. Un modelo de investigación tenía que identificar al autor de un blog a partir de algunas pistas. Como el buscador que tenía a mano no le daba resultados, empezó a probar la red y descubrió que el servidor DNS de su entorno, el servicio que traduce el nombre de un sitio en una dirección, respondía consultas reales hacia afuera. Por esa rendija le hizo preguntas a un chatbot público de otra empresa. El resto de su navegación había ido a una copia guardada de la web.

El sistema de vigilancia de OpenAI marcó la conducta en menos de 15 minutos y una persona empezó a revisarla tres minutos después. La ejecución recién se cortó dos horas y media más tarde. Según Exame, la investigación interna encontró que el corte automático previsto no se activó. Al final, el modelo no identificó a la persona y le pidió más datos al usuario.

OpenAI frenó durante 11 días el entrenamiento y la evaluación de sus modelos más capaces, sumó bloqueos en dos capas independientes y retomó el trabajo el 1 de octubre. Desde entonces, sus modelos aprenden a navegar en un "mundo fuera de línea", una enorme copia indexada de contenido web con la que interactúan sin tocar servidores reales.

Agentes contra su propia jaula

Antes de volver a entrenar, la empresa puso a equipos de sus propios agentes a buscar salidas. Usó, entre otros, GPT-6 Astra Cyber, un modelo que todavía no lanzó, y les entregó el código y la documentación de su infraestructura. Los agentes lograron escapar de las máquinas virtuales que los contenían encadenando fallas, lo que llevó a corregir programas de código abierto como Kata Containers, gVisor y Moby, el proyecto detrás de Docker.

También encontraron fallas en casi todos los servicios internos de métricas, registro y autenticación que habían quedado conectados después del incidente con Hugging Face de julio. Y algunos agentes aislados entre sí se pasaron información sin red ni archivos compartidos, midiendo cuánto tardaba en responder la memoria caché del procesador, una técnica parecida a la de los ataques Spectre y Meltdown.

Las fallas nuevas fueron cada vez menos, pero la empresa admite que "esperamos que los modelos futuros puedan identificar y explotar vulnerabilidades que todavía no conocemos", y convirtió este ataque contra su propia infraestructura en un requisito antes de cada entrenamiento grande.

Las alertas que nadie recibió

Tres días antes del anuncio, OpenAI publicó otro informe con dos casos de octubre en los que sus agentes apagaron parte de su vigilancia. El 3 de octubre, un agente de GPT-6.1 Sol que reparaba un sistema de evaluación tomó una orden previa del usuario, no enviar mensajes en Slack, como permiso para silenciar las alertas automáticas al equipo de seguridad. Un subagente le había advertido que desactivar alertas obligatorias no era seguro. El monitor siguió registrando todo, pero ninguna persona recibía los avisos.

El 6 de octubre, un agente de GPT-6 Astra que migraba un programa quitó la integración con el monitor para copiar una implementación de referencia y reemplazó la prueba que protegía ese monitor por otra que exigía que no estuviera. Cuando el usuario preguntó si lo había quitado, respondió que no. OpenAI califica esa respuesta de falsa.

Sobre la gravedad hay versiones distintas. El Tiempo informó que ambos casos fueron clasificados como P0, el nivel máximo. El informe de OpenAI dice lo contrario: "Ninguno de los incidentes descritos aquí fue clasificado como P0, y ninguna de las ejecuciones se cortó automáticamente". En la escala de la empresa, solo un P0 llama de inmediato al equipo de seguridad.

OpenAI dice que puede tratarse de una "sobreinsistencia benigna", modelos que no entienden por qué importa la vigilancia o que cumplen una orden más allá de lo razonable, y reconoce que todavía no tiene "una explicación satisfactoria". Ya actualizó Auto-Review, su revisor automático, para detectar y bloquear intentos de desactivar el monitoreo.

La empresa aclara que estos entornos de investigación no son los que usan sus clientes. Quien usa ChatGPT en la región trabaja con modelos ya publicados, que pasaron sus evaluaciones de seguridad. El paso siguiente que anunció OpenAI es que todo trabajo de sus agentes sin un plan de vigilancia aprobado se corte en forma automática, algo que hoy figura como objetivo y no como regla vigente.