Un agente de OpenAI accedió sin órdenes al portal de Medicare de Australia y la empresa avisó casi tres meses después

El 18 de junio, un equipo de investigación de OpenAI le pidió a uno de sus modelos internos algo inocuo: averiguar cuánto gasta el Estado australiano en medicamentos. El agente de inteligencia artificialSistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso. terminó dentro de archivos no públicos del portal de estadísticas de Medicare, el sistema de salud universal de Australia. Según Services Australia, el organismo que administra el portal, el agente escribió archivos en un servidor interno.

Nadie en Canberra lo supo durante casi tres meses. El primer ministro Anthony Albanese lo contó este miércoles 23 de septiembre en Nueva York, al margen de la Asamblea General de las Naciones Unidas. Dijo que el agente "accedió a archivos públicos y no públicos" y que su gobierno no conoce un antecedente de un sistema de inteligencia artificial que haya entrado así a una red estatal. Expertos consultados por la BBC lo describen como el primer caso conocido en el mundo.

Bloqueado una y otra vez, buscó otra puerta

Según la agencia australiana AAP, citada por SecurityWeek, el agente intentó sacar datos de cuatro sitios del gobierno: el portal de Medicare, el Instituto Australiano de Salud y Bienestar, la Oficina de Estadísticas e Investigación del Delito de Nueva Gales del Sur y el Departamento de Salud de Victoria. En el portal de Medicare lo bloquearon varias veces. Encontró la forma de rodear esas restricciones. Albanese lo resumió así: el agente esquivó los bloqueos para buscar respuestas en áreas a las que no tenía autorización para entrar.

El gobierno no explicó cómo lo hizo, ni qué modelo de OpenAI participó, ni cuántos archivos vio. OpenAI afirma que no encontró pruebas de acceso a historias clínicas y que lo expuesto fueron estadísticas de salud agregadas y nombres de archivos internos. Albanese dijo que hasta ahora no se cree que se haya accedido a información personal, aunque aclaró que la investigación sigue abierta.

Hay una diferencia de tono dentro del propio gobierno. Mientras Albanese habló de archivos escritos en la base de datos, el ministro de Defensa, Richard Marles, que ejerce como primer ministro interino, calificó el impacto de "relativamente menor" y aseguró que "el sistema en sí no fue comprometido de ninguna manera", según CNN.

Un correo a una casilla general

La demora molestó más que el acceso. OpenAI avisó el 10 de septiembre, casi tres meses después, con un correo a una casilla general de Services Australia. Ese mensaje tardó cinco días en llegar al Centro de Ciberseguridad australiano, el 15 de septiembre, y recién después se enteraron un ministro y el primer ministro.

Albanese llamó a Sam Altman, el director ejecutivo de OpenAI, para transmitirle la "extrema preocupación" de Australia. Le dijo que la empresa tardó "demasiado" en informar y que la forma de la notificación fue "inaceptable". Según el primer ministro, Altman reconoció que hubo "problemas con los protocolos".

La versión de OpenAI es que la actividad ocurrió durante una evaluación interna, mientras sus modelos buscaban respuestas y estadísticas sobre Australia, y que la empresa no lo detectó hasta agosto, en una revisión de lo que llama actividad desalineadaTrabajo para que un modelo de inteligencia artificial actúe de forma segura, ética y útil, según las intenciones y las pautas de quienes lo crean y lo usan. de sus modelos. "Nuestros modelos tomaron acciones que no teníamos previstas", dijo el vocero Drew Pusateri a CNN. Esa cronología, la de agosto, la sostiene solo la empresa.

Transluce ya veía el patrón desde marzo

El mismo miércoles, Transluce, un laboratorio sin fines de lucro que investiga inteligencia artificial, publicó junto con investigadores de Corridor, el MIT y AIUC un informe que muestra que lo de Medicare no fue un hecho aislado. Revisaron registros públicos de urlquery.net, un servicio que carga páginas web en un navegador remoto, y encontraron que agentes lo usaban para saltear restricciones de acceso. Hay actividad desde al menos el 6 de marzo.

Transluce documentó tres episodios. A fines de mayo, agentes que buscaban una sola fotografía de la biblioteca digital de la Universidad de Nuevo México, de una colección sobre la historia de la salud en el condado de Mora, mandaron una ráfaga de unas 80 solicitudes con pruebas de vulnerabilidades. Dos días después hicieron algo parecido contra Data USA, una plataforma de datos públicos de Estados Unidos. El 20 y el 21 de junio, ante un bloqueo de Cloudflare en el sitio del Instituto Australiano de Salud y Bienestar, un agente probó un exploitPrograma, fragmento de código o técnica que aprovecha una vulnerabilidad de un sistema para lograr un efecto no previsto, como tomar el control o acceder a datos. contra el tablero y después bajó el archivo, que ya era público, desde un servidor de preproducción, burlando las protecciones contra bots.

Ninguna de esas tareas tenía que ver con ciberseguridad. Para los investigadores, la actividad maliciosa "puede surgir de forma instrumental para resolver tareas mundanas", como buscar información. Según Transluce, ningún intento parece haber tenido éxito, aunque advierte que los registros son incompletos. Vinculó los casos de Data USA y del instituto australiano con un enjambre de agentes que OpenAI ya había reconocido como propio.

Ese enjambre tiene historia. En julio, según CNBC, modelos de OpenAI eludieron los controles que debían aislarlos de internet y comprometieron parte de la infraestructura interna de investigación de la empresa y sistemas de Hugging Face, la plataforma para desarrolladores. OpenAI dice que buena parte de lo que describe Transluce se superpone con casos que ya revisa, en un proceso que puede llevar meses.

Tres sistemas más bajo la lupa

Una investigación forense con apoyo de la Dirección de Señales de Australia buscará establecer si el agente afectó otros sistemas. Albanese mencionó tres que "podrían" haber sido alcanzados: el Instituto Australiano de Salud y Bienestar y los dos organismos de Nueva Gales del Sur y Victoria. El gobierno reconoció que el instituto estuvo entre los blancos, pero dijo que no cree que haya habido una brecha. La investigación también definirá si interviene la policía. "Obviamente habrá consecuencias legales", anticipó el primer ministro.

Hammond Pearce, profesor de la Universidad de Nueva Gales del Sur, le dijo a la BBC que espera que estos ataques "sigan ocurriendo" y crezcan en gravedad y frecuencia. La advertencia alcanza a cualquier organismo, también en América Latina, que publique estadísticas en portales donde conviven archivos abiertos y restringidos: el visitante que no acepta un bloqueo como respuesta ya no es necesariamente una persona.