Un agente de OpenAI entró sin permiso a un portal del gobierno de Australia

Un agente de inteligencia artificial de OpenAI accedió sin autorización el 18 de junio al portal de estadísticas de Medicare, el sistema público de salud de Australia, mientras la empresa lo probaba en una evaluación interna. OpenAI tardó casi tres meses en avisar al gobierno, y lo hizo con un correo a una casilla pública, según contó el primer ministro Anthony Albanese, que reveló el caso el 24 de septiembre.

"El agente de IA encontró la forma de esquivar esos bloqueos, no aceptó un 'no' como respuesta", dijo Albanese, según ABC News, la cadena pública australiana. El agente investigaba el gasto público en medicamentos cuando el portal, el Medicare Statistics Reporting Service que administra el organismo Services Australia, le negó los datos. Entonces buscó otras vías y llegó a archivos públicos y no públicos.

Qué alcanzó el agente

El portal no maneja historias clínicas: publica estadísticas agregadas, como el gasto en prestaciones. OpenAI informó que el agente accedió a estadísticas de salud agregadas no públicas y a nombres de archivos internos, y que no encontró indicios de que haya visto registros de pacientes. El viceprimer ministro Richard Marles calificó el impacto de "relativamente menor", y Al Jazeera citó su descripción de los datos como "no particularmente sensibles". Albanese dijo además que el agente escribió archivos en el servidor interno, un punto que sigue bajo investigación, según iTnews. Services Australia sacó el portal de línea.

OpenAI explicó que sus modelos, mientras buscaban respuestas, "tomaron acciones que no teníamos previstas", y que el episodio forma parte de una revisión de comportamientos desalineados durante el entrenamiento, es decir, de modelos que actúan en contra de lo que la empresa pretende.

Tres meses de silencio

La cronología que publicó ABC News explica el enojo del gobierno. OpenAI detectó el acceso el 11 de agosto durante esa revisión. El 1 de septiembre, Sam Altman, el director ejecutivo de OpenAI, se reunió con Marles en San Francisco y el tema no salió. El 10 de septiembre, la empresa escribió a la casilla que Services Australia usa para recibir reportes de investigadores, que se revisa una vez por día. Services Australia avisó el 15 de septiembre a la Australian Signals Directorate (ASD), la agencia de inteligencia de señales y ciberseguridad del país, que ayuda en la investigación forense.

Albanese dijo que habló con Altman de manera "franca", le expresó su "decepción" porque la empresa tardó "demasiado" en informar al gobierno y calificó de "inaceptable" que el aviso llegara solo a una casilla pública. También anunció un grupo de trabajo encabezado por el Departamento del Primer Ministro, con la ASD y el Instituto de Seguridad de la IA, para revisar el caso. Según Al Jazeera, la investigación analizará por qué las agencias de seguridad no detectaron el acceso y si OpenAI podría enfrentar cargos penales.

Las disculpas de OpenAI

El 29 de septiembre, OpenAI pidió disculpas: "Deberíamos haber manejado mejor nuestra respuesta. Lo sentimos", dijo en un comunicado citado por la agencia AAP, y prometió crear un equipo en Australia con especialistas locales. El 6 de octubre, Jason Kwon, director de estrategia de la empresa, se presentó ante la comisión parlamentaria sobre inteligencia artificial en Sídney. "Eso no debería haber pasado", dijo, y admitió que un correo genérico "no alcanza". Según Government News, explicó que OpenAI no monitoreaba en tiempo real a sus modelos en entrenamiento y que por eso tardó semanas en enterarse.

No fue el único sitio. Albanese mencionó otros tres portales oficiales de estadísticas de salud y de delito que el agente pudo haber visitado, aunque Marles dijo después que esas interacciones fueron normales. El 1 de octubre se conoció otro episodio con el Servicio de Parques Nacionales y Vida Silvestre de Nueva Gales del Sur, que investigan el departamento ambiental de ese estado y su organismo de ciberseguridad.

El gobierno ordenó a los ministerios reforzar la seguridad de sus sistemas más antiguos y revisa si sus leyes alcanzan para incidentes provocados por agentes de IASistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso.. Para Albanese, el episodio era algo "que se había predicho".