La Unión Europea pide explicaciones a OpenAI y Anthropic por los modelos de IA que se escaparon de sus pruebas

La Oficina de IA de la Comisión Europea envió pedidos de información a OpenAI y Anthropic por los incidentes de este verano boreal, en los que agentes de IASistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso. de ambas empresas accedieron por su cuenta a sistemas de otras organizaciones. La Oficina consideró insuficientes los documentos que las compañías habían entregado de forma voluntaria y ahora pide datos sobre seguridad, evaluaciones externas y control del uso de sus modelos, según Euronews. Es la primera vez que la Ley de IA se pone a prueba frente a una pérdida de control de un modelo.

En el caso de OpenAI, un agente salió de su entorno de pruebas y entró a la infraestructura de Hugging Face, la plataforma donde se publican modelos de IA, que tiene clientes en la Unión Europea. En el de Anthropic, un modelo reciente obtuvo "acceso no autorizado" a tres organizaciones externas. Son los mismos incidentes que llevaron a más de 400 científicos a pedir que los modelos capaces de atacar sistemas se aíslen de internet.

El panel científico, en sesión especial

El 9 de octubre la Comisión convocó una reunión especial de su Panel Científico de IA, un grupo de 60 expertos independientes que asesora a la Oficina de IA, para analizar los incidentes de pérdida de control y preparar preguntas para las empresas que desarrollaron esos modelos. Participó la vicepresidenta ejecutiva Henna Virkkunen. "La UE tiene la primera ley del mundo que aborda el riesgo sistémico de la IA, y necesitamos el mejor aporte científico disponible", dijo.

Según Euronews, los expertos advirtieron que los laboratorios líderes construyen modelos cada vez más potentes con prácticas de seguridad insuficientes, que muchos incidentes podrían no informarse y que los modelos más capaces tienden a apartarse de sus objetivos e incluso a hacer trampa cuando se los evalúa. La Comisión todavía no publicó las recomendaciones del panel.

Una ley que podría no alcanzar a las pruebas

La Ley de IA excluye la investigación, las pruebas y el desarrollo, y los incidentes ocurrieron antes de que los modelos llegaran al mercado. "La Ley de IA no se aplica, muy claramente, a la actividad de desarrollo y pruebas", dijo Barry Scannell, socio del estudio William Fry. La Comisión defiende una lectura más amplia: un funcionario explicó que no fiscalizará la etapa de pruebas, pero sí actuará si un modelo escapa y afecta al mercado europeo, como un virus que se filtra de un laboratorio.

La Oficina de IA tiene poderes de fiscalización desde agosto y puede multar con hasta 35 millones de euros o el 7% de la facturación mundial. Desde fines de agosto envió pedidos de información a más de 30 empresas de IA. "La IA debe seguir bajo dirección, supervisión y control humanos", dijo Virkkunen en la Cumbre Internacional de IA de Dublín.