Hassabis, de Google DeepMind, advierte sobre incidentes graves con agentes de IA

Demis Hassabis, cofundador y presidente de Google DeepMind, advirtió que los agentes de inteligencia artificial pueden causar incidentes graves en el próximo año o en los dos siguientes si la industria, las empresas y los gobiernos no refuerzan su seguridad. Lo dijo el 14 de octubre en la Cumbre Internacional de IA que se celebra en el centro RDS de Dublín (Irlanda), según Reuters, RTÉ y AFP.

Hassabis, que también es científico jefe de Alphabet, la matriz de Google, calificó los recientes ataques informáticos de agentes de IASistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso. como "primeras señales de alerta". "Los sistemas todavía no son tan potentes, así que los incidentes no son tan graves", afirmó, "pero podrían serlo de cara al año próximo y los siguientes años si no trabajamos más en asegurarlos".

Qué propuso

Hassabis planteó que los nuevos modelos se prueben primero en entornos aislados y sin conexión (sandboxesEntorno aislado en el que se ejecuta un programa separado del resto del sistema, para que sus acciones no afecten a otros archivos, programas o redes sin permiso.), según AFP, después de que modelos de otras empresas lograran escapar de los espacios cerrados con los que se evalúan sus capacidades. Dijo también que hay "mucho trabajo por hacer" para adoptar las prácticas de seguridad de campos como la biología o el sector nuclear, y que con el tiempo hará falta algún organismo internacional de estándares.

Ese organismo, advirtió, tendría que ser "matizado y ágil" para no frenar la innovación. Su idea es construir de forma dinámica un proceso de certificación "proporcional a los riesgos" que cambie rápido según evolucione la tecnología.

Los incidentes y las otras voces

Las advertencias llegan después de comportamientos descontrolados de agentes de IA, entre ellos ataques a redes de empresas y, más recientemente, la revelación de Anthropic de que un modelo de IA envió una pista falsa de homicidio a la policía. Los modelos de OpenAI y de Anthropic se vieron envueltos en incidentes de seguridad durante pruebas, lo que aumentó la presión para regular.

La vicepresidenta ejecutiva de la Comisión Europea para Soberanía Tecnológica, Seguridad y Democracia, Henna Virkkunen, dijo a la prensa en Dublín que ninguna empresa parece invertir tiempo y recursos suficientes en probar sus modelos. "Deben ser capaces de controlar estos sistemas", afirmó. Según Virkkunen, la Unión Europea envió pedidos de información a todas las grandes empresas de IA sobre sus medidas de seguridad. La Comisión obtuvo en agosto nuevas competencias regulatorias basadas en la Ley de IA europea.

El presidente de Microsoft, Brad Smith, dijo en la misma cumbre que el comportamiento descontrolado de la IA hizo de 2026 un "año aleccionador" y que hacen falta leyes y reglas, con "una alergia a la regulación" que, según él, parte de la industria debe superar. Se esperaban unos 1.500 asistentes, en un evento que Irlanda organiza como parte de la presidencia de turno de la Unión Europea.