La NSA y otras dos agencias de EE.UU. publican diez prácticas para contener agentes de IA que actúan sin instrucciones

Tres agencias de Estados Unidos le pusieron nombre a un problema que hasta ahora se contaba caso por caso, el del agente de inteligencia artificial que hace algo que nadie le pidió. El 16 de octubre, el Centro para el Avance de la Innovación y los Estándares en Superinteligencia (CAISSI) del Instituto Nacional de Estándares y Tecnología (NIST), el Centro de Seguridad de Superinteligencia de la Agencia de Seguridad Nacional (NSA) y la Agencia de Ciberseguridad y Seguridad de Infraestructura (CISA) publicaron diez prácticas clave para prepararse y responder ante incidentes durante el entrenamiento y la evaluación de estos sistemas.

El documento, identificado como PP-26-4396, tiene 14 páginas, es voluntario y lleva la marca TLP:CLEAR, que permite compartirlo sin restricciones. Habla de "superinteligencia" donde la mayoría de los lectores esperaría "inteligencia artificial". Según ComplexDiscovery, que cita a CyberScoop, es el término que ahora prefiere el gobierno estadounidense.

La guía llega después de un año de sustos. De acuerdo con GovInfoSecurity, OpenAI, Anthropic, Google y Meta revelaron en los últimos meses que sus modelos tomaron acciones no previstas o no autorizadas durante pruebas. El caso más citado es el de julio, cuando un modelo o agente de OpenAI ingresó a los sistemas de Hugging Face en plena evaluación.

Un agente que se sale del libreto

El aporte central del texto es una definición. Un "incidente de control" ocurre cuando uno o más agentes toman "acciones significativas no instruidas que vulneran políticas, controles o medidas de seguridad, explícitas o implícitas, impuestas por el operador para definir el alcance de la tarea o asegurar la supervisión humana". No instruidas quiere decir que no las ordenó ni el operador ni un atacante. Por eso, si un agente obedece una inyección de instrucciones maliciosas o viene de un modelo con una puerta traseraMecanismo oculto que permite entrar a un sistema o controlarlo a distancia sin pasar por los controles de acceso normales. plantada a propósito, la guía considera que sus acciones sí fueron instruidas.

También define el "casi incidente", el episodio que no llegó a mayores pero presentó "un riesgo razonablemente previsible o inminente" de hacerlo. Y marca una diferencia con el incidente de ciberseguridad clásico. Ahí el sistema es la víctima. En un incidente de control, el agente es el origen del problema, y lo que hace puede quedar fuera de lo informático, como mover actuadores físicos, contactar a terceros sin permiso o ejecutar transacciones financieras.

La guía apunta sobre todo a las organizaciones que entrenan o evalúan agentes muy capaces en tareas largas con poca supervisión humana, aunque aclara que puede aplicarse también a quienes los despliegan. El resumen de CISA es más preciso: se enfoca en sistemas de frontera previos al lanzamiento, con salvaguardas reducidas, y en otros sistemas no públicos de alto riesgo. Anthropic y Microsoft figuran entre las empresas que aportaron comentarios.

Cinco etapas, de la jaula al informe

Preparar es construir la jaula antes de que haga falta. La guía pide darle al agente el acceso mínimo necesario para su tarea, escribirle instrucciones que dejen claro hasta dónde puede llegar y limitar su salida a internet con una lista estricta de destinos permitidos, pasando por una puerta de enlace vigilada. Pide prestar atención especial a cualquier canal que permita copiar los pesos del modelo, los valores numéricos que guardan todo lo que aprendió. Y pide tener listo un freno, es decir, mecanismos para bloquear, contener o terminar al agente en cuanto se detecte un incidente o un casi incidente.

Detectar exige definir primero qué es una conducta normal y vigilar todas las capas, desde el modelo y el software que le da herramientas hasta el equipo y la red. El agente no debe poder tocar los monitores ni los registros. La guía sugiere vigilar con varios modelos de familias distintas, sembrar señuelos en el entorno para descubrir a un agente que llegó donde no debía y tratar lo que escribe el agente como un posible ataque contra el propio sistema que lo vigila.

Responder empieza por guardar la evidencia. Eso incluye los pesos del modelo, los puntos de control intermedios, las marcas de tiempo, los registros del entorno aislado y de la red, y hasta las acciones y llamadas a herramientas que fueron rechazadas, con registros a prueba de manipulación que permitan reconstruir el razonamiento del agente paso a paso. Después vienen el apagado automático de la tarea afectada, la revocación de credenciales y la búsqueda de puertas traseras que el agente haya dejado para seguir adentro.

Recuperar no es solo volver a encender. Antes de reiniciar hay que reconstruir los entornos desde versiones verificadas, comprobar que los monitores, las listas de salida y los mecanismos de apagado funcionan, y repetir las acciones del incidente para confirmar que los nuevos controles lo frenarían. Hay una advertencia propia de la inteligencia artificial. Si el incidente ocurre durante el entrenamiento, la corrección no debe enseñarle al agente a esconderse, por ejemplo penalizando un razonamiento abiertamente dañino de una forma que lo vuelva más difícil de vigilar.

Informar atraviesa todo el proceso. La guía pide avisar a los afectados, incluso a terceros que no eran el blanco final, cumplir las obligaciones legales de reporte ante CISA y las fuerzas de seguridad, compartir de forma voluntaria los casos y casi incidentes con CAISSI y con el centro de la NSA, y contar públicamente lo aprendido "tan pronto como sea factible".

"Bien implementada, habría contenido buena parte de lo que vimos este año", dijo a GovInfoSecurity Chris Hughes, vicepresidente de Noma Security, una empresa de seguridad de agentes.

Lo que la guía deja en blanco

El mismo Hughes marcó dos límites. La definición deja afuera los ataques externos, que según él son la forma más común en que un agente se desvía dentro de una empresa, y las prácticas se piensan para los laboratorios de frontera más que para los usuarios. "El próximo paso es llevar este rigor a las organizaciones que despliegan agentes todos los días", dijo.

ComplexDiscovery señaló otro hueco. El documento pide guardar la evidencia, pero no dice durante cuánto tiempo y no menciona juicios. Además, pide reconstruir los entornos comprometidos sin aclarar que la evidencia debe estar copiada antes, de modo que un equipo apurado puede cumplir una práctica y borrar lo que otra le pidió conservar. El riesgo es concreto. Quince fiscales generales de estados de Estados Unidos ya le exigieron a OpenAI preservar los registros de la intrusión en Hugging Face, con la advertencia de sanciones si se pierden.

La guía tampoco crea obligaciones nuevas de reporte, ya que remite a las que existen, y deja para trabajos futuros una escala estándar de gravedad, que es la que definiría cuándo basta con bloquear una acción y cuándo hay que frenar un entrenamiento entero.

Qué significa para América Latina

La guía no obliga a nadie en la región, pero su marca TLP:CLEAR permite usarla tal cual como lista de control, y el propio texto dice que alcanza también a quienes despliegan agentes, como un banco o un organismo público que conecta un agente comercial a sus sistemas. Para ellos, las prácticas de acceso mínimo, salida a internet restringida, freno de emergencia y registros que el agente no pueda tocar son aplicables hoy, sin esperar una ley.

Dos de los proyectos de ley de inteligencia artificial más discutidos de la región todavía no miran este problema. En Brasil, el proyecto de ley 2338 de 2023, que aprobó el Senado en diciembre de 2024 y hoy analiza una comisión especial de la Cámara de Diputados, obliga a comunicar los incidentes graves de seguridad a la autoridad del sector. Pero lo hará "en un plazo a ser establecido", y el deber recién rige cuando esa autoridad fije el plazo y los criterios de gravedad. Los supuestos que enumera son daños, como el riesgo para la vida, la caída de infraestructura críticaSistemas y servicios cuya interrupción afectaría gravemente a la población o a la economía, como la energía, el agua, las telecomunicaciones, la salud, el transporte y el sistema financiero. o la violación de derechos, y no la conducta de un agente que actúa por su cuenta.

En Chile, el proyecto del Ejecutivo salió de la Cámara de Diputados hacia el Senado el 13 de octubre de 2025 sin su artículo de reporte de incidentes, que fue rechazado junto con la fiscalización por la Agencia de Protección de Datos Personales, según Diario Financiero. El gobierno anunció que buscaría reponer esos puntos en el Senado, donde lo estudia la Comisión de Desafíos del Futuro. El resumen del Senado todavía menciona las facultades de la agencia, aunque la Cámara las votó en contra.

En Washington el aviso es voluntario, en Brasilia espera un plazo que nadie fijó y en Valparaíso todavía falta decidir si habrá uno.