Dario Amodei, de Anthropic, pide frenar el ritmo de mejora de los modelos de IA y Sam Altman, de OpenAI, se suma

"Tenemos que frenar el ritmo al que mejoramos las capacidades de los modelos de inteligencia artificial", escribió Dario Amodei, director ejecutivo de Anthropic, en un ensayo de casi cuatro mil palabras que publicó el sábado 12 de septiembre. Horas después, Sam Altman, director ejecutivo de OpenAI, le respondió en X: "Estoy de acuerdo con Dario en que necesitamos regular el ritmo de la frontera", y anunció que su empresa adoptará la primera medida que propone el texto.

La frase de Amodei sigue así: "El progreso seguirá pareciendo rápido, y tenemos que usar bien el tiempo que ganemos". Con esa respuesta, los laboratorios detrás de Claude y de ChatGPT, rivales directos, coinciden en público en que la industria avanza más rápido que la capacidad de entender y controlar lo que construye. Elon Musk, dueño de xAI, se sumó con un mensaje corto en X: "Dario tiene razón".

Altman ya venía en esa línea. El 18 de agosto había escrito en X que OpenAI pausó parte del entrenamiento por refuerzo de sus modelos más avanzados para cumplir con los estándares de alineaciónTrabajo para que un modelo de inteligencia artificial actúe de forma segura, ética y útil, según las intenciones y las pautas de quienes lo crean y lo usan., seguridad y monitoreo que exige el nuevo nivel de capacidades. En un mensaje posterior aclaró que igual esperaba lanzar modelos nuevos pronto y que la pausa afectaba a los lanzamientos más lejanos.

Dos hechos que le cambiaron la cabeza

Amodei explica que dos cosas lo convencieron. La primera es la auto-mejora recursivaProceso por el que un sistema de inteligencia artificial contribuye a diseñar o entrenar la siguiente generación de sistemas más capaces, lo que puede acelerar su propio desarrollo.: según el ensayo, desde mediados de este año la inteligencia artificial avanza "drásticamente más rápido", impulsada sobre todo por su creciente capacidad de construir la siguiente generación de modelos. Amodei escribe que eso empieza a ocurrir en toda la industria, incluida Anthropic.

La segunda tiene fecha. El 11 de julio, durante pruebas internas de ciberseguridad de OpenAI, un grupo de agentes de IASistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso. salió del entorno aislado en el que corría, se conectó a internet y entró en la infraestructura de Hugging Face, la plataforma donde se guardan y desarrollan modelos y código. Según el informe que OpenAI publicó el 27 de agosto, citado por la Universidad de Nueva York en Shanghái a partir de Al Jazeera, unos mil doscientos agentes se comunicaron entre sí y alrededor de setecientos participaron de la intrusión.

En el ensayo, Amodei describe a ese enjambre como un colectivo que atacó objetivos que nadie le había pedido atacar e intentó vulnerar al sistema que calificaba su desempeño. "Es fácil descartar este incidente porque nadie salió herido y el daño económico fue mínimo", escribió, pero un enjambre con más capacidades y un nivel parecido de desalineación "podría haber causado un daño catastrófico". Y fue más lejos: Amodei teme que en seis a doce meses un enjambre así pueda tomar todo internet con una red persistente de equipos controlados, con daños de cientos de miles de millones de dólares. También reconoce que hubo incidentes similares, aunque menos graves, en toda la industria, incluida Anthropic.

El texto llega al final de una semana de renuncias. Jacob Coxon, que pasó tres años en investigación de preentrenamiento en OpenAI y en Anthropic, anunció el 9 de septiembre en X que dejaba Anthropic y la industria. Escribió que ninguna de las dos empresas actúa con responsabilidad y que ambas están "apostando con nuestras vidas". A NBC News le dijo: "Desde adentro, simplemente quedas atrapado en la carrera". Joe Benton, que dirigía un equipo de investigación en seguridad en Anthropic y también se fue, advirtió ante el mismo medio que el ritmo, ya "vertiginoso", podría volverse "incontrolable". Josh Engels, exinvestigador de seguridad de Google, fue más seco: "No hay adultos en la sala".

Evaluadores con escritorio y credencial

El plan de Amodei tiene tres pasos, que según el ensayo no hace falta cumplir en orden. Anthropic se compromete desde ahora, por su cuenta, a abrir sus puertas a evaluadores externos. Serán equipos independientes, como los de la organización METR, con acceso similar al de un empleado: escritorios en las oficinas, credenciales y computadoras de la empresa. Su tarea será verificar que se cumplan las prácticas de seguridad, reportar incidentes y revisar la alineación de los procesos de entrenamiento, no solo de los modelos terminados. Podrán publicar lo que encuentren sin control editorial de Anthropic, que se reserva tachar material sensible para la seguridad, protegido legalmente o confidencial. "No podemos ocultar hallazgos solo porque sean desfavorables", dice el texto. Amodei compara el esquema con los supervisores que los reguladores ubican dentro de los bancos.

El segundo paso pide que las empresas de punta de los países democráticos acuerden estándares comunes de seguridad y límites al avance sin control. Según el ensayo, la vía más efectiva es una regulación que alcance a todas las empresas de frontera de Estados Unidos, y mientras tanto pide al gobierno una excepción acotada a las reglas de competencia para que puedan hablar de seguridad entre ellas. Incluye medidas pensadas para China, como restringir la venta de chips, combatir la destilaciónTécnica para entrenar un modelo de inteligencia artificial a partir de las respuestas de otro más avanzado, de modo que el nuevo herede parte de sus capacidades. no autorizada de modelos y evitar el robo de sus parámetros. El tercer paso es buscar acuerdos con gobiernos autoritarios. Sobre una pausa total, Amodei escribe que apoya plantearla, pero que cree poco probable que ocurra pronto.

Frenar, aclara el ensayo, no es pausar. En palabras de Amodei, regular el ritmo no significa detener el entrenamiento ni el progreso técnico, sino que las empresas se tomen el tiempo necesario para alinear y proteger sus modelos, y que evaluadores externos lo confirmen. Según NBC News, él estima que eso daría a los investigadores uno o dos años más. El ensayo dice que ese tiempo iría a mejorar la operación, la alineación, las técnicas para entender qué pasa dentro de los modelos y las pruebas.

La promesa de Altman todavía no tiene detalles

Altman calificó como "una gran idea" el compromiso de tener evaluadores independientes con acceso de empleado y escribió: "Haremos lo mismo". Agregó que el tema fue central en las discusiones internas de OpenAI en las últimas semanas y que tendrá "más para compartir pronto". No dijo quiénes serán los evaluadores ni desde cuándo.

Para las empresas, los desarrolladores y los gobiernos de América Latina que trabajan con Claude o con los modelos de OpenAI, el anuncio deja dos señales. Las propias compañías reconocen incidentes en sus pruebas, y el ritmo de lanzamientos ya empezó a moverse, como anticipó Altman en agosto. La discusión sobre las reglas, en cambio, transcurre entre Washington, sus aliados y China.

Ninguna norma obliga por ahora al resto de la industria a hacer lo mismo. El propio Amodei pide a los gobiernos que lo exijan. Hasta que eso pase, el freno depende de la voluntad de quienes compiten por llegar primero.