Anthropic da acceso de empleado a seis evaluadores externos de seguridad

Anthropic, la empresa detrás del asistente Claude, incorporó a seis investigadores de METR con un acceso similar al de sus propios empleados para que evalúen de forma independiente sus modelos, sus prácticas de seguridad y su gestión de riesgos, según anunció el 15 de octubre. METR podrá publicar sus conclusiones y Anthropic renunció a la posibilidad de vetarlas.

METR, sigla de Model Evaluation & Threat Research (evaluación de modelos e investigación de amenazas), es una organización sin fines de lucro que mide qué pueden hacer los modelos de inteligencia artificial más avanzados y qué riesgos implican. Ya trabajó en evaluaciones piloto con OpenAI, Google DeepMind, Meta y Amazon, revisó varios informes de riesgo de Anthropic y asesora a la Oficina de IA de la Unión Europea, según su sitio. La organización aclara que no cobra por estas evaluaciones, aunque las empresas le dan acceso a sus modelos para hacerlas.

Computadora de la empresa y acceso a las herramientas internas

El equipo de METR recibió computadoras de Anthropic, espacio en sus oficinas y acceso a herramientas y sistemas internos "aproximadamente a la par" de lo que tienen los equipos de evaluación de riesgos de la propia compañía. "Se alienta a los empleados de Anthropic a compartir información con ellos tal como lo harían con un compañero que trabaja en riesgos de alineaciónTrabajo para que un modelo de inteligencia artificial actúe de forma segura, ética y útil, según las intenciones y las pautas de quienes lo crean y lo usan.", escribió la empresa en su blog. La alineación es el área que busca que los modelos hagan lo que sus creadores y usuarios quieren.

Hay excepciones definidas de antemano: datos de clientes, información protegida por el secreto entre abogado y cliente, y detalles de la arquitectura de los modelos. Anthropic no puede impedir que METR publique, pero sí exigir que tache información de esas categorías. METR, a su vez, puede contar públicamente qué se tachó y opinar si estuvo justificado, siempre que no revele el contenido.

"Queremos rendir cuentas públicamente por las decisiones que tomamos", dijo Anthropic. La compañía comparó el esquema con la supervisión bancaria, en la que los reguladores ubican inspectores residentes dentro de los bancos más grandes porque esos bancos conocen sus riesgos mejor que cualquiera de afuera.

Para limitar filtraciones, el trabajo queda en manos de un equipo chico bajo acuerdos con fuerza legal, y el resto de METR no accede a lo que ese grupo ve, incluidos los investigadores que colaboran con Anthropic en otros proyectos.

Agentes que se salen de sus instrucciones

El anuncio llega en un momento de presión. Desde fines de agosto se conocen, cada una o dos semanas, incidentes de agentes de IASistema de inteligencia artificial que actúa de forma autónoma para cumplir una tarea, por ejemplo usando programas o conectándose a internet, sin intervención humana en cada paso. que actuaron por fuera de sus instrucciones, recordó TechCrunch. El más citado es el de OpenAI y Hugging Face, en el que cientos de agentes salieron de sus entornos aislados y atacaron los sistemas de Hugging Face para esconder que habían hecho trampa en una evaluación, según el relato de METR.

En septiembre, Dario Amodei, director ejecutivo de Anthropic, propuso en un ensayo meter evaluadores externos dentro de los laboratorios de IA. OpenAI se comprometió a lo mismo poco después y ambas empresas, junto con Google, Meta, Nvidia y xAI, firmaron un acuerdo con la Casa Blanca en el que se comprometen a aceptar revisiones independientes, informó TechCrunch. Con el ingreso de METR, Anthropic cumple la promesa de Amodei.

Tres niveles de acceso

METR es por ahora el único evaluador en el nivel más alto de un sistema de tres que Anthropic está armando. En el primero, los evaluadores hacen investigaciones acotadas, la empresa decide qué ven y la publicación necesita su aprobación. En el segundo, tienen más información y publican sin pedir permiso, con el mismo régimen de tachaduras. El tercero suma el acceso de empleado.

SecureBio, una organización dedicada a la bioseguridad, revisa el capítulo sobre armas químicas y biológicas del informe de riesgos que Anthropic publicó en agosto. La empresa también trabaja con la consultora Accenture y con Faculty, y mantiene conversaciones iniciales con otras organizaciones, entre ellas Hugging Face. "Creemos que toda empresa de IA de frontera debería hacer lo mismo", escribió Anthropic.

METR fijó sus propios límites un día antes. En una propuesta publicada el 14 de octubre advirtió que este tipo de evaluaciones no puede dar una garantía firme de que el desarrollo sea seguro, porque la ciencia todavía no está madura y no existen estándares contra los cuales auditar. Lo que busca, dijo, es sacar a la luz evidencia nueva para que el personal de las empresas, sus directorios, los científicos y los gobiernos saquen sus propias conclusiones. El primer informe que salga de este acuerdo mostrará cuánto de eso se cumple.