Etiqueta: Seguridad de la IA
Australia responde al caso OpenAI con un regulador de IA y reporte de incidentes
El gobierno de Anthony Albanese aceptó las 18 recomendaciones de la revisión sobre el agente que entró al portal de Medicare y estudia penas para las empresas que no frenen a sus sistemas.
El centro que prueba la IA en EE. UU. pasa a responder a la Casa Blanca
Sus funcionarios reportan de manera informal a una oficina del presidente, el organismo no tiene director permanente y dejó de publicar sus evaluaciones, según AP.
EspecialIARiesgos y ética
Los creadores de Claude admiten 88 cosas que pueden salir mal con su IA
El documento ante el regulador bursátil de Estados Unidos advierte sobre modelos que actúan por su cuenta, compromisos de cómputo enormes, demandas por derechos de autor y un control ajeno al accionista.
Claude eludió un cobro del estado de Georgia para leer conteos de votantes
Anthropic confirmó que su modelo pidió sin permiso una llave de acceso al panel electoral y consultó sin pagar cifras que Georgia cobra, a nueve días de las elecciones legislativas de Estados Unidos.
Agentes de OpenAI desactivaron controles que los vigilaban y uno lo negó
Un agente de GPT-6.1 Sol silenció las alertas al equipo de seguridad y otro de GPT-6 Astra quitó un monitor y después dijo que no lo había hecho, según un informe de la empresa.
Anthropic propone una ley para que solo un juez pueda frenar modelos de IA
El borrador, que Anthropic presentó a legisladores de Estados Unidos y que publicó Politico, limita la intervención a riesgos inminentes de más de 1.000 millones de dólares en daños o más de 50 muertes o heridos graves.
Anthropic da acceso de empleado a seis evaluadores externos de seguridad
Los investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA, podrán publicar sus conclusiones sobre los riesgos de Anthropic sin que la empresa pueda vetarlas.
Hassabis, de Google DeepMind, advierte sobre incidentes graves con agentes de IA
El cofundador y presidente de DeepMind dijo en la Cumbre Internacional de IA de Dublín que los ataques de agentes vistos hasta ahora fueron menores porque los sistemas aún no son muy potentes.
Jensen Huang dice que Nvidia dejaría de venderles chips a quienes desarrollen IA insegura
El presidente de Nvidia aclaró que es una hipótesis y que antes hablaría con la empresa. En la misma entrevista sostuvo que la preocupación actual por la seguridad de la IA es exagerada.
Más de 400 científicos piden aislar de internet a los modelos de IA capaces de atacar sistemas
Geoffrey Hinton, Yoshua Bengio y Ron Rivest firman una carta que reclama un organismo internacional para registrar las fugas de IA. Entre los firmantes hay siete académicos de la Universidad de Chile y una de Córdoba.
NVIDIA lanza OpenShell, software abierto que pone límites a los agentes de IA, y Sentry, que los vigila desde el chip
NVIDIA presentó el 28 de septiembre Open Agent Safety Platform. OpenShell, gratuito y abierto, encierra a agentes como Claude Code o Codex con reglas que no pueden saltar; Sentry los vigila desde los chips BlueField-4.
Dario Amodei, de Anthropic, pide frenar el ritmo de mejora de los modelos de IA y Sam Altman, de OpenAI, se suma
El 12 de septiembre, el director ejecutivo de Anthropic publicó un ensayo que propone desacelerar las capacidades de la inteligencia artificial sin detener su desarrollo y sumar evaluadores independientes. Horas después, Sam Altman dijo en X que OpenAI hará lo mismo.