La transición de las máquinas a la I+D autónoma cambia radicalmente el perfil de riesgo de toda la industria. De forma sincrónica con el informe de Anthropic, una alianza compuesta por Google DeepMind, Schmidt Sciences y ARIA anunció la creación de un fondo de subvenciones de 10 millones de dólares para estudiar la seguridad de los sistemas multiagente. La alineación básica (alignment) ya no funciona cuando millones de agentes de IA autónomos comienzan a comunicarse, comerciar y escribir código entre ellos sin intervención humana. La industria busca desesperadamente pruebas matemáticas de seguridad para sistemas cuyas arquitecturas los desarrolladores ya no pueden comprender por completo.
Fuente: Anthropic / Google DeepMind
InvestigaciónAnthropicDeepMindSeguridad de IAAgentic AI