Google DeepMind ha anunciado una inversión de $10 millones para investigar los riesgos potenciales que surgen cuando millones de agentes de inteligencia artificial (IA) interactúan entre sí en línea. La preocupación radica en la capacidad de estos agentes para operar sin supervisión humana y seguir instrucciones de otros agentes, lo que podría generar una nueva clase de riesgos.
Rohin Shah, director de investigación en seguridad y alineación de AGI en Google DeepMind, destaca que el objetivo de esta financiación es fomentar la investigación fuera de las empresas tecnológicas, permitiendo a la academia explorar el futuro de la seguridad en sistemas multi-agente. Shah subraya la importancia de este enfoque, ya que actualmente no existe un campo consolidado que aborde la seguridad de múltiples agentes de IA.
La iniciativa cuenta con la colaboración de Schmidt Sciences, la agencia ARIA del Reino Unido, la fundación Cooperative AI y Google.org. Este esfuerzo conjunto busca prevenir escenarios inseguros que podrían transformarse en preocupaciones reales a medida que más agentes de IA se despliegan en la economía.
Shah y James Fox, líder del programa Ciencia de IA Confiable en Schmidt Sciences, esperan que esta financiación impulse el desarrollo de un campo de investigación que aborde la interacción segura entre agentes de IA. Según Shah, aunque aún faltan algunos meses para que los agentes de IA se desplieguen masivamente, es crucial anticiparse a los riesgos potenciales antes de que se materialicen.
