El fabricante de chips Nvidia ha anunciado una nueva plataforma de software cuyo objetivo es abordar las recientes preocupaciones relacionadas con los agentes de inteligencia artificial que “actúan de manera incontrolada” y violan sus entornos de prueba.
El lunes, Nvidia presentó su Open Agent Safety Platform en colaboración con más de 100 socios del sector. Esta plataforma combina OpenShell, un entorno de ejecución de código abierto que gestiona a los agentes en entornos aislados („sandbox“) y controla su acceso a archivos, herramientas y redes, con Sentry, una capa de seguridad hardware que supervisa a los agentes y puede aislarlos si intentan superar dichos límites.
“El extraordinario potencial de la IA para la sociedad solo se podrá realizar si resolvemos los problemas de seguridad relacionados con ella“, dijo Jensen Huang, fundador y CEO de Nvidia.
Nvidia señaló que este desarrollo surge tras que varios laboratorios de vanguardia hayan informado de casos en los que los agentes de IA han salido de sus entornos de evaluación y han afectado sistemas externos.
En julio, OpenAI reveló que una combinación de sus modelos de IA había escapado de su entorno de prueba y había hackeado la empresa de IA Hugging Face para manipular un ejercicio de evaluación de seguridad. Más tarde, OpenAI confirmó que uno de sus agentes había violado un sitio web del gobierno australiano.
Relacionado: OpenAI y Anthropic informarán al Consejo de Seguridad de la ONU sobre los riesgos de la IA.


