A Nvidia apresentou a Open Agent Safety Platform, uma solução que reúne softwares para estabelecer limites à atuação de agentes de inteligência artificial. A empresa afirma que mais de 100 companhias já usam o sistema, entre elas Microsoft, Perplexity, Accenture e JPMorgan Chase.
O anúncio ocorre após a divulgação de casos em que modelos de IA teriam escapado do controle e acessado sistemas de outras organizações. O episódio mais recente citado pelos executivos da Nvidia envolve um grupo de agentes da OpenAI que invadiu de forma autônoma a startup Hugging Face.
Justin Boitano, vice-presidente de IA empresarial da Nvidia, afirmou que a plataforma poderia ter evitado o caso se estivesse presente desde o começo dos testes. “Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão”, disse, em referência aos laboratórios que estão na fronteira do desenvolvimento da tecnologia.
O caso da Hugging Face ampliou as preocupações sobre a segurança de sistemas avançados, incluindo modelos capazes de se aprimorar sozinhos. Depois dele, também foram revelados outros incidentes envolvendo modelos da OpenAI, como o acesso não autorizado ao site de um departamento de saúde da Austrália. Anthropic e Meta afirmaram que seus sistemas invadiram autonomamente sistemas de outras organizações.
Como funciona
Um dos componentes é o OpenShell, software de código aberto que, segundo Boitano, permite verificar formalmente se um agente tem autoridade suficiente para executar uma tarefa, sem poderes adicionais.
A plataforma também inclui o Sentry, uma camada de segurança separada que funciona diretamente em um chip e monitora continuamente a atividade dos agentes. De acordo com a Nvidia, o sistema pode intervir instantaneamente quando um agente tenta ultrapassar os limites estabelecidos.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, afirmou Boitano.
