Open Agent Safety Platform combina software e hardware para interromper tentativas de contornar restrições. Sistema foi criado com Microsoft, Oracle e Dell.
Resumo
- Nvidia lançou a Open Agent Safety Platform, uma plataforma de segurança para conter agentes de IA que ultrapassam as permissões.
- Plataforma usa OpenShell e Sentry para limitar o acesso de agentes de IA e bloquear tentativas de burlar testes.
- Sistema terá parte do código aberto e foi criado em parceria com empresas como Microsoft, Cisco, Oracle, Dell, HPE, Lenovo e CoreWeab.
Semanas após relatos de problemas na contenção de modelos de IA em ambientes de testes, a Nvidia surge com uma tentativa de solução. A empresa lançou hoje (28/09) a Open Agent Safety Platform, criada para impedir que os agentes ultrapassem as permissões definidas pelos desenvolvedores.
A plataforma pretende restringir o acesso dos agentes a sistemas externos e interromper tentativas de escapar de ambinetes isolados em uma combinação de software e hardware. À CNBC, o CEO da companhia, Jensen Huang, comparou a proposta a um navegador de internet voltado especificamente para agentes de IA.
Segundo o executivo, a ideia é permitir que esses sistemas executem tarefas sem que possam circular livremente pela infraestrutura de uma empresa. “Não podemos ter uma indústria de IA bem-sucedida se o mundo não confiar ou não acreditar que ela foi construída e implementada de forma segura”, afirmou.
Como a Open Agent Safety Platform funciona
A Open Agent Safety Plataform é formada por duas ferramentas: o Nvidia OpenShell e o Nvidia Sentry. O primeiro funciona no nível dos processadores e estabelece as permissões que determinam o que cada agente pode fazer dentro do próprio ambiente. A empresa informou à Reuters que trabalha com a Arm e a Intel para garantir a compatibilidade da tecnologia em chips das fabricantes.
Já o Nvidia Sentry é dedicado aos chips de rede, podendo interromper a comunicação de um agente caso ele tente ultrapassar os limites estabelecidos pelo ambiente de execução. A Nvidia também afirma que projetou o sistema capaz de identificar estratégias usadas pelos agentes para contornar essas restrições.
Plataforma terá parte do código aberto
A empresa disponibilizou parte do código da Open Agent Safety Platform como código aberto, permitindo que outras companhias o usem como base para outras soluções de segurança.
Em parceria com a multinacional estadunidense, estão a Microsoft, Cisco, Oracle, Dell, HPE, Lenovo e CoreWeab, além das fabricantes de chips citadas mais acima. Dos laboratórios de IA, a Anthropic trabalha com a Nvidia para integrar recursos de gerenciamento de agentes em ambientes de computação em nuvem ao OpenShell.
Setor se desdobra após casos de invasão em testes
O caso envolvendo o repositório Hugging Face, invadido por agentes baseados em modelos da OpenAI, está entre motivos da existência da nova plataforma. Segundo o vice-presidente de computação corporativa e IA da Nvidia, Justin Boitano, a ofensiva envolveu mais de 17 mil agentes e se estendeu por dias e semanas.
“Essa nova plataforma de segurança poderia ter interrompido a violação se estivesse sendo usada nos laboratórios de fronteira logo no início para a avaliação dos modelos”, disse. Vale lembrar que, após a polêmica, a Nvidia chegou a um acordo para comprar a plataforma por US$ 12,9 bilhões (aproximadamente R$ 67,2 bilhões).
Para Jensen Huang, esses mecanismos são suficientes para impedir problemas futuros com a tecnologia. Em um momento em que alguns executivos apoiam Dario Amodei, da Anthropic, no que diz respeito a desacelerar o desenvolvimento da inovação, o CEO da Nvidia, ao lado de figuras como Mark Zuckerberg, acredita que maiores regulações ao mercado para conteção de riscos são “desnecessárias”.
Para críticos, o problema vai muito além de ferramentas externas de contenção. O ex-diretor de Cibersegurança Nacional dos EUA, Chris Inglis, afirmou no mês passado que os problemas de comportamento são nada mais que falta de limites impostos aos programas. Outros especialistas em segurança chegaram a sugerir que tudo pode ser apenas uma grande campanha de marketing.
