Após relatos de dificuldades no controle de modelos de IA em ambientes de teste, a Nvidia apresentou uma solução com o lançamento da Open Agent Safety Platform em 28 de setembro. Esta plataforma foi desenvolvida com o objetivo de impedir que os agentes de IA excedam as permissões estabelecidas pelos desenvolvedores.
A iniciativa visa limitar o acesso desses agentes a sistemas externos e bloquear tentativas de fuga de ambientes isolados, utilizando uma combinação de componentes de software e hardware. O CEO da companhia, Jensen Huang, comparou essa proposta a um navegador de internet feito especificamente para agentes de IA.
De acordo com o executivo, a meta é possibilitar que esses sistemas realizem tarefas sem terem liberdade irrestrita pela infraestrutura de uma organização. Ele enfatizou que "não podemos ter uma indústria de IA bem-sucedida se o mundo não confiar ou não acreditar que ela foi construída e implementada de forma segura".
A Open Agent Safety Platform é composta por duas ferramentas principais: o Nvidia OpenShell e o Nvidia Sentry. O Nvidia OpenShell opera no nível dos processadores, definindo as autorizações que ditam o que cada agente pode fazer dentro do seu próprio ambiente. A Nvidia comunicou à Reuters que está colaborando com a Arm e a Intel para assegurar a compatibilidade dessa tecnologia em chips fabricados por essas empresas.
Já o Nvidia Sentry é focado nos chips de rede e tem a capacidade de interromper a comunicação de um agente caso ele tente violar os limites pré-estabelecidos no ambiente de execução. Além disso, a Nvidia declarou ter projetado o sistema para conseguir identificar as táticas utilizadas pelos agentes para burlar tais restrições.
A empresa tornou parte do código da Open Agent Safety Platform disponível como código aberto, permitindo que outras corporações utilizem-no como base para desenvolver suas próprias soluções de segurança.
Em colaboração com a multinacional sediada nos Estados Unidos, encontram-se a Microsoft, Cisco, Oracle, Dell, HPE, Lenovo e CoreWeab, juntamente com os fabricantes de chips mencionados anteriormente. No setor de laboratórios de IA, a Anthropic está trabalhando com a Nvidia para incorporar funcionalidades de gestão de agentes em ambientes de computação em nuvem ao OpenShell.
Um dos motivos que impulsionaram a criação desta nova plataforma foi o incidente envolvendo o repositório Hugging Face, que foi invadido por agentes baseados em modelos da OpenAI. Justin Boitano, vice-presidente de computação corporativa e IA da Nvidia, relatou que essa invasão envolveu mais de 17 mil agentes e perdurou por vários dias e semanas.
Boitano comentou que "essa nova plataforma de segurança poderia ter interrompido a violação se estivesse sendo usada nos laboratórios de fronteira logo no início para a avaliação dos modelos". É relevante notar que, após o escândalo, a Nvidia fechou um acordo para adquirir a plataforma por US$ 12,9 bilhões (o equivalente a aproximadamente R$ 67,2 bilhões).
Para Jensen Huang, esses mecanismos são considerados suficientes para prevenir futuros problemas com a tecnologia. Em um cenário onde alguns executivos endossam Dario Amodei, da Anthropic, quanto à necessidade de desacelerar a inovação, o CEO da Nvidia, junto a nomes como Mark Zuckerberg, defende que regulamentações adicionais ao mercado para conter riscos são "desnecessárias".
Por outro lado, críticos argumentam que o problema transcende meras ferramentas externas de contenção. Chris Inglis, ex-diretor de Cibersegurança Nacional dos EUA, afirmou no mês anterior que os problemas de comportamento são simplesmente resultado da ausência de limites impostos aos programas. Outros especialistas em segurança levantaram a hipótese de que tudo poderia ser apenas uma grande estratégia de marketing.
