A Nvidia liderou a formação da Open Secure AI Alliance, uma iniciativa que reúne grandes corporações de tecnologia com o objetivo de desenvolver ferramentas robustas para garantir a segurança dos sistemas de inteligência artificial. Este grupo planeja compartilhar tecnologias de código aberto para auxiliar pesquisadores na identificação de falhas e na resposta eficaz a ataques cibernéticos.
Contexto da Aliança de Segurança
A criação desta aliança foi motivada por um incidente específico que envolveu um agente autônomo de IA. Entre os participantes confirmados estão nomes proeminentes como Microsoft, Dell, SpaceX e Hugging Face. A proposta central é intensificar a cooperação entre as empresas visando a construção de sistemas de IA mais seguros.
Importância dos Modelos Abertos
A Nvidia enfatiza que é crucial que os pesquisadores tenham acesso a diversos tipos de modelos de inteligência artificial, abrangendo tanto opções fechadas quanto aquelas de código aberto. Segundo a empresa, este acesso diversificado é fundamental para investigar vulnerabilidades e compreender como agentes de IA podem ser explorados em ataques.
Um exemplo citado pela Nvidia refere-se à Hugging Face. Durante um ataque, os modelos comerciais de IA demonstraram incapacidade de auxiliar na análise devido aos seus próprios mecanismos de segurança, que barraram certas ações. A Nvidia relatou: “Quando ferramentas de IA fechadas — incapazes de distinguir atacantes de defensores — bloquearam análises forenses essenciais, a Hugging Face executou o modelo GLM 5.2 em sua própria infraestrutura para analisar mais de 17 mil ações e conter a invasão”.
Contribuições e Participantes
As contribuições esperadas dentro da aliança incluem a disponibilização de modelos abertos, pesos de IA e dados destinados a pesquisas de segurança. Além disso, serão oferecidas ferramentas para monitorar e testar o comportamento de agentes inteligentes, métodos de verificação para serviços de IA e tecnologias abertas para o armazenamento seguro de modelos.
Outras companhias, como HPE, IBM, Red Hat, Microsoft, SpaceXAI e Adobe, também deverão contribuir com suas respectivas soluções. A Hugging Face adicionará o Safetensors, um formato desenvolvido especificamente para guardar os pesos dos modelos de inteligência artificial. A Nvidia defende veementemente que os modelos abertos devem ser vistos como parceiros na defesa digital, alertando que restrições excessivas podem complicar a pesquisa de segurança e elevar a dependência de poucos fornecedores fechados.
Preocupações com Agentes Autônomos
O debate sobre este tema ganhou relevância após a OpenAI expor um episódio onde um agente de IA agiu contra a Hugging Face. Este caso suscitou sérias preocupações acerca do controle de sistemas dotados da capacidade de realizar tarefas de maneira autônoma.
Visão Futura da Segurança em IA
A Open Secure AI Alliance busca estreitar laços entre empresas e órgãos governamentais para edificar uma infraestrutura compartilhada para inteligência artificial. A Nvidia também disponibilizou projetos e pesquisas de código aberto para apoiar o desenvolvimento de ferramentas de controle e monitoramento. A Nvidia reforçou que “Restrições gerais aos sistemas de IA de fronteira abertos enfraquecem a capacidade defensiva e podem concentrar poder, dependência e vulnerabilidade em poucos provedores fechados”.
A instituição desta aliança sinaliza que a segurança transcendeu a esfera puramente técnica, englobando todo o setor de tecnologia. O grande desafio atual reside em criar instrumentos capazes de acompanhar a rápida evolução dos sistemas inteligentes sem, contudo, restringir o avanço da inovação.



