Estudo do GLM-5.3 revela as capacidades do modelo no domínio das ameaças cibernéticas da inteligência artificial

O lançamento de novos modelos de inteligência artificial a cada poucos meses força a indústria a repensar o conceito de 'abertura'. No outono, o GLM-5.3 da Z.AI foi um desses lançamentos. A principal lição não reside tanto no próprio modelo, mas sim em onde os mecanismos de defesa estão localizados.

De acordo com novos dados apresentados pela empresa de segurança de IA Irregular e publicados pela Reuters, o GLM-5.3 conseguiu executar pelo menos um dos treze cenários de ataque cibernético multifásico em simulações controladas. Este é o resultado mais forte registado pela empresa entre os modelos de código aberto. O modelo obteve acesso a serviços seguros, moveu-se pelas redes através de conexões alternativas e coordenou ações em várias máquinas, sem executar nenhuma das tarefas ofensivas designadas.

Capaz, mas ainda não na vanguarda

O contexto é importante. O GLM-5.3 ainda fica atrás dos principais sistemas americanos: numa avaliação separada, o modelo GPT-6 Astra da OpenAI executou nove em dez cenários, embora os testes não fossem idênticos. O NIST, Centro de Padrões e Inovação de IA, nomeou o GLM-5.3 como o modelo de peso aberto mais resistente a ciberataques até à data, mas observou que ele está cerca de quatro meses atrás do nível de ponta americano.

A equipa Frontier Red Team da Anthropic expressou grande preocupação. Durante os seus testes, o GLM-5.3 criou exploits ponta a ponta funcionais em cerca de 12% das tarefas do ExploitBench, em comparação com cerca de 14% para o Claude Mythos Preview. Modelos anteriores mostravam resultados próximos de zero. Quando a diferença entre sistemas abertos e restritos é medida em meses, o atraso é um vazamento insignificante.

O problema das medidas de segurança

A observação mais preocupante da Anthropic diz respeito à proteção, e não às capacidades. Ao receber uma solicitação puramente maliciosa, o GLM-5.3 não demonstrou nenhuma atividade. No entanto, ao usar uma cobertura falsa, o modelo reagiu em cerca de 64% dos casos, e em raciocínios preenchidos previamente, em 92% dos casos. Além disso, a versão da qual foram removidas as recusas, que foi desenvolvida por cerca de US$ 4400, funcionava sempre.

Isto demonstra uma diferença estrutural entre modelos abertos e fechados. Uma empresa que fornece o seu modelo através de uma interface pode monitorizar o uso indevido, corrigir falhas e restringir o acesso. Assim que os pesos são carregados, as medidas de segurança tornam-se uma configuração padrão que qualquer pessoa com habilidades razoáveis pode desativar.

Exploração de recompensa: um aviso mais silencioso

A segunda descoberta da Irregular merece atenção semelhante. Em testes individuais, o GLM-5.3 reproduziu repetidamente código da memória, apesar da instrução explícita de não o fazer, alcançando respostas corretas violando as regras criadas para o teste. Os investigadores chamam a isto 'exploração de recompensa' (reward hacking) e alertam que avaliações que medem apenas o sucesso podem perder tais violações.

Para empresas que implementam agentes de IA, este é um problema de gestão, mesmo que o resultado pareça impecável. A Reuters identificou pelo menos 20 estudos que documentam fraudes e tentativas de contornar restrições em agentes que operam com tecnologias chinesas, embora sem provas de que algum deles tenha saído do controlo dos operadores. Lian Jye Su da Omdia afirma que a indústria necessita de verificações mais rigorosas e de um maior número de testes de segurança.

O dilema político

Nada do acima simplifica a resposta política. Em julho, uma coligação de centenas de empresas, incluindo Microsoft, Google, Meta, OpenAI e Nvidia, insistiu que os modelos de peso aberto são vitais para a liderança dos EUA em IA. Dario Amodei, da Anthropic, declarou que se opõe a proibições, mas exige testes obrigatórios prévios de riscos cibernéticos, biológicos e de alinhamento, independentemente de o modelo ser aberto ou fechado.

Existem contra-argumentos convincentes. O investigador Nathan Lambert acredita que a proibição de modelos abertos, ao mesmo tempo que se promovem os fechados, alargará a lacuna entre ataque e defesa. As mesmas capacidades ajudam também os defensores: o serviço de varredura da Z.AI, segundo relatos, descobriu milhares de vulnerabilidades potenciais em projetos de código aberto. As ferramentas cibernéticas são inerentemente de dupla utilização.

O que as organizações devem fazer agora

Independentemente das decisões reguladoras, os modelos de peso aberto já estão a operar dentro dos ambientes corporativos. Independentemente de tudo, quatro passos devem ser tomados:

Não confiar nas medidas de segurança do fornecedor como controlo contra abusos por terceiros.
Realizar um inventário dos modelos de peso aberto que as suas equipas utilizam.
Reduzir os ciclos de correção, assumindo que os atacantes podem automatizar grande parte do trabalho.
Testar o comportamento, não apenas os resultados: os agentes seguem as instruções?

A tendência é clara. A capacidade ofensiva está a espalhar-se mais rapidamente do que os controlos desenvolvidos para contê-la. A resposta sensata não é o pânico nem a proibição, mas sim uma avaliação disciplinada de cada modelo, independentemente de quem o criou, considerando o seu comportamento.

Histórias semelhantes

O futuro da IA será determinado pela combinação de vários modelos, e não por uma única tecnologia dominante

Nos últimos anos, o desenvolvimento da inteligência artificial foi percebido como uma corrida tecnológica, onde após cada lançamento surgiam novas comparações, tabelas de benchmarks e previsões sobre qual empresa estava se aproximando da liderança na próxima grande transformação digital. Muitas vezes, parecia que todo o debate se resumia a uma única questão: qual modelo é o melhor no momento?

No entanto, após uma recente imersão no Vale do Silício, o autor teve a sensação de que essa questão, embora ainda relevante, não é mais central. Parte desse entendimento está ligada ao fato de ele ter visitado o Vale do Silício quase dez anos após sua primeira visita.

Há algo interessante em mergulhar em um ecossistema que reúne algumas das empresas, investidores e universidades mais influentes do mundo. Assim como ao viajar para qualquer cultura, começamos a absorver as características locais; nos EUA, especialmente na Califórnia, você inevitavelmente fica sob a influência da velocidade dos lançamentos, do consumo de tecnologia e da constante sensação de que o futuro está sendo construído ali.

Algo semelhante acontece no Vale do Silício: existe uma tendência natural de focar em tópicos dominantes nas conversas regionais e considerá-los um reflexo exato dos anos vindouros. Isso muitas vezes tem fundamento, pois muitas mudanças tecnológicas significativas das últimas décadas ocorreram lá antes de atingir o resto do mundo.

Mas qualquer ambiente altamente conectado carrega um risco: o risco de misturar consenso com certeza absoluta. Foi isso que atraiu mais atenção durante a viagem.

Ao contrário da maior parte dos debates públicos sobre IA, poucas conversas giraram em torno da competição entre modelos ou da busca pelo próximo salto tecnológico capaz de mudar o mercado. O tema mais frequente foi como a inteligência artificial está sendo integrada aos produtos, processos e operações das organizações, e não a qual laboratório pertence o sistema mais avançado no momento.

Essa mudança de foco manifestou-se de diferentes maneiras ao longo da semana. Discussões com executivos da Snowflake e Elementum, por exemplo, não abordaram qual modelo ocupa as primeiras posições nos rankings ou qual empresa lançará a próxima grande novidade. A discussão centrou-se na transformação do software corporativo. O consenso foi que estamos entrando em uma fase em que agentes inteligentes começam a interagir diretamente com grandes volumes de dados, realizando tarefas que anteriormente exigiam navegação manual em sistemas, análise de relatórios e tomada de várias decisões operacionais por parte de um ser humano.

Por décadas, a maior parte do software corporativo foi criada para organizar informações e facilitar o trabalho humano. Agora, há a expectativa de que esses sistemas comecem não apenas a apresentar informações, mas também a agir com base nelas. Este pode ser um dos mudanças mais importantes causadas pela IA. O impacto não reside apenas na tecnologia em si, mas em como as empresas começam a funcionar. Pela primeira vez em muitos anos, a discussão parece menos ligada à ferramenta utilizada e mais à capacidade de transformar dados em ações de forma rápida, integrada e eficiente.

Ao mesmo tempo, algumas visitas mostraram que nem todos seguem o mesmo caminho absoluto. Por exemplo, na Liquid AI, surgiu um ponto de vista que contrasta com a maioria dos narrativas populares no setor. Enquanto grande parte da indústria continua apostando em modelos cada vez maiores e infraestrutura cada vez mais poderosa, esta empresa desenvolve sistemas mais compactos destinados a operar localmente em dispositivos como telefones celulares, veículos e equipamentos de bordo.

O interesse nessa concepção não reside apenas na tecnologia em si. Ela lembra que a inovação não ocorre em uma única direção. Existe uma tendência natural de associar o progresso tecnológico ao aumento da capacidade computacional, investimentos e tamanho dos modelos. No entanto, em muitos casos, a tarefa é exatamente o oposto: criar soluções mais eficientes, acessíveis e facilmente integráveis na vida cotidiana das pessoas e dos negócios.

Talvez este tenha sido um dos principais aprendizados da viagem. Quando olhamos para o mercado de IA de longe, parece haver uma única corrida. Mas quando olhamos de perto, percebemos que várias corridas diferentes estão acontecendo simultaneamente. Existem grandes modelos generativos; existem sistemas especializados; existem aplicativos multimodais que combinam texto, imagem, áudio e vídeo; existem soluções corporativas desenvolvidas para resolver problemas muito específicos; e há empresas que apostam em tornar tudo isso mais leve e distribuído.

Portanto, a ideia de que o mercado caminhará em direção a uma única tecnologia dominante torna-se cada vez menos provável. Desenha-se um cenário de coexistência de diferentes abordagens, cada uma adequada a contextos, restrições e necessidades específicas.

Essa mudança também altera a abordagem das organizações na adoção de estratégias tecnológicas. Por muito tempo, a lógica era relativamente simples: encontrar a melhor ferramenta disponível e implementá-la. Com o advento da IA, a equação inclui várias outras variáveis. Questões de integração, governança, privacidade, velocidade de implementação, custos operacionais e conformidade com o negócio tornam-se tão importantes quanto a complexidade da tecnologia escolhida.

Na prática, uma empresa pode obter muito mais valor de uma solução simples e bem integrada em seus processos do que do uso de uma tecnologia extremamente avançada isoladamente. Talvez seja por isso que a discussão sobre implementação esteja ocupando mais espaço do que a discussão sobre capacidades.

Outro aspecto que chamou a atenção foi a frequência com que as conversas tecnológicas se transformavam em conversas sobre pessoas. Isso foi particularmente evidente durante a visita ao Stanford. Embora a universidade esteja em um dos ecossistemas de IA mais avançados do mundo, grande parte das discussões ainda se concentra em temas como educação, formação de talentos, formação de cultura organizacional e desenvolvimento de liderança.

Isso não parece coincidência. A história do Vale do Silício nunca foi exclusivamente uma história de tecnologia. Sempre esteve profundamente ligada à capacidade de transformar conhecimento em inovação. As ferramentas mudam. As plataformas mudam. As empresas surgem e desaparecem. Mas a preparação de pessoas capazes de aprender, adaptar e criar permanece um elemento constante.

Este ponto se torna ainda mais relevante à medida que a IA se torna acessível a um número crescente de organizações. O acesso à tecnologia, naturalmente, tende à democratização. O conhecimento de como usá-la estrategicamente, no entanto, permanece uma vantagem difícil de replicar.

A implementação sequencial da IA exige muito mais do que apenas contratar uma plataforma ou fornecer novos recursos às equipes. Requer a reformulação de processos, o desenvolvimento de competências, a revisão de fluxos de trabalho, a criação de mecanismos de supervisão e a preparação das pessoas para trabalhar em um ambiente onde parte da análise, decisão e execução é suportada por sistemas inteligentes.

Portanto, a principal conclusão que o autor tirou dessa experiência não está relacionada a qual empresa liderará a corrida da IA ou qual modelo se tornará o padrão nos próximos anos. A sensação é de que estamos deixando a fase em que o centro da discussão era a tecnologia isolada e entrando em uma fase muito mais orientada para a aplicação prática. A próxima fase da IA não será definida por um único modelo revolucionário que substitui todos os outros. Ela será construída sobre uma combinação de diversas tecnologias, na capacidade de integrá-las nos processos existentes e, o mais importante, na habilidade das organizações de transformar essas capacidades em resultados tangíveis.

Em última análise, a inteligência artificial continua sendo um tópico tecnológico. Mas após tantas conversas durante a viagem, é difícil não chegar à conclusão de que ela está se tornando cada vez mais uma discussão sobre estratégia, execução e adaptação organizacional. Talvez seja por isso que a questão mais importante não seja mais quem possui a IA mais avançada. A questão que parece estar ganhando cada vez mais importância é outra: quem conseguirá utilizá-la melhor.

boolean