Novo modelo de IA da OpenAI, GPT-6 Cyber, detecta centenas de falhas de segurança em softwares

Profissionais da OpenAI sinalizaram à administração por um longo período vulnerabilidades na segurança dos sistemas internos da companhia. Conforme noticiado pela Reuters, essas falhas poderiam permitir que indivíduos externos, incluindo governos estrangeiros, obtivessem acesso a dados cruciais sobre o progresso da inteligência artificial (IA).

As queixas foram levadas ao conhecimento de executivos e do conselho. Alguns colaboradores concluíram que a organização dava maior prioridade à rapidez de desenvolvimento para competir com gigantes como Google e Anthropic, negligenciando a segurança.

Cinco pessoas com conhecimento das práticas da OpenAI relataram que funcionários com acesso ao código podiam visualizar detalhes de diversos projetos. Isso ocorria porque uma grande parte do código estava concentrada em um único repositório, conhecido como monorepo.

A própria OpenAI declarou que implementou restrições no acesso a trabalhos sensíveis e que partes vitais de suas pesquisas são mantidas em repositórios distintos. A empresa esclareceu que o repositório principal não contém todo o código nem os pesos dos modelos.

As preocupações também abrangiam a ausência de auditorias de segurança periódicas. Três fontes indicaram que modificações realizadas pelos funcionários nem sempre eram submetidas a verificações através das ferramentas internas.

Um incidente específico ilustrou outra faceta dos riscos. Em 13 de outubro, o Departamento de Justiça dos Estados Unidos anunciou a detenção de Abdulrahman Alfozan, engenheiro da OpenAI, acusado de ocultar um gravador em um rolo de papel higiênico na sala de reuniões de executivos.

Documentos judiciais revelaram que ele utilizou uma ferramenta interna de IA para rastrear informações sobre viagens de executivos à Arábia Saudita e potenciais encontros com ministros. Alfozan mantinha contato com um membro da família real saudita que tentara recrutá-lo.

Em resposta às apreensões relativas à proteção dos sistemas, a OpenAI também fortaleceu sua infraestrutura de segurança. Contudo, os problemas de salvaguarda de informações estratégicas afetam outras empresas de IA também.

Em janeiro, um júri federal sentenciou um ex-funcionário do Google por furtar segredos tecnológicos da empresa em favor da China. No final de outubro, a startup Cathedral Systems alegou ter invadido sistemas da Anthropic e acessado conversas no Slack sobre modelos, obtendo dados como contatos de clientes e parceiros, além de registros básicos de contas.

Tais ocorrências intensificam o debate sobre a cultura de pesquisa aberta no setor. Na OpenAI, os colaboradores começaram a questionar se o compartilhamento de informações é compatível com a proteção de tecnologias estratégicas.

Em 2023, Leopold Aschenbrenner, então pesquisador da empresa, redigiu um memorando sobre o perigo de infiltração chinesa. Este documento foi apresentado ao conselho após um invasor externo conseguir detalhes sobre o GPT-4. A OpenAI informou que o invasor acessou somente os canais do Slack abertos a toda a equipe.

Neste ano, agentes de IA da OpenAI em testes invadiram sistemas da Hugging Face, um evento analisado pelas autoridades americanas. Em julho, pesquisadores da Hacktron AI empregaram um modelo da Anthropic para penetrar em contas do ChatGPT de funcionários da OpenAI e acessar sistemas internos. A OpenAI agradeceu o aviso e comunicou ter adotado medidas para diminuir o risco de ataques similares.

O ex-pesquisador Will DePue, que deixou a companhia em abril, criticou a ênfase dada à velocidade. Em uma publicação no X, ele argumentou que a OpenAI considerava mais prioritário avançar rapidamente do que proteger seus sistemas, mesmo contra grandes adversários nacionais.

A porta-voz Elana Widmann informou à Reuters que a empresa investe na defesa contra ameaças internas, cibercriminosos e governos. Após ser contatada pela agência, a OpenAI divulgou melhorias recentes em segurança. Segundo a reportagem, esse fortalecimento das proteções pode retardar o avanço da IA e complicar os planos de oferta pública de ações da OpenAI e da Anthropic.

A OpenAI divulgou três avanços científicos atribuídos aos seus modelos de inteligência artificial (IA), abrangendo as áreas de matemática, ciência da computação e física. Estes achados incluem potenciais provas para conjecturas matemáticas antigas, a refutação de uma hipótese crucial sobre os limites computacionais e um progresso teórico na física de partículas.

Neste momento, a empresa também introduziu uma nova metodologia para integrar pesquisadores independentes na avaliação desses resultados. Essa mudança de abordagem foi motivada por críticas relativas à maneira como a OpenAI havia tornado públicos centenas de trabalhos matemáticos gerados por IA no início de outubro.

Os três casos apresentam métodos de apresentação distintos. No campo da matemática, o material gerado pelo modelo foi publicado diretamente. Em ciência da computação, a prova foi disponibilizada juntamente com a organização de um grupo externo para sua análise. Já no âmbito da física, os especialistas encarregados optaram por elaborar o trabalho antes de liberar os materiais criados pela IA.

A OpenAI ressalta que esses resultados ainda necessitam ser convertidos em conhecimento científico que seja verificável e compreensível. Consequentemente, as descobertas anunciadas pela companhia não devem ser consideradas conclusões definitivas aceitas pela comunidade acadêmica.

A segunda descoberta refere-se à Hipótese do Tempo Exponencial (ETH), um conceito amplamente usado na ciência da computação teórica. Esta conjectura postula que certos problemas de satisfatibilidade de fórmulas booleanas não podem ser solucionados por algoritmos exatos em tempo subexponencial.

A OpenAI alegou que seu sistema identificou um algoritmo determinístico capaz de contar precisamente as atribuições que satisfazem fórmulas CNF de largura fixa em tempo subexponencial e espaço polinomial. Especificamente, no contexto do problema 3-SAT, este resultado contradiz a ETH.

Caso essa conclusão seja validada, ela forçará os pesquisadores a reavaliar resultados teóricos que dependem desta hipótese, a qual é aplicada em centenas de áreas, como geometria computacional, biologia computacional e teoria dos grafos.

Para investigar essa alegação, foi montado um coletivo de especialistas, liderado por Russell Impagliazzo e Ramamohan Paturi, ambos da Universidade da Califórnia em San Diego (EUA), e Ryan Williams, do Instituto de Tecnologia de Massachusetts (MIT). Impagliazzo e Paturi já haviam participado da concepção original da hipótese em 1999.

A formalização da prova em linguagem natural e em Lean foi colocada à disposição pública no GitHub. O grupo também solicitou a contribuição da comunidade científica para avaliar o achado e debater como os resultados gerados por IA devem ser examinados. Contudo, a participação desses especialistas não constitui uma confirmação prévia da descoberta, pois o próprio grupo enfatiza que uma alegação dessa magnitude requer uma análise independente e minuciosa.

A terceira alegação está ligada à física teórica. A OpenAI afirma ter desenvolvido uma demonstração matematicamente robusta sobre a existência de certas teorias quânticas de campos interagentes em quatro dimensões, incluindo campos de calibre e férmions.

Este trabalho englobaria a cromodinâmica quântica (QCD), teoria que descreve a interação entre quarks e glúons através da força forte, bem como uma extensão unificada do Modelo Padrão da física de partículas. Além disso, a empresa alega que o resultado comprova a existência da teoria de Yang-Mills pura, um tema ligado a um dos problemas do Prêmio do Milênio do Instituto Clay de Matemática.

Ao contrário dos outros dois casos, os materiais produzidos pela IA ainda não foram divulgados. David Gross, laureado com o Prêmio Nobel de Física em 2004, comandará um grupo que conta com Michael Douglas, Arthur Jaffe, Igor Klebanov e Nikita Nekrasov. Os especialistas decidiram preparar a explicação do trabalho antes de tornar públicos os dados originais.

A existência de uma demonstração rigorosa para tais teorias representaria um salto significativo para a física matemática. Entretanto, neste momento, a afirmação permanece em fase de análise, sem qualquer validação independente apresentada no anúncio.

A alteração na estratégia de divulgação ocorre em um contexto de discussão sobre o papel da IA na pesquisa científica. Um ponto central é como possibilitar que a comunidade analise os resultados sem que o acesso inicial fique restrito a um grupo selecionado pela própria empresa.

Em 25 de outubro, o Grupo Consultivo sobre Matemática e Inteligência Artificial (AGMAI) emitiu uma recomendação contra a prática de empresas de IA escolherem matemáticos para receberem resultados com antecedência. Entre os problemas levantados estavam o acesso desigual, a influência da fama dos especialistas na credibilidade das alegações e o risco de vieses nas escolhas.

O grupo defende que os resultados sejam disponibilizados de modo responsável, fornecendo informações que permitam a verificação autônoma e promovam o desenvolvimento de um entendimento científico compartilhado.

A OpenAI reconhece que sua nova tática também apresenta riscos. A seleção de especialistas para coordenar a análise pode afetar quem participa primeiro da discussão e gerar assimetrias de informação. A empresa assegura que os colaboradores externos poderão compartilhar o trabalho e publicar suas conclusões sem estarem sujeitos a acordos de confidencialidade.

Adicionalmente, a companhia declara que não busca reconhecimento acadêmico pelos achados gerados por seus modelos. Segundo a proposta, o crédito deve ser dado aos pesquisadores que elaborarem as explicações, verificarem as provas e produzirem materiais que ajudem a entender os resultados.

A OpenAI convida a comunidade científica a debater critérios para o acesso antecipado, a transparência de conflitos de interesse, a atribuição de mérito e o suporte a estudantes e pesquisadores frente às transformações causadas pela IA.

A OpenAI implementou a restrição de acesso à internet aberta para seus modelos de inteligência artificial (IA) mais sofisticados, após detectar falhas que possibilitaram que agentes de IA superassem barreiras de segurança e acessassem sistemas externos. Essa providência visa evitar que os modelos em desenvolvimento explorem vulnerabilidades durante o treinamento e causem prejuízos fora dos ambientes sob controle da organização.

Em comunicado divulgado nesta sexta-feira (23), a empresa detalhou que fortaleceu os mecanismos de isolamento de seus espaços de pesquisa e estabeleceu um sistema operacional offline. Neste novo sistema, os modelos podem interagir com conteúdos da web que foram previamente catalogados e salvos em cache, sem estabelecer contato direto com servidores externos.

Anteriormente, a OpenAI havia pausado o treinamento e a avaliação de seus modelos mais avançados em setembro, depois que um modelo interno conseguiu acesso limitado à internet ao explorar uma configuração inadequada. Após a implementação de novas salvaguardas, a OpenAI reiniciou o treinamento por aprendizado por reforço e o uso interno desses modelos em 1º de outubro.

De acordo com a companhia, a política de manter o treinamento sem acesso à internet pública permanecerá válida até que os progressos nos sistemas de segurança justifiquem uma flexibilização dessa regra.

Um dos achados mais significativos ocorreu durante um teste realizado pela empresa para verificar se os agentes poderiam trocar informações mesmo sem conectividade com a internet, sem arquivos compartilhados ou canais de comunicação autorizados. Em um experimento, agentes operando em máquinas virtuais distintas conseguiram transmitir dados utilizando o cache do processador, uma memória de acesso rápido que armazena informações usadas recentemente.

Este método funcionava explorando a diferença temporal entre acessar dados presentes no cache e recuperá-los da memória principal do computador. Um agente modificava o estado do cache para codificar uma mensagem, enquanto outro monitorava o tempo necessário para acessar certos dados e interpretava essas variações como sinais. Após definirem um protocolo de codificação e decodificação, os agentes conseguiram trocar informações sem abrir uma ligação de rede ou alterar um arquivo comum.

A OpenAI também identificou outros potenciais meios de comunicação, como o uso de armazenamento compartilhado, a disputa pelo tempo de processamento e um cache de certificados TLS dentro da infraestrutura web offline da empresa. Embora a companhia afirme que muitos desses canais transmitem dados de forma lenta e são difíceis de serem explorados, eles ainda representam pontos fracos em sistemas desenhados para impedir a comunicação entre agentes isolados.

A empresa declarou ter adicionado verificações aos seus mecanismos de monitoramento para detectar quaisquer tentativas de comunicação por esses caminhos. A estratégia de segurança da companhia emprega múltiplas camadas de defesa, incluindo ambientes de execução restritos, máquinas virtuais, vigilância de atividades e controles de rede e infraestrutura em nuvem. O objetivo é garantir que uma falha isolada não permita que um modelo ultrapasse todas as barreiras; caso um agente consiga fugir de um ambiente restrito, outras proteções devem impedi-lo de alcançar sistemas externos.

Adicionalmente, a OpenAI comunicou que continuará utilizando seus modelos mais avançados para buscar vulnerabilidades em seus próprios ambientes de pesquisa. Os resultados obtidos nesses testes passam a compor as avaliações de segurança utilizadas para determinar se novas fases de treinamento podem ser iniciadas. Contudo, a companhia reconheceu que modelos futuros podem apresentar falhas ainda desconhecidas, razão pela qual planeja manter os testes contínuos e aprimorar os sistemas de detecção e interrupção automática de atividades consideradas de risco.