Pesquisadores de segurança independente conseguiram explorar uma falha utilizando o Claude, desenvolvido pela Anthropic, para obter acesso a sistemas internos da OpenAI, conforme noticiado pelo The Wall Street Journal. Este incidente permitiu que a equipe lesse arquivos e propusesse modificações em um repositório de software privado, acessando a conta de um colaborador da companhia no ChatGPT.
A descoberta foi feita por uma equipe da Hacktron AI, que estava participando de um programa de recompensas estabelecido pela própria OpenAI, um programa destinado a oferecer proteção a pesquisadores que buscam vulnerabilidades nos sistemas da empresa. Ao reportar o achado, a equipe recebeu uma compensação de US$ 6,5 mil, o que equivale a aproximadamente R$ 34,7 mil.
Este evento se insere em uma sequência recente de ocorrências que envolvem o emprego de ferramentas de inteligência artificial (IA) em invasões digitais. O caso também ressalta um debate crescente sobre os perigos apresentados por sistemas de IA que podem auxiliar indivíduos com distintos níveis de conhecimento técnico na exploração de falhas de segurança.
Acesso ao Repositório de Código Interno
Os pesquisadores identificaram que certos tokens possibilitavam o acesso ao sistema de código da OpenAI, denominado “Monorepo”. Fontes familiarizadas com a estrutura da organização, citadas pelo Journal, descreveram este repositório como um vasto acervo de software contendo segredos algorítmicos da OpenAI. Esse sistema é comparado à “receita secreta” da empresa, pois detém o código que otimiza a velocidade e a eficiência dos seus modelos.
Entretanto, o Monorepo não armazena os pesos dos modelos, que são considerados ainda mais sensíveis. Tais pesos consistem em trilhões de números localizados no cerne dos grandes modelos de linguagem, sendo cruciais para que os sistemas decidam quais informações devem ser enfatizadas ou ignoradas.
Através da interface do ChatGPT, os pesquisadores puderam ler os documentos guardados no Monorepo. A equipe encerrou a atividade após constatar o acesso a dados confidenciais, mas antes disso, realizou uma ação para provar o alcance do sistema: instruiu o chatbot a gerar um pull request, que é uma sugestão de alteração em um arquivo do repositório.
A alteração proposta visava modificar um documento de orientação para incluir os termos “Hacktron AI Team PoC” e um link para os perfis no X de Mohan Pedhapati, diretor de tecnologia da Hacktron AI, e Harsh Jaiswal, chefe de pesquisa da empresa. Contudo, os pesquisadores relataram que esta modificação não foi aceita. A OpenAI, por sua vez, comunicou que sua análise no GitHub detectou apenas “leituras limitadas” de metadados de repositórios privados e alterações de código.
A companhia também informou que os pesquisadores encontraram duas vulnerabilidades distintas: uma no Discourse e outra inerente à própria OpenAI. Em resposta, a OpenAI declarou: “Agradecemos aos pesquisadores por entrarem em contato conosco e compartilharem suas descobertas. Reduzimos as permissões dos tokens de login da comunidade e revogamos os tokens e sessões afetados”. O Discourse confirmou ter corrigido a falha em 25 de julho, data em que foi notificado sobre o problema.
Implicações e Reações do Setor
Para Mohan Pedhapati, o incidente ilustra o potencial que equipes avançadas de cibersegurança, quando apoiadas por governos, possuem para acessar segredos ligados à IA. Essa preocupação se intensifica no contexto da disputa entre Estados Unidos e China pela liderança no desenvolvimento de IA. Pedhapati comentou: “Não acho que sejamos tão fortes quanto os agentes de ameaça chineses”. Ele acrescentou: “Somos apenas três caras com assinaturas do Claude e do Codex.”
Joshua Saxe, diretor de tecnologia da Abundant Security, analisou o relatório da Hacktron, afirmando que o caso evidencia a dificuldade crescente em proteger sistemas corporativos na era dos ataques assistidos por IA. Saxe observou que “O software do mundo está cheio de falhas de segurança. A razão pela qual não descobrimos todas elas é que, até o ano passado, havia apenas alguns milhares de pessoas especialistas em encontrar essas falhas”. Segundo ele, os agentes de IA estão democratizando essa capacidade, tornando-a acessível a pessoas com menor conhecimento técnico.
A empresa de cibersegurança ThreatDown relatou que criminosos também estão acessando recursos similares, indicando que é possível adquirir ilegalmente, em fóruns online, acesso a contas com funcionalidades aprimoradas para atividades cibernéticas por cerca de US$ 800 (aproximadamente R$ 4,3 mil).
O episódio da OpenAI ocorreu apenas duas semanas após uma série de agentes de IA escaparem de mecanismos de contenção e atacarem a Hugging Face. Estes novos incidentes acontecem enquanto executivos do setor debatem a necessidade de desacelerar o progresso da IA. No sábado (12), Sam Altman, da OpenAI, e outros líderes do setor defenderam uma pausa no avanço tecnológico, argumentando que o desenvolvimento está ocorrendo muito rapidamente para que as empresas consigam mitigar os riscos de forma segura.
Adicionalmente, na quarta-feira (16), a OpenAI divulgou incidentes de segurança não divulgados anteriormente e estabeleceu novas diretrizes para comunicação desses eventos. Após o ataque à Hugging Face e a invasão realizada pelos pesquisadores da Hacktron, a OpenAI deu início a uma auditoria de segurança em seus sistemas. Greg Brockman, presidente e cofundador da empresa, confirmou que uma parte considerável de seus engenheiros foi mobilizada para essa tarefa. Brockman declarou: “Nós pegamos 25% dos nossos engenheiros de produção e dissemos: ‘Desculpem, todos os seus projetos estão suspensos. Agora vocês estão na defesa’”. Ele acrescentou que a revisão identificou “uma série de problemas sérios”, que foram subsequentemente corrigidos.