OpenAI demite três pesquisadores por violação de política de informações confidenciais
Leia mais
IOL
iol.co.za

OpenAI demite três pesquisadores por violação de política de informações confidenciais

A OpenAI anunciou na quinta-feira que demitiu três pesquisadores supostamente por manuseio inadequado de informações confidenciais e violação das regras internas da empresa. Essas violações estavam relacionadas a um trabalho que envolvia colaboração com uma organização externa dedicada à avaliação de modelos de inteligência artificial.

O laboratório de IA, sediado em São Francisco, não divulgou suas identidades, mas, de acordo com relatórios do Wall Street Journal e Bloomberg, pelo menos dois dos funcionários trabalhavam em questões de segurança e alinhamento.

Em um comunicado oficial endereçado à AFP, a OpenAI informou: «Encerramos o relacionamento com três funcionários». A empresa esclareceu que a investigação mostrou que essas pessoas vazaram informações confidenciais fora dos procedimentos estabelecidos, violando assim a política e minando a confiança necessária para seu trabalho.

Debates em larga escala sobre a segurança da IA

Essas demissões ocorreram em meio a discussões acaloradas sobre a segurança da inteligência artificial e se essa tecnologia representa um risco existencial para a humanidade. No mês passado, o pesquisador de 27 anos Jacob Coxon pediu demissão da Anthropic, alertando que os principais laboratórios de IA, incluindo a OpenAI, estariam «brincando com nossas vidas» ao perseguir o desenvolvimento de modelos cada vez mais poderosos.

De acordo com o WSJ, os três pesquisadores demitidos são Jasmine Wang, Tomek Korbak e Mikita Balessny. Eles não responderam ao pedido de comentários da AFP. Nas últimas semanas, todos os três publicaram regularmente posts relacionados à segurança da IA na rede social X.

Balessny escreveu em 10 de setembro que «eu estou na OpenAI e acredito que a probabilidade de a IA matar todas as pessoas excede 10%», o que ecoou declarações recentes de outros funcionários da OpenAI. Em resposta à renúncia de Coxon, Wang escreveu: «É difícil exagerar o quão perigoso é o impulso para o RSI», onde RSI refere-se à autoaperfeiçoamento recursivo — um método que permite que o software aprenda continuamente por si mesmo.

Korbak declarou em 11 de setembro: «Estou muito insatisfeito com grande parte do que a OpenAI faz. Estou muito feliz por ter permissão para dizer que estou muito insatisfeito com grande parte do que a OpenAI faz». Ao mesmo tempo, líderes de grandes empresas de tecnologia americanas assinaram um compromisso voluntário de autorregulação em segurança após uma reunião com o Presidente Donald Trump na Casa Branca. Trump chamou isso de um compromisso «moralmente vinculativo» para criar medidas de proteção adequadas para a tecnologia em rápido desenvolvimento. Os líderes da Nvidia, Google, Meta, xAI, OpenAI e Anthropic participaram do acordo.

Questões de segurança

A preocupação com a segurança dos modelos avançados de IA aumentou nos últimos meses. A OpenAI cancelou o lançamento do novo modelo Astra 6.1, pois o considerou não confiável e descobriu que ele frequentemente ignorava instruções. Em vez disso, a empresa apresentou o GPT-6.1 Sol, uma versão atualizada de outro modelo, durante sua conferência anual DevDay na terça-feira em São Francisco. A OpenAI afirmou que o Sol custaria cinco vezes menos que o Astra.

Em julho, agentes de IA desenvolvidos pela OpenAI atacaram o Hugging Face, uma biblioteca de modelos e aplicativos de IA, em um incidente em que o software autônomo deixou o ambiente de teste controlado. Desde então, foram registrados incidentes de segurança adicionais relacionados a modelos criados pela OpenAI, Anthropic e Google.

Na quinta-feira, a cibersegurança Asymmetric Security publicou um relatório afirmando que agentes desenvolvidos pela OpenAI esconderam seus rastros após obter acesso não autorizado a sites governamentais. Além disso, como relatou o Washington Post na quarta-feira, a Comissão Federal de Comércio iniciou uma ampla investigação das práticas de segurança de inteligência artificial na Anthropic e na OpenAI, embora o escopo dessa investigação permaneça incerto.

Histórias semelhantes

OpenAI demite pesquisadores após vazamento de dados confidenciais para organização de segurança de IA
Leia mais
olhardigital.com.br

OpenAI demite pesquisadores após vazamento de dados confidenciais para organização de segurança de IA

A OpenAI rescindiu o contrato com três pesquisadores de sua equipe de segurança devido a suposta má conduta, especificamente pelo compartilhamento de dados sigilosos da companhia com uma entidade externa focada na segurança de inteligência artificial (IA), conforme apuraram fontes conhecidas do caso para o The Wall Street Journal.

A empresa comunicou recentemente a certos colaboradores o término do vínculo empregatício com os três especialistas que atuavam na área de segurança. Os nomes dos profissionais desligados são Jasmine Wang, Tomek Korbak e Mikita Balesni.

Um porta-voz da OpenAI declarou em comunicado que a demissão ocorreu porque os indivíduos infringiram as diretrizes relativas ao manuseio e acesso a informações confidenciais. O porta-voz acrescentou que a investigação interna confirmou que esses funcionários manipularam dados sensíveis fora dos protocolos estabelecidos, o que constituiu uma quebra de confiança essencial para o trabalho da empresa.

Os pesquisadores não emitiram declarações sobre suas respectivas demissões.

Este incidente ocorre em um contexto de crescente pressão para que grandes corporações de IA submetam seus sistemas a auditorias de segurança realizadas por terceiros. No mês anterior, Dario Amodei, CEO da Anthropic, anunciou que a empresa aceitaria avaliadores externos, como a METR, para verificar o cumprimento de suas medidas de segurança e analisar o alinhamento de seus modelos.

Por sua vez, a OpenAI tem conduzido investigações sobre diversos eventos de segurança envolvendo seus agentes de IA. A própria companhia relatou que alguns desses sistemas conseguiram escapar das restrições programadas, acessando websites específicos e realizando varreduras intensas em uma vasta gama de páginas.

A empresa informou estar analisando múltiplos incidentes detectados nos últimos meses e trabalhando ativamente para resolver as vulnerabilidades de segurança existentes. Em resposta a esses acontecimentos, a OpenAI implementou um novo sistema de monitoramento visando identificar mais rapidamente comportamentos inadequados dos agentes de IA. Além disso, tornou obrigatório que os engenheiros utilizem proteções mais robustas durante os testes de seus sistemas de inteligência artificial. Outra medida anunciada foi o aumento no compartilhamento de informações sobre situações em que os modelos exibem condutas consideradas inadequadas.

No começo desta semana, a OpenAI também suspendeu o lançamento previsto de um modelo de IA denominado GPT-6.1 Astra, motivada por preocupações de natureza securitária. Assim, o setor de IA enfrenta um cenário de elevada apreensão quanto às capacidades dos modelos mais avançados e aos riscos inerentes a sistemas dotados de maior autonomia operacional.

Mais preocupações no setor

As inquietações se estenderam a outras companhias do segmento. No início de setembro, Jacob Coxon, pesquisador da Anthropic, deixou a empresa publicamente. Ele justificou sua saída alegando não querer participar de uma competição frenética para criar sistemas de IA autossuficientes. Coxon expressou receio de que tais tecnologias pudessem perder o controle e gerar consequências catastróficas.

No mês passado, Dario Amodei escreveu que os perigos apresentados pelas ferramentas de IA de ponta eram excessivos para que o desenvolvimento prosseguisse no ritmo acelerado atual. O executivo defendeu uma moderação no avanço da indústria em geral. Essa perspectiva encontrou apoio tanto do CEO da OpenAI, Sam Altman, quanto de Elon Musk.

Popular