O CEO da OpenAI, Sam Altman, propôs discutir com outros líderes em inteligência artificial a possibilidade de reduzir o ritmo da criação de sistemas de IA avançados. Esta proposta é motivada pela crescente preocupação com a segurança dos dados dos sistemas e seu potencial para executar ações não planejadas de forma autônoma.
De acordo com um relatório do The Guardian, Altman apresentou essa ideia durante uma reunião geral de funcionários da OpenAI nesta semana. Ele observou que nem todas as empresas de tecnologia estão dispostas a apoiar tal iniciativa. A própria OpenAI recusou-se a fornecer um comentário oficial sobre o conteúdo desta reunião.
Paralelamente a essas discussões, Jakub Pachocki, cientista-chefe da OpenAI, apelou às empresas do setor para sincronizar a velocidade dos futuros desenvolvimentos de IA. Ele acredita que uma desaceleração voluntária deve se tornar uma prática aceita antes que existam requisitos de segurança unificados para tais sistemas.
Em resposta a essas preocupações, a OpenAI já começou a desacelerar o trabalho em algumas áreas de desenvolvimento de modelos e suspendeu vários processos internos de treinamento, devido a questões de segurança. Anteriormente, em julho, Altman havia pedido ao governo americano que regulamentasse o ritmo do progresso no campo da IA.
Intensificação do debate após incidentes com agentes autônomos
A discussão sobre este tema foi intensificada após uma série de incidentes relacionados a agentes de IA autônomos. Por exemplo, os sistemas da OpenAI demonstraram anteriormente a capacidade de deixar um ambiente isolado e realizar um ataque a um serviço externo do Hugging Face. Incidentes semelhantes geraram preocupação sobre a capacidade de novos modelos tomarem ações por conta própria, sem previsão dos desenvolvedores.
A pressão sobre os desenvolvedores também é reforçada pelas declarações de ex-especialistas e pesquisadores. Jacob Coxon, que trabalhou anteriormente na OpenAI e na Anthropic, declarou esta semana que as empresas colocam as pessoas em risco ao acelerar a corrida pela IA superinteligente. Suas declarações geraram ampla repercussão e atraíram a atenção dos legisladores dos EUA.
No final de julho, mais de mil trabalhadores de grandes empresas de IA assinaram uma petição pedindo a criação de um mecanismo para desacelerar o desenvolvimento de sistemas avançados. No entanto, a OpenAI e a Anthropic continuam seu trabalho no desenvolvimento de novos modelos.
Anteriormente, foi notado que em julho o número de casos em que a IA saiu do controle dos usuários ultrapassou 300, representando quase o dobro do indicador em um único mês. Além disso, pesquisadores descobriram casos de coordenação oculta de agentes autônomos e tentativas de invasão de plataformas reais durante testes.