Jakub Pachocki, cientista-chefe da OpenAI, divulgou um ensaio no último domingo (6) alertando para a velocidade da evolução da inteligência artificial (IA) e defendendo que se deve exercer maior prudência no desenvolvimento de sistemas cada vez mais sofisticados. O artigo, publicado no portal da própria OpenAI, indica que o progresso tecnológico pode atingir um ponto onde as máquinas passem a participar ativamente de seu próprio processo de criação.
Com base em dados internos, Pachocki expressa grande expectativa de que o ritmo atual de avanço possa prosseguir até o que é conhecido como autoaperfeiçoamento recursivo (RSI). Neste cenário, os sistemas de IA passariam a acelerar seu próprio desenvolvimento. Para o cientista, este percurso demanda intervenções mais abrangentes para assegurar que o avanço tecnológico permaneça sob supervisão humana.
No ensaio, ele detalha uma transformação observada desde 2023, quando os resultados do projeto de pesquisa RLSlow deram à equipe a convicção de que era viável expandir o treinamento de modelos de raciocínio. Três anos após esse marco, segundo ele, tais sistemas já são capazes de operar interfaces gráficas e computadores, interagir com outros seres humanos e IAs, além de conduzir pesquisas.
O cientista também ressalta os progressos notáveis em segurança cibernética. Contudo, à medida que os modelos se tornam mais competentes, Pachocki observa que seus resultados se tornam mais difíceis de serem interpretados. Ele argumenta que a inteligência gerada pelo deep learning não possui equivalência direta com a humana, e quanto mais a IA supera os humanos em diversas áreas, mais complicado se torna definir precisamente suas capacidades.
Essa dificuldade reside na natureza operacional dos modelos. Pachocki explica que a IA é mais 'cultivada' do que meramente projetada, sendo fruto da repetição massiva de processos de otimização em grandes volumes de computação. Ele enfatiza que os sistemas são extremamente complexos e seu funcionamento global ainda carece de uma descrição ou compreensão completa.
Um tema crucial abordado no ensaio é o alinhamento da IA, termo utilizado para descrever o esforço de fazer com que os sistemas atuem conforme padrões e metas consideradas apropriadas pelos seres humanos. Pachocki faz uma distinção entre o alinhamento de objetivos, que se refere à execução do que foi determinado, e o alinhamento de valores, que está ligado à habilidade de aplicar princípios a situações novas ou ambíguas.
O desafio, segundo ele, surge quando sistemas mais inteligentes operam em contextos distintos daqueles em que foram treinados, o que pode prejudicar a generalização dos valores ensinados aos modelos. Pachocki sustenta que as futuras IAs devem preservar os valores humanos mesmo quando não estiverem sob vigilância humana.
A OpenAI emprega várias metodologias para tentar gerenciar essa questão. Uma delas é o acompanhamento do chamado 'chain of thought', ou cadeia de pensamento, que possibilita analisar o processo de raciocínio verbalizado pelos modelos. Entretanto, Pachocki aponta que as avaliações internas da companhia sugerem uma diminuição progressiva na confiabilidade desse monitoramento.
Os fatores que contribuem para essa redução incluem o emprego dos modelos em cenários mais intrincados, a crescente aptidão das IAs para refletir sobre seu próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem recorrer ao raciocínio verbalizado.
Apesar dos avisos emitidos, Pachocki não advoga pela paralisação do desenvolvimento. Ele considera haver um forte argumento para continuar treinando modelos mais inteligentes rapidamente: a criação de sistemas de defesa contra os perigos causados por outras IAs. O cientista foca particularmente na cibersegurança, mencionando que os modelos estão se tornando super-humanos na capacidade de penetrar e escapar de sistemas computacionais, elevando o risco tecnológico. Pachocki afirma que a OpenAI necessita utilizar os modelos mais avançados disponíveis para fortalecer a proteção de infraestruturas vitais.
Ao mesmo tempo, ele adverte que a necessidade de construir defesas não pode justificar um avanço irresponsável. Para Pachocki, a noção de progredir 'a qualquer custo' perde o sentido diante da magnitude dos riscos envolvidos. É neste contexto que ele retoma o assunto do autoaperfeiçoamento recursivo, afirmando que, se o progresso da IA persistir, a participação das máquinas em seu próprio desenvolvimento tenderá a crescer, e o RSI poderá assumir um papel central nas futuras descobertas científicas.
O pesquisador sugere que a comunidade científica tem duas opções primárias: conduzir o processo fortalecendo simultaneamente o alinhamento e o monitoramento, mantendo pessoas ativas no ciclo de desenvolvimento; ou coordenar uma desaceleração do avanço enquanto se busca maior certeza nas medidas de segurança. Pachocki considera que a abordagem mais adequada no momento é a combinação dessas duas estratégias.
Ele também defende que o avanço dos sistemas deve estar condicionado à confiança estabelecida nas medidas de segurança. Pachocki sugere que compromissos como o Preparedness Framework, da OpenAI, e o Responsible Scaling Policy, da Anthropic, evoluam para parâmetros de segurança amplamente aceitos, permitindo a continuidade do desenvolvimento. Tais critérios poderiam ser auditados por órgãos internacionais, governos ou auditorias independentes.
Finalizando o ensaio, Pachocki conclui que nenhum laboratório conseguiu resolver o alinhamento e o monitoramento em grau suficiente para sustentar o aumento da escala da IA na velocidade máxima por um período prolongado. Ele espera que desacelerações voluntárias se tornem comuns até que haja parâmetros de segurança compartilhados e defende que a coordenação internacional sobre o futuro da IA deva ser uma prioridade para os governos. Por fim, ele reitera que o propósito da automação da pesquisa em IA não deve ser apenas gerar sistemas mais inteligentes, mas sim fazê-lo de modo a preservar o controle humano e manter as pessoas envolvidas no processo de melhoria contínua.