Desaparecimento de especialistas em segurança de IA em meio a alertas sobre riscos para a humanidade
Leia mais
TechCentral
techcentral.co.za

Desaparecimento de especialistas em segurança de IA em meio a alertas sobre riscos para a humanidade

Alguns legisladores dos EUA exigem a introdução de novas regras para regulamentar sistemas de inteligência artificial após sérios avisos de dois pesquisadores da Anthropic de que a IA em rápido desenvolvimento pode levar à extinção da humanidade no futuro previsível.

As preocupações sobre os potenciais danos da IA aumentaram esta semana, quando o pesquisador da Anthropic Jacob Coxon anunciou sua demissão, afirmando que 'pessoas que criam IA de forma sincera acreditam que ela pode nos matar a todos até o final desta década'.

O cientista da Anthropic Evan Hubinger apoiou Coxon, escrevendo no X: 'Nós realmente acreditamos sinceramente que a IA pode matar todas as pessoas'. Ele acrescentou: 'Pessoalmente, acho que isso é mais do que 10% durante a próxima década.'

Esses alertas surgiram em meio a casos em que agentes de IA saíram do controle e invadiram sistemas externos, bem como após pesquisadores de segurança de IA deixarem suas empresas devido a preocupações com os riscos dessa tecnologia. Políticos americanos, tanto democratas quanto republicanos, reagiram com apreensão e apelos por ações adicionais.

Apelos à ação de políticos

O senador estadual da Arizona, Mark Kelly, membro do Partido Democrata, declarou no X que 'Washington precisa acordar e levar isso a sério', citando os riscos associados à tecnologia de IA. O senador republicano Ted Cruz, do Texas, apontou a necessidade de medidas legislativas para regular os 'riscos catastróficos' da IA. Cruz supervisiona um comitê do Senado que fiscaliza o Departamento de Comércio dos EUA, uma agência que possui seus próprios pesquisadores de segurança de IA.

A representante Anna Paulina Luna, da Flórida, representante do Partido Republicano, pediu em uma postagem no X que o líder da Câmara Mike Johnson convocasse uma 'sessão especial sobre IA'.

Posição do presidente e iniciativas regulatórias

No entanto, o presidente dos EUA, Donald Trump, declarou na quinta-feira que não está preocupado com a IA levando à extinção humana. Ele observou: 'Tenho receios de que se não vencermos a IA, estaremos em uma situação muito ruim. Atualmente, estamos à frente da China em uma boa margem', disse ele em breves comentários para a mídia no Aeroporto Internacional Dallas Fort Worth.

Este mês, os EUA insistiram que os membros do G20 adotassem uma abordagem cautelosa para a regulamentação da IA. Um representante da Anthropic, que está se preparando para um IPO potencial avaliado em US$ 2 trilhões, informou na quinta-feira que a empresa continuará testando ativamente 'modelos ou capacidades perigosas em áreas como cibersegurança e biologia'. O representante também acrescentou que a empresa está interessada em colaborar com a indústria de IA sobre o ritmo de lançamento de novas ferramentas de IA.

O CEO da OpenAI, Sam Altman, informou aos funcionários em uma reunião esta semana que a empresa está disposta a desacelerar o desenvolvimento de seus sistemas de IA, segundo reportou a Bloomberg News. O concorrente da Anthropic, que também está se preparando para um IPO, não comentou a reunião de Altman com o pessoal. Anteriormente, a empresa havia declarado a desaceleração de algumas partes do desenvolvimento de modelos.

No início desta semana, a OpenAI declarou seu apoio a requisitos nacionais obrigatórios de segurança de IA nos EUA. Dois especialistas em segurança de IA também expressaram preocupação com o rápido desenvolvimento do setor. Josh Engels, que trabalhou anteriormente em pesquisas de segurança de IA no Google DeepMind, disse em entrevista à NBC, publicada na quinta-feira: 'Não há adultos na sala. As pessoas estão fazendo tudo o que podem, mas ninguém virá nos salvar.'

Joe Benton, que anteriormente liderou a equipe de segurança na Anthropic, informou à NBC que está preocupado que a IA possa estar se desenvolvendo 'muito rápido para conseguirmos nos reunir a tempo, se não começarmos a nos preocupar com isso agora'. Ambos se juntaram ao Metr, uma organização de pesquisa sem fins lucrativos que mede se os sistemas de IA podem ameaçar a sociedade e quando isso pode acontecer.

Pressão sobre legisladores e adoção de leis

A preocupação com a IA exerceu pressão sobre o líder da maioria do Senado dos EUA, John Thune, e a democrata Amy Klobuchar, que estão preparando um projeto de lei para regulamentar produtos de IA. Klobuchar declarou que a legislação deve exigir que as empresas que desenvolvem ferramentas de IA 'colaborem com especialistas governamentais para verificar e testar modelos, garantindo a segurança da IA'. Thune informou à Reuters em julho que o projeto de lei abordaria os 'riscos catastróficos' provenientes dos sistemas de IA.

Na quarta-feira, a Califórnia aprovou a primeira lei nos EUA que estabelece regras para auditores independentes na avaliação de produtos de IA. O chefe da OpenAI, Chris Leehan, afirmou que a OpenAI apoiará essa lei, por volta do mesmo tempo em que o escritório do governador da Califórnia, Gavin Newsom, divulgou um comunicado sobre a assinatura de sua lei.

Possibilidades de supervisão

Em julho, um grupo bipartidário de seis legisladores dos EUA propôs um projeto de lei que obrigaria os desenvolvedores dos modelos de IA mais poderosos a apresentá-los a uma auditoria de segurança independente. Os auditores deveriam ser credenciados pelo Departamento de Comércio dos EUA, e o departamento deveria criar um novo cargo para supervisionar a segurança de IA, de acordo com esse projeto de lei.

Histórias semelhantes

Pesquisadores da Anthropic alertam para o risco de extinção humana devido ao avanço da IA
Leia mais
olhardigital.com.br

Pesquisadores da Anthropic alertam para o risco de extinção humana devido ao avanço da IA

Pesquisadores e colaboradores da Anthropic têm intensificado publicamente os avisos sobre os perigos do progresso da inteligência artificial (IA). Membros da própria organização indicam que a tecnologia pode atingir um nível de avanço e perigo tal que possua o potencial de causar a extinção humana na próxima década.

Essas declarações foram feitas um dia após Jacob Coxon, pesquisador da Anthropic, anunciar seu desligamento da empresa. Em uma publicação que se tornou viral, ele alegou que tanto a Anthropic quanto a OpenAI, onde havia trabalhado anteriormente, não estavam desenvolvendo modelos de IA de forma responsável, estando, segundo ele, a 'apostar com nossas vidas'.

A manifestação de Coxon motivou outros funcionários da Anthropic a divulgarem seus próprios alertas sobre os riscos ligados ao desenvolvimento acelerado dessa tecnologia.

Anna Wang

Anna Wang, que trabalha com segurança de Inteligência Artificial Geral (IAG) na Anthropic e anteriormente esteve no Google DeepMind, declarou que muitos indivíduos dentro da empresa desejam diminuir o ritmo do desenvolvimento para criar um plano eficaz que mitigue os riscos associados aos modelos avançados. Wang escreveu: “Não existe ainda um plano científico viável para resolver os riscos de uma IA que se autoaperfeiçoa recursivamente”.

Drake Thomas, outro colaborador da Anthropic, expressou respeito pela decisão de Coxon de não participar do desenvolvimento desses modelos caso ele os considere um risco em escala planetária. Thomas comentou: “As coisas estão avançando rápido demais e não temos nem de longe o grau de garantia que gostaríamos para uma superinteligência artificial”.

As alegações geraram uma reação de Elon Musk, que adotou uma posição significativamente mais cética em relação aos alertas. Musk escreveu no X: “Isso parece uma armação”. Posteriormente, o bilionário sugeriu que o incidente poderia ser parte de uma 'psyop', termo utilizado para descrever uma operação psicológica visando moldar a percepção pública.

Musk respondeu a uma publicação de Parker Thayer, pesquisador do grupo conservador Capital Research, que levantou, sem apresentar provas, a teoria de que a declaração de Coxon seria o começo de uma operação de relações públicas sofisticada e financiada para obter apoio a regulamentações mais rigorosas contra a IA. Musk afirmou que os preparativos para essa suposta operação já estavam em andamento há algum tempo e que a publicação de Coxon foi apenas o gatilho inicial do processo.

Coxon rebateu diretamente o bilionário, publicando uma selfie e afirmando ser uma pessoa real e que aquelas eram suas convicções genuínas. Ele também mencionou que Musk poderia consultá-lo com os pesquisadores da xAI, caso não tivesse demitido alguns deles.

Mais informações:

Em resposta às dúvidas, a Anthropic defendeu sua abordagem estratégica. Um porta-voz da empresa informou ao The Guardian: “Sempre fomos transparentes de que a IA trará enormes benefícios e riscos sem precedentes”. A companhia ressaltou que seus modelos continuam sendo desenvolvidos com algumas das medidas de segurança mais robustas do setor. Contudo, nem todos os especialistas concordam que o risco primordial deva ser uma superinteligência capaz de aniquilar a humanidade.

Gary Marcus

Gary Marcus, uma figura conhecida no debate sobre IA, opinou que chegou o momento de boicotar a tecnologia devido aos danos que já estão ocorrendo. Para Marcus, as preocupações mais urgentes incluem patógenos criados com auxílio de IA, conflitos iniciados ou intensificados por desinformação gerada por sistemas de IA, e ataques capazes de destruir infraestruturas vitais. Ele declarou: “Não vi nada que indique que qualquer uma dessas coisas esteja sob controle”.

A discussão ganhou um aspecto particularmente concreto no mesmo dia em que os alertas dos pesquisadores ganharam força. A Anthropic divulgou um relatório detalhando como a empresa desmantelou uma tentativa de construir uma arma biológica utilizando seus modelos de IA. Este evento não prova que uma IA autônoma desenvolveu uma arma por conta própria, mas ilustra como os modelos disponíveis atualmente podem ser empregados em tentativas de uso para propósitos extremamente perigosos. O caso colocou lado a lado dois debates habitualmente separados: os riscos futuros de uma IA potencialmente superinteligente e os perigos mais imediatos relacionados ao uso de modelos atuais para atividades que podem causar sérios danos. O artigo original foi publicado no Olhar Digital.

Popular