Anthropic alega que a IA pode acelerar seu próprio desenvolvimento através da autossuperação recursiva
Leia mais
Olhar Digital
olhardigital.com.br

Anthropic alega que a IA pode acelerar seu próprio desenvolvimento através da autossuperação recursiva

A Anthropic divulgou em uma atualização de seu prospecto de abertura de capital (S-1/A), submetido à Comissão de Valores Mobiliários dos Estados Unidos (SEC), que pode estar próxima de criar uma inteligência artificial capaz de acelerar seu próprio aprimoramento.

Embora a empresa afirme ainda não ter alcançado tal fase, suas projeções sugerem que isso pode ocorrer em um futuro próximo. Essa tecnologia, conhecida como autossuperação recursiva (RSI), descreve um ponto onde sistemas de IA conseguem melhorar seus próprios processos de desenvolvimento, impulsionando a evolução de suas habilidades.

Essa perspectiva gera divergências: críticos alertam que tais avanços poderiam resultar em sistemas extremamente potentes, fora do controle humano e capazes de causar danos ao buscar seus objetivos. Por outro lado, os entusiastas veem na RSI uma chance de aumentar a produtividade e agilizar descobertas científicas.

A Anthropic reconhece ambas as visões. No documento enviado à SEC, a companhia menciona que já emprega IA em suas atividades de P&D, mas adverte que essa abordagem carrega um risco significativo à segurança, principalmente se o ritmo do progresso for drasticamente acelerado.

A atualização do prospecto introduz novos avisos na seção de fatores de risco. A Anthropic revelou que já utilizou sistemas de IA para criar novos modelos sem perceber, na época, a magnitude dos ganhos de capacidade alcançados. O aumento no uso de IA nas pesquisas também pode fazer com que os modelos evoluam mais rápido do que a capacidade da empresa de implementar medidas de segurança, alinhamento e proteção.

De acordo com o documento, estimativas internas e previsões sobre modelos futuros apontam que a empresa pode atingir em breve o que sua Política de Escalonamento Responsável denomina como «progresso dramaticamente acelerado atribuível à IA». Contudo, a empresa ressalta que nenhum de seus modelos atuais foi classificado como tendo excedido esse limite, e a avaliação dos dados segue em curso.

Mesmo diante dessa possibilidade, a Anthropic declara que não prevê usar o Claude para projetar e construir, de forma totalmente autônoma, gerações sucessivas de modelos avançados sem supervisão ou entendimento humano relevante. A companhia também planeja revisar sua Política de Escalonamento Responsável para garantir que os humanos mantenham o controle sobre o desenvolvimento de seus modelos mais sofisticados.

É importante notar que os registros apresentados à SEC cumprem obrigações de divulgação, mas também servem como meio para a empresa apresentar suas expectativas ao mercado. A Anthropic ressalta que as capacidades do Claude melhoraram neste ano, notadamente em programação, matemática e cibersegurança, embora nenhum modelo atual tenha sido considerado pela empresa como tendo atingido o estágio de autossuperação recursiva.

Histórias semelhantes

Anthropic divulga custos e riscos da inteligência artificial em seu prospecto pré-IPO
Leia mais
olhardigital.com.br

Anthropic divulga custos e riscos da inteligência artificial em seu prospecto pré-IPO

A Anthropic, desenvolvedora da inteligência artificial Claude, submeteu documentos para sua oferta pública inicial (IPO) nos Estados Unidos. Este prospecto detalha uma empresa em fase acelerada de crescimento, mas que enfrenta pressões decorrentes de altos custos operacionais e diversos riscos, que abrangem desde vulnerabilidades cibernéticas até falhas nas salvaguardas de seus modelos.

O material apresentado inclui as primeiras demonstrações financeiras auditadas da organização e descreve os obstáculos que podem impactar seus planos de expansão. Fundada em 2021, a Anthropic conseguiu aumentar significativamente suas receitas, embora os gastos tenham acompanhado esse crescimento. Os dados contidos no prospecto ilustram a magnitude desse progresso e o peso financeiro da infraestrutura essencial para o desenvolvimento e funcionamento de seus sistemas de IA.

Entre os pontos de atenção destacados pela companhia está a alta concentração de clientes, visto que os cinco maiores compradores representam 25% do faturamento total. A potencial perda de um desses clientes poderia, consequentemente, afetar os resultados financeiros da empresa.

A Anthropic direciona seus esforços tecnológicos para áreas como medicina, biologia, finanças e robótica. A empresa alega que o Claude conseguiu reduzir o tempo de elaboração de relatórios de ensaios clínicos de meses para apenas minutos. Além disso, ela menciona descobertas biológicas que têm potencial para auxiliar no desenvolvimento de ferramentas de edição genética.

Contudo, esses avanços coexistem com limitações que a própria Anthropic reconhece. O prospecto indica que as proteções implementadas em seus modelos podem se tornar obsoletas, serem burladas ou simplesmente falhar. A companhia também admite que seus sistemas mais sofisticados poderiam ser utilizados por indivíduos mal-intencionados para criar armas químicas ou biológicas.

Os riscos já incluem ameaças cibernéticas. A empresa relatou o que considera o primeiro caso documentado de uma operação de grande escala realizada com mínima participação humana. De acordo com a Anthropic, um coletivo de hackers apoiado pelo Estado chinês utilizou uma ferramenta de programação do Claude com o intuito de invadir aproximadamente 30 alvos, incluindo corporações de tecnologia, instituições financeiras, fabricantes de produtos químicos e entidades governamentais.

O emprego da IA para fins de vigilância e repressão também gera preocupação na companhia. A Anthropic adverte que regimes autoritários podem aproveitar essa tecnologia para intensificar tais práticas. Adicionalmente, a empresa está envolvida em um desacordo com o governo Trump devido à sua recusa em flexibilizar as restrições impostas ao uso de seus modelos para vigilância interna e armas letais autônomas.

As 92 páginas dedicadas aos riscos também abordam a competição com gigantes como Google e OpenAI, a dependência de executivos chave e as incertezas relacionadas à regulamentação. Outros fatores podem comprometer as operações da empresa:

Para diminuir sua dependência dos Estados Unidos, a companhia informa que está expandindo sua rede de data centers em outros países. Apesar disso, ela reconhece a possibilidade de não conseguir contratar apólices de seguro para certas responsabilidades inerentes à IA em termos comerciais viáveis. O prospecto afirma: «Podemos não conseguir obter cobertura para determinadas responsabilidades relacionadas à IA em condições comercialmente razoáveis, ou mesmo obter qualquer cobertura, o que nos deixaria expostos a perdas potencialmente significativas».

A realização do IPO colocará a capacidade da Anthropic de manter o crescimento, gerenciar os custos e lidar com os riscos inerentes à expansão da inteligência artificial sob um escrutínio muito maior.

Nova teoria pode ajudar cientistas a entender o processo de pensamento da inteligência artificial
Leia mais
olhardigital.com.br

Nova teoria pode ajudar cientistas a entender o processo de pensamento da inteligência artificial

Compreender o que acontece dentro da inteligência artificial é uma das principais tarefas da modernidade. Embora os desenvolvedores possam observar os dados fornecidos ao modelo e as respostas que ele gera, eles nem sempre são capazes de explicar como o sistema chegou a uma determinada conclusão. No entanto, uma nova pesquisa sugere que isso pode ser resolvido com o auxílio de uma nova teoria.

A pesquisa contou com a participação de Roberto "Pena" Spinelli, físico da Universidade de São Paulo e especialista em aprendizado de máquina pela Universidade de Stanford.

Popular