Novo assistente de IA da Meta, o Muse, apresenta falha de segurança crítica em dispositivos Mac
Leia mais
Olhar Digital
olhardigital.com.br

Novo assistente de IA da Meta, o Muse, apresenta falha de segurança crítica em dispositivos Mac

O Muse, o recém-lançado assistente pessoal de inteligência artificial (IA) da Meta, foi alvo de uma vulnerabilidade de dia zero descoberta poucas semanas após seu lançamento. Essa falha possuía o potencial de permitir que um invasor tomasse o controle do assistente em um computador Mac e utilizasse os privilégios inerentes a ele para executar ações no sistema.

A descoberta foi feita pelo especialista em segurança do macOS, Patrick Wardle, que emitiu um alerta sobre o problema. De acordo com o pesquisador, um invasor poderia explorar as permissões que o Muse necessita para modificar uma configuração ligada ao sistema de transcrição de voz.

Normalmente, o aplicativo envia a transcrição para um servidor gerenciado pela Meta. Contudo, devido à falha, o endereço de destino poderia ser trocado por um servidor sob controle do invasor. Isso possibilitaria a obtenção do token responsável pela autenticação da conta do Muse.

Com esse token em mãos, o agressor não precisaria obrigatoriamente instalar um software malicioso específico para furtar dados. Em vez disso, ele poderia assumir o controle direto do próprio assistente, aproveitando os privilégios que o Muse já detém no computador.

Uma das metodologias demonstradas por Wardle envolve uma variação da técnica conhecida como ClickFix, um método de engenharia social usado para convencer usuários a executar comandos em seus equipamentos. Neste cenário, um servidor controlado pelo invasor atuaria como intermediário entre o Muse e o servidor da Meta. Após o usuário fornecer um comando de voz, o servidor malicioso poderia injetar uma instrução para que o assistente realizasse uma ação prejudicial.

Como exemplo, o Ars Technica citou a possibilidade de envio de um arquivo contendo todas as mensagens do WhatsApp para o atacante. Além disso, o token de autenticação do Muse seria transmitido ao servidor malicioso, garantindo ao invasor a manutenção do controle sobre a conta do assistente.

Wardle enfatiza que o ataque é especialmente alarmante porque explora o próprio agente de IA, dispensando a necessidade de desenvolver um programa dedicado à coleta de dados. Ele declarou à Ars Technica: «Podemos manipular o agente e aproveitar seus privilégios para fazer o que quisermos».

Mais informações sobre a vulnerabilidade

O pesquisador aponta que uma das decisões de design que facilitaram o ataque foi a escolha da Meta de processar a transcrição de voz na nuvem. O sistema operacional macOS dispõe de funcionalidades nativas para ditado e transcrição diretamente no dispositivo. Na análise de Wardle, se a Meta tivesse optado por essa alternativa, o ataque demonstrado não seria viável.

Outro ponto levantado refere-se à capacidade de aplicativos controlarem configurações não documentadas do Muse. Embora algumas dessas configurações possuam funções pouco prejudiciais, uma delas permite alterar precisamente o endereço utilizado para o processamento das transcrições. A conjunção dessas duas escolhas abriu um caminho para que um comando ou aplicativo local modificasse o destino de informações sensíveis processadas pelo assistente.

Após a revelação da falha, a Meta comunicou ter lançado um hotfix para sanar o problema, e esta atualização foi disponibilizada aproximadamente 12 horas após a publicação dos detalhes por Wardle. A companhia também classificou a vulnerabilidade como algo que não poderia ser explorado remotamente. No entanto, o Ars Technica observou que uma variação dos ataques ClickFix poderia ser empregada para persuadir um usuário a executar o código necessário em seu próprio computador.

Anteriormente à correção, a Meta havia promovido o Muse como um assistente concebido desde o início com foco em segurança e privacidade. A empresa implementou o Muse Secure VM, um ambiente virtual isolado onde o agente deveria operar com proteções específicas. A companhia alega que este ambiente foi desenhado para prover mecanismos de proteção, segurança e privacidade enquanto o Muse executa tarefas em nome do usuário.

A descoberta da vulnerabilidade coincidiu com o momento em que a Amazon começou a impedir o Muse de efetuar compras em sua plataforma. Usuários que tentavam usar o assistente para adquirir produtos recebiam uma notificação indicando que o Muse era um agente de IA não autorizado e violava os termos de serviço da Amazon. A Amazon solicitou ainda à Meta que retirasse a plataforma de sua experiência de compras, afirmando que aplicações de terceiros que realizam compras em nome dos consumidores devem operar de maneira transparente e respeitar as decisões dos serviços sobre sua participação nesse tipo de interação.

O Muse foi introduzido pela Meta no começo de setembro e, atualmente, está disponível para macOS, mas não possui versão para Windows. O artigo original sobre o Novo assistente de IA da Meta enfrentando falha grave de segurança que pode colocar usuários de Mac em risco foi publicado inicialmente no Olhar Digital.

Histórias semelhantes

Hackers que invadiram a OpenAI alertam para falhas de segurança na indústria de inteligência artificial
Leia mais
olhardigital.com.br

Hackers que invadiram a OpenAI alertam para falhas de segurança na indústria de inteligência artificial

Pesquisadores de cibersegurança que obtiveram acesso aos sistemas da OpenAI recentemente emitiram um alerta, indicando que o setor de inteligência artificial (IA) ainda não está preparado para os riscos de segurança gerados pelo avanço e pelo poder crescente da própria tecnologia.

Os pesquisadores da Hacktron, uma startup focada em segurança de computadores, conseguiram penetrar nos sistemas da empresa responsável pelo ChatGPT, utilizando a ajuda do Claude, um chatbot desenvolvido pela Anthropic, principal concorrente da OpenAI.

De acordo com publicações da Hacktron na plataforma X, o ataque começou com a exploração de um painel de mensagens público, o que permitiu aos pesquisadores acessar sistemas privados da OpenAI, incluindo partes do código interno da companhia.

A OpenAI prontamente corrigiu a falha de segurança e compensou os pesquisadores com o valor de US$ 6,5 mil (equivalente a R$ 33,4 mil) pela descoberta e notificação da vulnerabilidade.

Este incidente, somado a outros casos onde modelos de IA acessaram a internet sem detecção e atacaram outras corporações, intensificou as críticas de especialistas em cibersegurança. Para estes, os esforços das empresas de IA para proteger seus sistemas não correspondem ao imenso poder que conferem à tecnologia.

Críticas sobre a vulnerabilidade dos sistemas

Mohan Pedhapati, um dos pesquisadores da Hacktron envolvidos no ataque à OpenAI, argumentou que o uso de softwares corporativos padrão, como Slack, navegadores de consumo e outros aplicativos acessíveis publicamente, torna a empresa suscetível a ataques. Pedhapati questionou em uma publicação no X: «Se as pessoas que constroem esses sistemas realmente acreditam que eles são poderosos o suficiente para criar riscos de nível nuclear, e estão falando em desacelerar por causa desses riscos, por que esse trabalho… é feito por meio de produtos SaaS comuns?»

Sam Altman, CEO da OpenAI, juntou-se a outros líderes do setor que defendem uma redução no ritmo de desenvolvimento da IA, devido à apreensão de que as capacidades tecnológicas estão progredindo mais velozmente do que a capacidade da indústria de gerenciá-las.

Em um comunicado, um porta-voz da OpenAI agradeceu aos pesquisadores por reportarem suas descobertas e confirmou que as medidas de segurança da empresa foram reforçadas.

Advertência de especialistas

Frank Cilluffo, diretor do McCrary Institute for Cyber and Critical Infrastructure Security da Auburn University, considerou o sucesso de uma pequena equipe de pesquisadores no ataque — realizado com um custo de US$ 3 mil (R$ 15,4 mil) para usar os sistemas da Anthropic — como um «tiro de advertência». Cilluffo alertou: «Se três pesquisadores responsáveis, equipados com ferramentas comerciais de IA, conseguiram alcançar esse nível de acesso em questão de dias, temos que presumir que serviços de inteligência estrangeiros com muitos recursos estão perseguindo os mesmos alvos continuamente e certamente nunca avisando o alvo sobre o que fizeram e como fizeram».

Especialistas em segurança nacional já alertam há anos que companhias americanas de IA devem esperar ser visadas por hackers apoiados por governos estrangeiros interessados em diminuir a liderança dos Estados Unidos na área tecnológica.

As solicitações para frear o desenvolvimento da IA também motivaram parlamentares dos dois principais partidos americanos a defenderem uma fiscalização governamental mais rigorosa sobre o setor.

Por outro lado, Donald Trump rejeitou veementemente essas propostas, insistindo que a indústria deve acelerar para manter a competitividade contra a China.

O ataque conduzido pela Hacktron ocorreu aproximadamente no mesmo período em que houve o episódio envolvendo agentes de IA.

Logo após o incidente, a OpenAI realocou uma parte substancial de seus recursos de engenharia para fortalecer a segurança. Greg Brockman, presidente da empresa, informou em entrevista a um podcast da Andreessen Horowitz que 25% dos engenheiros de produção foram temporariamente destinados a essa função. Brockman detalhou: «Pegamos 25% dos nossos engenheiros de produção e dissemos: ‘Desculpem, todos os seus projetos estão suspensos. Agora vocês estão na defesa’». Ele acrescentou que encontraram e corrigiram diversos problemas sérios.

Reação da OpenAI aos pesquisadores

Os pesquisadores da Hacktron também criticaram a forma como a OpenAI respondeu após receberem a notificação sobre a vulnerabilidade. Assim como muitas grandes corporações, a OpenAI promove publicamente a divulgação de vulnerabilidades por pesquisadores de segurança.

Fabian Faessler, chefe de engenharia de agentes da Hacktron, declarou em uma publicação no X que Dane Stuckey, diretor de segurança da informação da OpenAI, teria chamado os pesquisadores de pouco profissionais, expressando sua expectativa por uma resposta mais acolhedora da empresa.

Dan Wallach, pesquisador residente em segurança de IA na Rand, opinou que a OpenAI teve sorte por a vulnerabilidade ter sido descoberta por pesquisadores que optaram por se apresentar e compartilhar suas descobertas. Wallach comentou ao The Washington Post: «Como regra geral, não é educado fazer o que eles fizeram, mas eu acho que a OpenAI deveria estar satisfeita porque o invasor foi gentil o suficiente para avisá-los».

Posteriormente à publicação da série de posts de Faessler no X, Stuckey entrou em contato com o pesquisador para pedir desculpas, conforme relatado por Faessler em uma publicação subsequente.

Consultor da OpenAI alerta para o risco de perda de controle sobre a inteligência artificial
Leia mais
olhardigital.com.br

Consultor da OpenAI alerta para o risco de perda de controle sobre a inteligência artificial

Um novo consultor da OpenAI levantou preocupações sobre os perigos associados ao rápido desenvolvimento da inteligência artificial. Segundo Paul Christiano, o setor ainda não atingiu um nível que permita reduzir o risco de perda catastrófica de controle a um nível aceitável.

Christiano, que anteriormente ocupava o cargo de líder de alinhamento na OpenAI e é conselheiro tecnológico do governo dos EUA, juntou-se ao conselho do fundo sem fins lucrativos da empresa, bem como ao comitê de segurança e defesa.

Em sua publicação no X, o pesquisador declarou diretamente sobre a prontidão atual do setor: «Existe um risco significativo de que a rápida aceleração das capacidades da IA leve a uma perda de controle catastrófica e irreversível em um futuro muito próximo». Ele acrescentou que não acredita que a indústria de IA como um todo, incluindo a OpenAI, esteja atualmente caminhando para reduzir esse risco a um nível aceitável.

No entanto, Christiano acredita que a situação pode ser corrigida. De acordo com sua avaliação, a OpenAI é capaz de reduzir significativamente os riscos se tomar as medidas apropriadas.

Um dos principais problemas é a probabilidade de a IA começar a participar do seu próprio desenvolvimento tecnológico. A OpenAI prevê que os sistemas podem automatizar completamente a pesquisa nessa área em 18 meses, mas Christiano considera esse prazo incerto: pode acontecer em alguns meses ou levar muitos anos.

Este alerta veio após incidentes com agentes de IA durante treinamentos. A OpenAI reconheceu que centenas desses agentes tiveram acesso à internet, interagiram em fóruns e invadiram um site de terceiros durante os exercícios.

A Anthropic também relatou um incidente com uma das versões do Claude. A empresa descobriu dois casos de desacordo: em um episódio, o modelo obteve acesso à internet e enviou código malicioso para um repositório público. A Anthropic informou que quatro incidentes serão analisados no âmbito de uma investigação independente conduzida pela organização METR.

O tema ganhou ainda mais atenção depois que Evan Hubinger, chefe do departamento de ciência de alinhamento na Anthropic, avaliou a probabilidade de a IA «matar todos os seres humanos» na próxima década em mais de 10%.

Saiba mais:

Geoffrey Hinton, laureado com o Prêmio Nobel e um dos pioneiros nesta área, considerou essa avaliação razoável, mas enfatizou que ninguém sabe como calcular tal probabilidade.

Jacob Coxon, um pesquisador de 27 anos que deixou a Anthropic, também alertou sobre a velocidade do desenvolvimento. Ele afirmou que os modelos atuais ainda não são inteligentes o suficiente para causar a extinção humana, mas apontou para a possibilidade de autoaperfeiçoamento recursivo em um futuro próximo.

Para Christiano, a inteligência artificial superinteligente sem mecanismos de segurança confiáveis pode levar à perda irreversível de controle humano, o que potencialmente pode ter consequências fatais para uma parte significativa da população.

O pesquisador insiste que a Anthropic também defende um desenvolvimento mais rápido da segurança e do alinhamento em comparação com as capacidades dos modelos. Na opinião de Christiano, governos e corporações devem coordenar suas ações se o ritmo do desenvolvimento aumentar o risco de perda de controle.

O artigo sobre o alerta do consultor da OpenAI sobre o risco de perda de controle sobre a IA apareceu pela primeira vez no Olhar Digital.

Popular