A promotoria de São Francisco, nos Estados Unidos, notificou formalmente a Apple e o Google, acusando ambas as companhias de auferir lucros através de aplicativos de inteligência artificial destinados à criação de imagens de nudez falsas.
A promotoria de São Francisco, nos Estados Unidos, notificou formalmente a Apple e o Google, acusando ambas as companhias de auferir lucros através de aplicativos de inteligência artificial destinados à criação de imagens de nudez falsas.
O órgão acusador alega que as empresas estão facilitando a distribuição e a comercialização desses aplicativos de IA, os quais são utilizados para modificar fotografias de indivíduos reais, simulando nudez. Tais práticas são apontadas como catalisadoras de assédio, exploração indevida de imagem e abusos sexuais.
De acordo com a procuradoria, essa atividade pode infringir as leis da Califórnia relativas à pornografia sintética não consensual. Além disso, as empresas estariam obtendo ganhos financeiros ao receberem comissões sobre os pagamentos realizados dentro desses aplicativos.
O promotor-geral David Chiu declarou ao portal Wired que a geração de imagens sem consentimento é algo «ilegal, prejudicial e totalmente inaceitável». Ele enfatizou que as empresas possuem a obrigação de assegurar que seus ecossistemas de aplicativos não sirvam de plataforma para facilitar qualquer forma de abuso sexual.
A promotoria também ressaltou que alguns desses aplicativos foram classificados com indicações etárias baixas nas lojas digitais, chegando a ser apresentados como apropriados para crianças.
As notificações judiciais demandam que Apple e Google retirem imediatamente os aplicativos identificados e interrompam qualquer relação comercial com os desenvolvedores responsáveis. As autoridades californianas determinam que não deve haver suporte técnico ou financeiro a serviços voltados para a produção e venda de pornografia sintética não consensual.
Essa pressão surge em um momento de avanço significativo das ferramentas de IA, que conseguem realizar alterações em imagens com alta precisão. Geralmente, essas ferramentas são direcionadas contra mulheres e adolescentes, utilizando fotos comuns disponíveis em redes sociais.
Adicionalmente, em janeiro, o estado iniciou investigações contra a xAI, a startup de IA de Elon Musk responsável pelo Grok, após serem encontrados posts onde o chatbot auxiliava na criação de conteúdo adulto envolvendo pessoas reais, inclusive menores de idade.
Em resposta ao portal, o Google informou que a loja do Android proíbe aplicativos contendo material sexual e que implementou medidas para detectar e remover tais conteúdos. A companhia afirmou ter banido centenas de aplicativos com funcionalidades similares, além de suspender contas de desenvolvedores e pagamentos ligados a essas ferramentas.
Até o momento, a Apple não havia emitido um posicionamento oficial sobre a permanência desses aplicativos na App Store.
Na última sexta-feira (17), o gabinete do procurador municipal de São Francisco enviou notificações formais tanto à Apple quanto ao Google. O objetivo era exigir a remoção de treze aplicativos de troca facial que estavam ligados à criação de imagens de nudez geradas artificialmente, sem o consentimento das pessoas retratadas.
A ação municipal visa especificamente ferramentas que utilizam inteligência artificial para modificar fotografias de indivíduos, resultando em material sexualizado. Segundo a prefeitura, essas plataformas digitais obtêm lucro com tais serviços através de pagamentos efetuados dentro dos próprios aplicativos.
Esta iniciativa surge após investigações que revelaram que aplicativos inicialmente apresentados como simples editores de imagem poderiam ser empregados na produção de deepfakes de natureza sexual. As vítimas mais afetadas por esse tipo de conteúdo são mulheres e meninas.
As cartas endereçadas às duas gigantes tecnológicas foram assinadas pelo procurador municipal de São Francisco, David Chiu. Ele enfatizou que a geração de imagens íntimas sem permissão constitui uma prática ilegal e prejudicial, exigindo que a Apple e o Google impeçam o uso de seus ecossistemas digitais para facilitar abusos.
O representante da cidade também solicitou que as companhias encerrem quaisquer relações comerciais com desenvolvedores responsáveis por esses tipos de aplicativos. Além disso, a cobrança se estende aos sistemas de pagamento das lojas virtuais, onde as empresas recebem parte das receitas geradas por esses softwares.
Tanto a Apple quanto o Google declararam possuir diretrizes rigorosas contra pornografia, assédio e qualquer conteúdo abusivo em suas respectivas plataformas. A Apple comunicou ter removido três dos aplicativos apontados pela prefeitura e já deu início aos processos para suspender as contas dos desenvolvedores envolvidos. A empresa alertou que outros criadores também podem ser excluídos caso não corrijam as infrações detectadas.
Por sua vez, o Google anunciou a retirada de centenas de aplicativos que continham funcionalidades de “nudificação” por violarem suas políticas. A companhia também informou ter suspenso ferramentas similares e implementado restrições nos termos de busca relacionados a esse serviço dentro da loja de aplicativos.
As pesquisas citadas na investigação municipal indicaram que o problema não se limita apenas a aplicativos claramente rotulados como ferramentas de nudez artificial. Os estudos descobriram programas de troca de rostos que, apesar de serem apresentados como recursos de edição comuns, possibilitavam a criação de imagens sexualizadas sem contar com proteções eficazes.
Um levantamento mencionado no texto identificou centenas de aplicativos de troca facial disponíveis nas lojas da Apple e do Google. Uma parte considerável desses programas permitia a confecção de montagens com imagens nuas, mesmo que não fossem anunciados oficialmente para tal fim.
Essa proliferação de ferramentas ocorreu paralelamente ao avanço dos sistemas de inteligência artificial generativa, o que diminuiu significativamente a complexidade técnica necessária para produzir imagens falsas com alto grau de realismo. Especialistas citados na matéria ressaltaram que basta uma única foto de referência e alguns comandos para gerar esse tipo de conteúdo.
A prefeitura de São Francisco declarou que manterá a avaliação de ações legais contra empresas que permitirem a circulação dessas ferramentas. O propósito declarado pelo órgão é forçar as plataformas a aprimorarem seus mecanismos de análise antes da disponibilização de novos aplicativos.
