Na última sexta-feira (17), o gabinete do procurador municipal de São Francisco enviou notificações formais tanto à Apple quanto ao Google. O objetivo era exigir a remoção de treze aplicativos de troca facial que estavam ligados à criação de imagens de nudez geradas artificialmente, sem o consentimento das pessoas retratadas.
Foco em Conteúdo Sexualizado
A ação municipal visa especificamente ferramentas que utilizam inteligência artificial para modificar fotografias de indivíduos, resultando em material sexualizado. Segundo a prefeitura, essas plataformas digitais obtêm lucro com tais serviços através de pagamentos efetuados dentro dos próprios aplicativos.
Investigações e Preocupações
Esta iniciativa surge após investigações que revelaram que aplicativos inicialmente apresentados como simples editores de imagem poderiam ser empregados na produção de deepfakes de natureza sexual. As vítimas mais afetadas por esse tipo de conteúdo são mulheres e meninas.
Cobranças às Empresas de Tecnologia
As cartas endereçadas às duas gigantes tecnológicas foram assinadas pelo procurador municipal de São Francisco, David Chiu. Ele enfatizou que a geração de imagens íntimas sem permissão constitui uma prática ilegal e prejudicial, exigindo que a Apple e o Google impeçam o uso de seus ecossistemas digitais para facilitar abusos.
O representante da cidade também solicitou que as companhias encerrem quaisquer relações comerciais com desenvolvedores responsáveis por esses tipos de aplicativos. Além disso, a cobrança se estende aos sistemas de pagamento das lojas virtuais, onde as empresas recebem parte das receitas geradas por esses softwares.
Respostas da Apple e Google
Tanto a Apple quanto o Google declararam possuir diretrizes rigorosas contra pornografia, assédio e qualquer conteúdo abusivo em suas respectivas plataformas. A Apple comunicou ter removido três dos aplicativos apontados pela prefeitura e já deu início aos processos para suspender as contas dos desenvolvedores envolvidos. A empresa alertou que outros criadores também podem ser excluídos caso não corrijam as infrações detectadas.
Por sua vez, o Google anunciou a retirada de centenas de aplicativos que continham funcionalidades de “nudificação” por violarem suas políticas. A companhia também informou ter suspenso ferramentas similares e implementado restrições nos termos de busca relacionados a esse serviço dentro da loja de aplicativos.
Natureza do Problema Detectado
As pesquisas citadas na investigação municipal indicaram que o problema não se limita apenas a aplicativos claramente rotulados como ferramentas de nudez artificial. Os estudos descobriram programas de troca de rostos que, apesar de serem apresentados como recursos de edição comuns, possibilitavam a criação de imagens sexualizadas sem contar com proteções eficazes.
Um levantamento mencionado no texto identificou centenas de aplicativos de troca facial disponíveis nas lojas da Apple e do Google. Uma parte considerável desses programas permitia a confecção de montagens com imagens nuas, mesmo que não fossem anunciados oficialmente para tal fim.
Impacto da IA Generativa
Essa proliferação de ferramentas ocorreu paralelamente ao avanço dos sistemas de inteligência artificial generativa, o que diminuiu significativamente a complexidade técnica necessária para produzir imagens falsas com alto grau de realismo. Especialistas citados na matéria ressaltaram que basta uma única foto de referência e alguns comandos para gerar esse tipo de conteúdo.
Próximos Passos Legais
A prefeitura de São Francisco declarou que manterá a avaliação de ações legais contra empresas que permitirem a circulação dessas ferramentas. O propósito declarado pelo órgão é forçar as plataformas a aprimorarem seus mecanismos de análise antes da disponibilização de novos aplicativos.