A questão de se um tamanho maior de inteligência artificial (IA) é garantia de melhor desempenho depende da tarefa específica, segundo pesquisadores da USP e Unicamp. Em várias aplicações, sistemas mais eficientes e especializados podem exigir menos dados e recursos computacionais, ao mesmo tempo que garantem o nível de desempenho necessário.
Este debate não significa que os grandes modelos perderam sua relevância. Enquanto Marcelo Finger critica a crescente dependência dos sistemas de dados e poder computacional, o matemático Marcos Eduardo Valle aponta para uma lacuna entre modelos pequenos e grandes sistemas de aprendizado profundo, vendo potencial para estudar soluções intermediárias.
Para Marcelo Finger, um dos principais avanços do recente progresso em IA foi a expansão da capacidade das máquinas de reconhecer padrões em diferentes tipos de informações, incluindo fala, imagens e sons. Este avanço ganhou um novo impulso em 2017 com o surgimento da arquitetura Transformer, originalmente desenvolvida para tradução entre idiomas, que se tornou a base dos modernos grandes modelos de linguagem.
No entanto, Finger aponta uma limitação desse método: o Transformer é forçado a revisar repetidamente os dados de entrada, e esse processo cresce quadraticamente com o aumento do tamanho dos dados de entrada. Em termos simples, quanto mais informação o modelo precisa analisar, mais rápido aumenta a quantidade de cálculos necessários, o que eleva os custos de processamento e os recursos exigidos para trabalhar com modelos cada vez maiores.
Além da capacidade computacional, Finger menciona recursos como energia e água, bem como a dissipação de calor associada à operação do equipamento. Ele também acredita que, após a popularização dos grandes modelos de linguagem, o desenvolvimento desta área passou a focar excessivamente neste método, já que parte da pesquisa começou a seguir essa direção quando a IA chegou ao mercado.
Marcos Eduardo Valle também vê limites nesse processo, sugerindo que o desenvolvimento de hardware pode estar se aproximando da estagnação. Ele cita o progresso das unidades de processamento gráfico (GPUs) como um fator que permitiu aumentar a capacidade disponível para aprendizado profundo, mas afirma: 'Esta questão de hardware parece ter estagnado, e eu acredito que também atingiremos um teto nesse limite; talvez esses modelos gigantes estejam estagnando'.
Os grandes modelos de propósito geral têm uma vantagem óbvia: eles são capazes de lidar com uma grande variedade de situações. No entanto, na opinião de Valle, isso não os torna a escolha ideal para qualquer tarefa. Ele apresenta exemplos de medicina e agricultura, onde o volume de dados pode ser incomparável aos dados usados para treinar grandes modelos de linguagem. Na medicina, por exemplo, obter a informação necessária muitas vezes depende de avaliações profissionais e envolve processos mais complexos.
Nessas condições, uma solução desenvolvida para uma tarefa específica pode utilizar melhor os dados disponíveis. Em vez de tentar aprender uma vasta gama de possibilidades, o modelo pode integrar as características conhecidas do próprio problema. No entanto, essa especialização tem uma condição: o modelo específico é baseado em certas suposições sobre a tarefa a ser resolvida. Se essas premissas se mostrarem incorretas na situação real, um modelo generalista pode ser mais vantajoso devido à sua capacidade de processar mais cenários. Como ele enfatizou: 'Portanto, não se deve tentar colocá-lo em outra tarefa para a qual não foi projetado'.
Assim, a escolha não se resume apenas ao tamanho do modelo; o tipo e o volume dos dados disponíveis, o objetivo da aplicação e as características do próprio problema também são importantes.
Um projeto conduzido por Finger durante a pandemia de Covid-19 demonstra a aplicação de uma abordagem especializada em condições de escassez de dados. O objetivo era analisar a voz humana para identificar sinais de insuficiência respiratória e auxiliar na identificação de pacientes que poderiam necessitar de hospitalização. Neste caso, o objetivo não era detectar o coronavírus pela voz.
A tarefa inicial era identificar insuficiência respiratória, um problema que pode surgir por diversas razões e que, durante a pandemia, estava associado aos casos mais graves de Covid-19. O primeiro obstáculo foi a coleta de dados: a equipe reuniu informações de cerca de 600 pacientes em dois meses, mas quase um terço dos registros teve que ser descartado devido a problemas de gravação. As gravações de áudio foram feitas em ambiente hospitalar com muito ruído, incluindo tosse, funcionamento de equipamentos, televisão e movimentação de pessoas.
Em vez de simplesmente remover esses sons, a equipe decidiu usar o ruído ambiente para dar maior similaridade aos dados. Os pesquisadores coletaram amostras de sons de locais de atendimento e adicionaram esses ruídos às gravações. Isso foi feito para que o sistema não aprendesse uma característica não relacionada à pesquisa: a diferença entre uma gravação feita no hospital e uma feita em casa. Ao tornar os sinais mais semelhantes, a equipe procurou fazer com que o modelo prestasse atenção aos sinais vocais relacionados à insuficiência respiratória.
Segundo Finger, a primeira versão alcançou 91% de precisão. Após alterações no algoritmo e novas análises, esse indicador aumentou para 96,5% e, posteriormente, para 99% para a identificação de insuficiência respiratória no contexto estudado. O resultado foi apresentado pelo pesquisador e se refere ao contexto investigado pela equipe; a ferramenta tinha uma tarefa claramente limitada: identificar sinais de insuficiência respiratória.
Uma solução mais eficiente não precisa ser criada do zero. Valle menciona métodos que permitem aproveitar o conhecimento obtido por modelos treinados em grandes bases de dados. Um deles é o aprendizado por transferência, no qual um modelo treinado em um grande conjunto de dados é subsequentemente adaptado para uma tarefa mais específica. Outro método é a destilação de conhecimento, que permite usar o conhecimento de um modelo maior para construir um menor.
Essa possibilidade mostra que grandes modelos e soluções especializadas não precisam competir. Valle cita o exemplo de usar um grande modelo de linguagem para interagir com o usuário e, em seguida, passar a informação para um modelo menor e especializado responsável por uma tarefa específica. Nessa arquitetura, diferentes sistemas podem desempenhar funções distintas: o modelo generalista cuida da comunicação, enquanto a solução especializada processa a informação de acordo com as necessidades da aplicação.
O próprio trabalho de Valle se baseia nessa ideia. O matemático estuda modelos de aprendizado profundo que incorporam informações geométricas e algébricas para melhorar o desempenho e reduzir a necessidade de dados em certas aplicações. Um dos exemplos apresentados pelo pesquisador está relacionado a câmeras de vigilância. Se o sistema precisar reconhecer movimento suspeito, a mudança na posição da câmera não deve fazer com que ela pare de reconhecer esse movimento. A abordagem leva em conta a informação sobre a geometria do problema, permitindo incluir no desenvolvimento características que permanecem relevantes mesmo com a mudança de perspectiva. Segundo Valle, essa estratégia pode tornar os modelos mais eficientes e, em última análise, treinados com menos dados.
Existem também vantagens na operação desses sistemas. Valle afirma que soluções mais compactas podem apresentar bom desempenho com menores custos, exigindo menos processamento, energia e recursos computacionais. Dependendo da aplicação, elas podem ser executadas localmente, evitando a transmissão de dados para a nuvem.
Finger vê uma tendência na concentração de atenção em grandes modelos. Na opinião dele, pesquisadores e empresas tendem a direcionar esforços para tecnologias que estão em destaque. Ele observou: 'A área de computação é mais guiada pela moda do que pela alta moda'.
Valle adota uma posição menos binária. Ele acredita que os grandes modelos ainda têm espaço para desenvolvimento, mas também vê potencial na área entre os modelos pequenos tradicionais e os gigantescos sistemas de aprendizado profundo. 'Eu acho que a tendência é mover-se nesse intervalo, criar um modelo que não seja nem muito grande nem muito pequeno. Assim, acho que há muito para pesquisar em modelos de tamanho médio'.