A Tongyan Lingzhi, uma subsidiária da plataforma industrial do Instituto de Inteligência Artificial Geral de Pequim (BIGAI), apresentou sua abordagem ao conceito de IA pessoal. Essa abordagem envolve a criação de modelos que aprendem continuamente com base nos dados de um indivíduo, projeto ou empresa específico, em vez de depender apenas de consultas e busca de informações.
A maioria dos sistemas de IA corporativos existentes hoje se adapta aos usuários externos. Eles usam consultas para estabelecer regras, extraem documentos através de busca, armazenam o estado na memória e empacotam etapas reutilizáveis. No entanto, os pesos do modelo raramente são alterados após a interação.
A Tongyan Lingzhi afirma que hábitos estáveis, como padrões de engenharia de uma equipe ou disciplina de gestão de riscos de um grupo de investimento, podem ser integrados diretamente nos parâmetros do modelo. A arquitetura da empresa prevê a manutenção de um modelo base geral para processar conhecimentos e raciocínios comuns, ao qual são adicionados adaptadores Personal LoRA leves para cada usuário, projeto ou organização individual. A empresa observa que essas capacidades individuais devem ser mantidas mesmo em caso de substituição do modelo base.
Para manter o treinamento desses adaptadores, a equipe desenvolve um mecanismo de autoaperfeiçoamento recursivo, ou RSI. Rastreamentos de tarefas, correções humanas e resultados obtidos tornam-se dados potenciais para treinamento. Um avaliador especial, configurado de acordo com os padrões de cada usuário ou empresa, seleciona os sinais que devem ser estudados antes de aplicar uma atualização incremental LoRA. O modelo atualizado é então executado nas mesmas tarefas da versão anterior, e apenas as melhorias são lançadas no ambiente de trabalho, enquanto as regressões são revertidas.
O diretor técnico Chu Bingbin enfatizou que uma variação desviada é apenas um sinal, e apenas padrões recorrentes devem se tornar dados de treinamento. Além disso, a empresa está trabalhando na criação de infraestrutura para tornar milhares desses adaptadores acessíveis. O sistema TIP executa treinamento e inferência paralelamente nos mesmos GPUs, e o Paged LoRA gerencia a memória do adaptador em páginas. Em uma fase de teste usando Qwen2.5-72B-Instruct em oito GPUs Nvidia H800 e um orçamento de memória de adaptador de 5,79 GB, o Paged LoRA demonstrou menor latência e melhor comportamento na 'cauda' em comparação com o layout plano, quando as consultas LoRA variavam de 1% a 30% do tráfego, embora o desempenho tenha diminuído ao atingir 50%.
A Tongyan Lingzhi reconhece que o trabalho ainda está em estágio inicial. Embora o caminho técnico do RSI e a arquitetura do produto estejam definidos, e os módulos estejam em fase de design, o ciclo de treinamento totalmente automatizado ainda está em desenvolvimento. Problemas abertos incluem esquecimento catastrófico, contaminação por feedback e deriva do modelo.
