A Stable AI, em colaboração com o grupo do professor Peng Cui da Universidade Tsinghua, lançou o LimiX-2, um modelo fundamental com 400 milhões de parâmetros projetado para trabalhar com dados estruturados e tabulares. Os pesos e o código para inferência estão disponíveis no Hugging Face em stable-ai/LimiX-2, e o relatório técnico foi publicado no arXiv sob o número 2609.17488.
Um dos modelos testados é capaz de realizar classificação, regressão e preenchimento de valores ausentes em uma única passagem para frente, sem exigir ajuste fino para uma tarefa específica.
Arquitetonicamente, o LimiX-2 utiliza Mecanismos de Rede Contextual (Contextual Mechanism Networks, CMNs), que foram pré-treinados usando Modelagem Mascarada Condicional Contextual. Em vez de se concentrar na função objetivo tradicional ajustada para dados tabulares e que prevê um objetivo específico com base no contexto, os CMNs são treinados para detectar a estrutura conjunta de dependências entre recursos e rótulos, o que se aproxima mais da identificação de como as variáveis geram dados conjuntamente, em vez de ajustar uma coluna de cada vez.
O pré-treinamento foi realizado em conjuntos de dados sintéticos obtidos de modelos causais estruturais, abrangendo diversos grafos, mecanismos e processos de observação. Em seguida, o modelo foi escalado de acordo com as leis de escalonamento LimiX publicadas anteriormente até a classe de 400M.
Em tabelas de classificação públicas, a equipe demonstrou Elo 1935 no TabArena, 1432 no BCCO e 1506 no TALENT. Esses resultados são declarados como os primeiros entre modelos fundamentais tabulares comparáveis e modelos básicos no estilo AutoGluon dentro dos protocolos publicados. Os resultados do TabArena também destacam fortes desempenhos nas divisões de regressão e classificação; o cartão do modelo também destaca a recuperação do esqueleto causal através da atenção aos recursos, que codifica relações causais diretas.
Os lançamentos anteriores do LimiX já cobriram centenas de cenários de dados estruturados corporativos; o LimiX-2 representa uma geração escalonada de CMN, destinada a levar este campo de modelos tabulares gerais adiante.
Para equipes que trabalham com dados, o valor prático reside na existência de um peso aberto unificado que pode classificar, regredir e imputar dados em tabelas heterogêneas sem a necessidade de reajuste para cada conjunto de dados. Isso é particularmente útil onde as tabelas corporativas não têm semelhança com corpora de texto públicos. No entanto, deve-se considerar que os benchmarks são apresentados como Elo, declarados pelos autores em configurações específicas; usuários finais em ambientes de produção precisarão realizar verificações em amostras de retenção e controlar vazamentos de dados antes de substituir pipelines especializados de AutoML.