Uma equipe da Universidade de Ciência e Tecnologia de Hong Kong desenvolveu o HarnessSQL, um agente para conversão de texto em SQL, treinado com base no framework de agente de código aberto DeepSeek Harness. Os pesquisadores relataram que este agente permite que modelos menores superem modelos muito maiores em testes em benchmarks de bancos de dados corporativos.
O componente principal, denominado DSH-SQL, adapta o DeepSeek Harness em um agente de banco de dados completo, equipado com quatro ferramentas: visualização de tabelas, leitura de esquemas, execução de consultas e fornecimento de resposta final. A equipe preparou 79 bancos de dados isolados do Spider 2.0-Lite e Spider 2.0-DBT, convertendo os projetos DuckDB para SQLite, e os executou em modo somente leitura com um limite de tempo de 60 segundos.
O processo de treinamento começou com um ajuste fino controlado nas trajetórias completas do agente, com média de 11.800 tokens, 16 passos e 14 execuções de consulta, excluindo as observações das ferramentas do cálculo da perda. Em seguida, seguiu-se o aprendizado por reforço usando DAPO.
No benchmark Spider 2.0-SQLite, o modelo de 8B baseado em Qwen3-8B demonstrou um aumento de desempenho de 15,5% para 45,2%, enquanto a versão de 14B atingiu 54,8%. Modelos base de 32B, incluindo OmniSQL-32B, Arctic-Text2SQL-32B e Qwen2.5-Coder-32B, apresentaram resultados na faixa de 14,8% a 16,3%. No LiveSQLBench, os modelos de 8B e 14B alcançaram 24,8% e 28,5% respectivamente, superando os modelos base de 32B, que mostraram 7,0% – 8,9%.
A análise do impacto de vários fatores mostrou de onde vieram os ganhos de desempenho. A aplicação do aprendizado por reforço resultou diretamente em apenas 20,0%, enquanto apenas a fase de ajuste fino controlado proporcionou 30,4% para o 8B e 37,8% para o 14B. O ajuste fino em trajetórias coletadas sem usar o harness trouxe apenas 9,6%. O comprimento do contexto também desempenhou um papel importante: o modelo 8B mostrou 27,4% com uma janela de 8K e 45,2% com uma janela de 32K. Entre os algoritmos de aprendizado por reforço, GRPO alcançou 40,7%, GSPO — 43,7%, e DAPO — 45,2%.
Os autores afirmam que é o harness de agente bem projetado, e não apenas a escala do modelo, que é a chave para implementar o raciocínio de múltiplos passos sobre bancos de dados reais. O código do projeto está disponível no GitHub. Este desenvolvimento complementa o crescente conjunto de pesquisas e ferramentas criadas com base no DeepSeek Harness após seu lançamento com código aberto.



