हांगकांग इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी की एक टीम ने HarnessSQL विकसित किया है - जो टेक्स्ट को SQL में बदलने के लिए एक एजेंट है, जिसे ओपन-सोर्स एजेंट फ्रेमवर्क DeepSeek Harness के आधार पर प्रशिक्षित किया गया है। शोधकर्ताओं ने बताया कि यह एजेंट छोटे मॉडलों को एंटरप्राइज-लेवल डेटाबेस बेंचमार्क पर बहुत बड़े मॉडलों से बेहतर प्रदर्शन करने की अनुमति देता है। यह कार्य अक्टूबर में arXiv पर प्रकाशित हुआ था, और 2 नवंबर को Xinzhiyuan द्वारा इसे HKUST और Microsoft के शोधकर्ताओं के सहयोग के रूप में उजागर किया गया था।
DSH-SQL नामक मुख्य घटक DeepSeek Harness को एक पूर्ण डेटाबेस एजेंट में अनुकूलित करता है, जिसमें चार उपकरण होते हैं: तालिकाओं को देखना, स्कीमा पढ़ना, क्वेरी निष्पादित करना और अंतिम उत्तर प्रदान करना। टीम ने Spider 2.0-Lite और Spider 2.0-DBT से 79 अलग-थलग डेटाबेस तैयार किए, DuckDB प्रोजेक्ट्स को SQLite में परिवर्तित किया, और उन्हें 60 सेकंड की समय सीमा के साथ केवल-पढ़ने की मोड में चलाया।
प्रशिक्षण प्रक्रिया एजेंट के पूर्ण पथों पर नियंत्रित फाइन-ट्यूनिंग से शुरू हुई, जिसका औसत 11,800 टोकन, 16 चरण और 14 क्वेरी निष्पादन था, जिसमें उपकरणों के अवलोकन को हानि गणना से बाहर रखा गया था। इसके बाद DAPO का उपयोग करके सुदृढीकरण शिक्षण हुआ।
Spider 2.0-SQLite बेंचमार्क पर, Qwen3-8B पर आधारित 8B मॉडल ने प्रदर्शन में 15.5% से 45.2% तक वृद्धि दिखाई, जबकि 14B संस्करण ने 54.8% हासिल किया। 32B के बेस मॉडल, जिनमें OmniSQL-32B, Arctic-Text2SQL-32B और Qwen2.5-Coder-32B शामिल हैं, ने 14.8% से 16.3% की सीमा में परिणाम दिखाए। LiveSQLBench पर, 8B और 14B मॉडल क्रमशः 24.8% और 28.5% प्राप्त करने में सफल रहे, जो 32B के बेस मॉडलों के 7.0% – 8.9% से आगे निकल गए।
विभिन्न कारकों के प्रभाव के विश्लेषण से पता चला कि प्रदर्शन में वृद्धि कहाँ से आती है। सुदृढीकरण शिक्षण के अनुप्रयोग ने सीधे केवल 20.0% दिया, जबकि केवल नियंत्रित ट्यूनिंग चरण ने 8B के लिए 30.4% और 14B के लिए 37.8% सुनिश्चित किया। हार्नेस का उपयोग किए बिना एकत्र किए गए पथों पर फाइन-ट्यूनिंग से केवल 9.6% लाभ हुआ। संदर्भ की लंबाई ने भी महत्वपूर्ण भूमिका निभाई: 8B मॉडल ने 8K विंडो पर 27.4% और 32K विंडो पर 45.2% दिखाया। सुदृढीकरण शिक्षण एल्गोरिदम में, GRPO ने 40.7%, GSPO ने 43.7%, और DAPO ने 45.2% हासिल किया।
लेखक का दावा है कि बहु-चरणीय तर्क को वास्तविक डेटाबेस पर लागू करने की कुंजी केवल मॉडल के पैमाने में नहीं, बल्कि अच्छी तरह से डिज़ाइन किए गए एजेंटिक हार्नेस में निहित है। परियोजना का कोड GitHub पर उपलब्ध है। यह विकास DeepSeek Harness के ओपन-सोर्स रिलीज के बाद बनाए गए शोध और उपकरणों के बढ़ते सेट को पूरक करता है।



