स्टार्टलक्स ने स्टार्टलक्स-डिसीजन v1.1 निर्णय लेने के ओपन मॉडल का एक परिवार जारी किया है। स्टार्टलक्स का 27B इंस्टेंट मॉडल अब Hugging Face प्लेटफॉर्म पर Decision Index 0.3.2 की रैंकिंग में पहले स्थान पर है। स्टार्टलक्स जेनोरा के इनक्यूबेशन में स्थित एक कंपनी है।
डिसीजन इंडेक्स एक समुदाय-समर्थित रैंकिंग है और यह टाइपसेफ से संबंधित नहीं है। 16 अक्टूबर तक, 27B इंस्टेंट मॉडल ने पूर्ण स्कोर 69.12 प्राप्त करके पहले स्थान पर कब्जा कर लिया। इसने सार्वजनिक बेंचमार्क पर 72.88, समान कौशल पर निजी परीक्षणों में 64.82, और नई श्रेणियों के निजी कार्यों में 61.41 के साथ तीनों रैंकिंग घटकों में भी नेतृत्व किया।
दूसरे स्थान पर vLLM-SR d3 मॉडल 66.26 अंक के साथ रहा, जबकि Jev 1.14 ने 61.53 का परिणाम दिखाया।
ये मॉडल एक संकीर्ण व्यावहारिक कार्य को पूरा करने के लिए डिज़ाइन किए गए हैं। स्थिति प्राप्त करने के बाद, जिसे पाठ, जेएसओएन या छवियों द्वारा दर्शाया जा सकता है, और प्रकारों के साथ प्रश्नों का एक सेट, मॉडल प्रत्येक विकल्प के लिए संभावना प्रदान करता है: सूची से चयन, 'हाँ' या 'नहीं' का निर्णय, या पैमाने पर स्तर। इंस्टेंट मॉडल अनुरोध पर द्विदिश ध्यान का उपयोग करते हुए एक सीधा पास करते हैं।
ऑटोथिंक मॉडल इसी तरह काम करते हैं जब वे उत्तर के बारे में निश्चित होते हैं, लेकिन यदि उच्चतम संभावना स्थापित सीमा से नीचे गिर जाती है, जो डिफ़ॉल्ट रूप से 0.6 है, तो वे तर्क का एक संक्षिप्त निशान उत्पन्न करते हैं, जिसके बाद वे उत्तर का पुन: विश्लेषण करते हैं।
इस श्रृंखला में आठ ओपन मॉडल शामिल हैं जिनमें 0.8B से 27B तक के पैरामीटर हैं, जो इंस्टेंट और ऑटोथिंक वेरिएंट में GGUF और MLX के क्वांटाइज्ड प्रारूपों में उपलब्ध हैं। वे vLLM और MLX पर चल सकते हैं। इन मॉडलों के वज़न CC BY-NC 4.0 लाइसेंस के तहत जारी किए गए हैं, जो वाणिज्यिक उपयोग पर प्रतिबंध लगाता है।
डिसीजन इंडेक्स 0.3 के सार्वजनिक उपसमुच्चय पर, स्टार्टलक्स मॉडल 27B ऑटोथिंक के लिए 0.9 की सीमा पर स्वयं प्राप्त परिणाम 73.37 की सूचना देता है। इसके अलावा, कंपनी ने डिसीजनपिवोट प्रस्तुत किया - सत्यापन योग्य समाधानों का अपना बेंचमार्क, जिसे कंट्रास्ट जोड़े के आधार पर बनाया गया है जो एक विवरण से भिन्न होते हैं जो उत्तर को बदल देते हैं, जिसमें नीतियां, रजिस्ट्री, ग्राफ़, अनुमतियाँ और टूल कॉल शामिल हैं। स्टार्टलक्स मॉडल 27B ऑटोथिंक के लिए जोड़े की सटीकता के स्तर को 86.9% बताता है। यह ध्यान रखना महत्वपूर्ण है कि ये दोनों आंकड़े कंपनी द्वारा प्रदान किए गए डेटा हैं, न कि स्वतंत्र परिणाम।
arXiv पर पेपर संख्या 2610.17309 पर प्रकाशित तकनीकी रिपोर्ट तीन-चरणीय प्रशिक्षण प्रक्रिया और RLCD-squared नामक एक सुदृढीकरण शिक्षण विधि का वर्णन करती है। यह विधि सही स्कोरिंग नियमों का उपयोग करके अधिक सटीक रूप से कैलिब्रेटेड निर्णय संभावनाओं के लिए पुरस्कृत करती है और अत्यधिक लंबे तर्क के लिए हल्के ढंग से दंडित करती है। लेखकों का दावा है कि इससे औसत तर्क की लंबाई लगभग 65% तक कम हो गई है, जबकि उच्च सटीकता बनाए रखी गई है।
परियोजना की वेबसाइट पर प्रदर्शन दिखाते हैं कि मॉडल शतरंज, सुपर मारियो ब्रोस., स्टारक्राफ्ट II और कंप्यूटर का उपयोग करके खरीदारी के कार्य में चरण-दर-चरण कॉल कैसे निष्पादित करते हैं, जिसमें प्रत्येक चरण में एक पाठ प्रॉम्प्ट दिया जाता है।
