लगभग हर महीने नए कृत्रिम बुद्धिमत्ता मॉडल सामने आते हैं जो खुद को सबसे उन्नत बताते हैं। उन उपयोगकर्ताओं के लिए जो केवल प्रौद्योगिकी के विकास पर नज़र रखना चाहते हैं या जिन्हें पत्र लिखने, कोड ठीक करने या टेक्स्ट प्रॉम्प्ट के आधार पर चित्र बनाने के लिए टूल की आवश्यकता है, सूचना का शोर अत्यधिक हो जाता है।
यह टेकसेंट्रल का एआई बैरोमीटर का पहला संस्करण है - एक नियमित रिपोर्ट जो वास्तविक डेटा पर आधारित है और यह दर्शाती है कि कौन से मॉडल और प्लेटफॉर्म उन कार्यों में अग्रणी हैं जिनका उपयोगकर्ता व्यावहारिक रूप से उपयोग करते हैं। यह रिपोर्ट विक्रेताओं के विपणन दावों पर निर्भर नहीं करती है, बल्कि विशेष रूप से प्रासंगिक उपयोग के मामलों का परीक्षण करने के लिए चुने गए सार्वजनिक, स्वतंत्र रूप से आयोजित बेंचमार्क और लीडरबोर्ड पर आधारित होती है।
मूल्यांकन जुलाई 2026 के पहले सप्ताह में किए गए थे, और नए उत्पादों की रिलीज की गति को देखते हुए, पढ़ने के समय कुछ परिणाम बदल सकते हैं। इसीलिए यह बैरोमीटर मौजूद है।
रिपोर्ट में दो प्रकार के प्रमाण प्राप्त होते हैं। पहला - एरिना प्रारूप में परीक्षण: एरिना (जिसे पहले एलएमएरिना, कैलिफ़ोर्निया विश्वविद्यालय, बर्कले की अनुसंधान इकाई के रूप में जाना जाता था) और आर्टिफिशियल एनालिसिस जैसे प्लेटफॉर्म उपयोगकर्ताओं को एक ही प्रॉम्प्ट के लिए दो गुमनाम परिणाम दिखाते हैं और उनसे सर्वश्रेष्ठ चुनने के लिए कहते हैं। लाखों गुमनाम वोटों को शतरंज की तरह एलो सिस्टम के अनुसार रेटिंग में बदल दिया जाता है।
दूसरी विधि - टास्क बेंचमार्किंग है, जिसमें मॉडलों का मूल्यांकन जटिल, यथार्थवादी समस्याओं के निश्चित सेट के मुकाबले किया जाता है, जैसे वास्तविक सॉफ़्टवेयर त्रुटियों को ठीक करना, विशेषज्ञ स्तर के वैज्ञानिक प्रश्नों का उत्तर देना, या ऐसे दस्तावेज़ और स्प्रेडशीट बनाना जिनके लिए पेशेवर भुगतान प्राप्त करते हैं। दोनों दृष्टिकोणों में अपनी कमियाँ हैं: एरिना में वोट इस बात को पुरस्कृत करते हैं जो लोगों को पसंद है, जरूरी नहीं कि वह सही हो। टास्क बेंचमार्क तब से समझौता किए जा सकते हैं जब परीक्षण प्रश्न मॉडल के प्रशिक्षण डेटा में हों, इसलिए बैरोमीटर प्रदूषण प्रतिरोधी परीक्षणों को प्राथमिकता देता है। जब अग्रणी मॉडल एक दूसरे से कुछ अंकों के भीतर होते हैं, तो निष्पक्ष निष्कर्ष एक सांख्यिकीय टाई होता है, और ऐसी स्थितियों में इसका उल्लेख किया जाता है।
सबसे व्यापक माप एरिना के टेक्स्ट रैंकिंग में प्रस्तुत किया गया है, जिसने जुलाई के पहले सप्ताह में 369 मॉडलों के बीच 7.15 मिलियन गुमनाम वोट एकत्र किए। एंथ्रोपिक का नवीनतम मॉडल क्लॉड फेबल 5 एलो स्कोर 1509 के साथ रैंकिंग का नेतृत्व करता है, और यह आश्चर्यजनक है कि शीर्ष पांच स्थान एंथ्रोपिक के मॉडलों द्वारा कब्जा कर लिए गए हैं।
बाकी मॉडलों में सर्वश्रेष्ठ गूगल का जेमिनी 3.1 प्रो प्रीव्यू है जिसका स्कोर 1486 है, और ओपनएआई जीपीटी-5.5 बहुत करीब 1481 के साथ आता है। हालांकि, यह ध्यान रखना महत्वपूर्ण है कि शीर्ष-10 लगभग 30 एलो अंकों के भीतर है, इसलिए दैनिक उपयोग के लिए उनमें से कोई भी उपयुक्त होगा। यहां कीमत गुणवत्ता से अधिक महत्वपूर्ण है: एरिना द्वारा प्रकाशित एपीआई दरों के अनुसार, जेमिनी 3.1 प्रो की लागत प्रति मिलियन इनपुट/आउटपुट टोकन $2 (लगभग 33/195 रुपये) है, जबकि क्लॉड फेबल 5 की कीमत $10/50 (लगभग 163/814 रुपये) है, जो जेमिनी को मूल्य/गुणवत्ता के मामले में स्पष्ट विकल्प बनाता है। यह तुलना उन व्यवसायों पर लागू होती है जो मॉडल एपीआई का उपयोग करते हैं; अंतिम उपभोक्ताओं के लिए, ओपनएआई, गूगल और एंथ्रोपिक की प्रमुख सदस्यताएँ बुनियादी टोकन लागत की परवाह किए बिना एक दूसरे से कुछ डॉलर के भीतर हैं।
वास्तविक काम करने वाले एआई के लिए - कार्यालय जीवन में दस्तावेज़, प्रस्तुतियों, तालिकाओं और विश्लेषणात्मक रिपोर्ट बनाने के लिए - सबसे प्रासंगिक सार्वजनिक परीक्षण जीडीपीवल है। यह 220 कार्यों का एक सेट है जिसे ओपनएआई ने 44 व्यवसायों के उद्योग विशेषज्ञों के साथ मिलकर बनाया है। आर्टिफिशियल एनालिसिस एजेंट मोड में मॉडलों को इसके माध्यम से लॉन्च करता है, उन्हें वेब और कमांड लाइन तक पहुंच प्रदान करता है, और गुमनाम पेयरवाइज तुलना के माध्यम से परिणामों को रैंक करता है। एंथ्रोपिक का क्लॉड ओपस 4.8 एलो स्कोर 1890 के साथ आत्मविश्वास से नेतृत्व करता है, जो जीपीटी-5.5 को 121 अंकों के अंतर से पीछे छोड़ता है जिसका स्कोर 1769 है - यह एक उल्लेखनीय परिणाम है, यह देखते हुए कि बेंचमार्क ओपनएआई द्वारा बनाया गया था।
कोडिंग बैरोमीटर संकेतक एसडब्ल्यूई-बेंच प्रो है, जो स्केल एआई से एक स्वतंत्र सार्वजनिक रैंकिंग के रूप में कार्य करता है। यह मॉडलों से सक्रिय रूप से समर्थित सॉफ़्टवेयर रिपॉजिटरी से वास्तविक समस्याओं को हल करने की मांग करता है और इसे पुराने टेस्ट एसडब्ल्यूई-बेंच वेरिफाइड की ज्ञात समस्या, प्रशिक्षण डेटा संदूषण का मुकाबला करने के लिए विशेष रूप से डिज़ाइन किया गया है। स्वतंत्र रैंकिंग में, ओपनएआई का जीपीटी-5.4 59.1% के स्कोर के साथ नेतृत्व करता है, जो मेटा के हाल ही में जोड़े गए म्यूज स्पार्क के 55% के स्तर पर सांख्यिकीय टाई में है, और एंथ्रोपिक का क्लॉड ओपस 4.6 तीसरे स्थान पर 51.9% के साथ है। एंथ्रोपिक के इस दावे पर ध्यान देना महत्वपूर्ण है कि उनके नए मॉडल क्लॉड फेबल 5 ने समान कार्य सेट पर 80.3% दिखाया, हालांकि यह आंकड़ा कंपनी के अपने टूलकिट का उपयोग करके प्राप्त किया गया था और अभी तक स्वतंत्र रैंकिंग में शामिल नहीं किया गया है। जब तक ऐसा नहीं होता, पुष्टि किया गया लीडर ओपनएआई का है।
लेखन की गुणवत्ता का मूल्यांकन पारंपरिक रूप से कठिन रहा है, और सबसे गंभीर सार्वजनिक दृष्टिकोण स्वतंत्र बेंचमार्क ईक्यू-बेंच क्रिएटिव राइटिंग (संस्करण 3) है। यह 32 विभिन्न प्रॉम्प्ट पर एलो शैली के पेयरवाइज जूरी के साथ श्रेणी मूल्यांकन को जोड़ता है। क्लॉड फेबल 5 एलो स्कोर 2192 के साथ नेतृत्व करता है, जो क्लॉड ओपस 4.7 (2179) से थोड़ा आगे है, और जीपीटी-5.5 तीसरे स्थान पर 2019 के साथ है। यहां एक महत्वपूर्ण टिप्पणी है: न्यायाधीश स्वयं एआई मॉडल है, इसलिए परिणाम निर्देशित हैं, न कि अंतिम, हालांकि बेंचमार्क मूल परिणाम भी प्रकाशित करता है, जिससे संदेहवादी पाठक गद्य का मूल्यांकन स्वयं कर सकते हैं।
अनुसंधान दो दक्षताओं में विभाजित है। गहन तर्क के लिए, मानवता की अंतिम परीक्षा मानक परीक्षण है, जिसमें 2,500 प्रश्न हैं जिन्हें विषय वस्तु विशेषज्ञों द्वारा एकत्र किया गया है क्योंकि उन्नत मॉडल उन पर उत्तर नहीं दे पाए थे। स्केल एआई द्वारा प्रबंधित आधिकारिक रैंकिंग में, गूगल का जेमिनी 3.1 प्रो प्रीव्यू 46.4% के स्कोर के साथ नेतृत्व करता है, जो ओपनएआई के जीपीटी-5.4 प्रो के 44.3% के स्तर पर सांख्यिकीय टाई में है - इसका मतलब है कि यहां तक कि सर्वश्रेष्ठ मॉडल भी आधे से अधिक परीक्षा पास नहीं कर पाते हैं। (एंथ्रोपिक क्लॉड फेबल 5 के लिए 53.3% का उच्च स्कोर बताता है, लेकिन यह मूल्यांकन विक्रेता द्वारा प्रदान किया गया है और आधिकारिक रैंकिंग में शामिल नहीं किया गया है)।
वेब पर वास्तविक समय अनुसंधान के लिए, ब्राउज़कंप एक संदर्भ बिंदु है - ओपनएआई का एक परीक्षण जिसमें 1,266 प्रश्न हैं जो एजेंट की नेटवर्क में दुर्गम जानकारी खोजने की क्षमता का परीक्षण करते हैं। वस्तुनिष्ठता पर नोट: इस रिपोर्ट में अन्य सभी परीक्षणों के विपरीत, ब्राउज़कंप की स्वतंत्र रूप से आयोजित सार्वजनिक रैंकिंग नहीं है - प्रयोगशालाएं अपने स्वयं के मूल्यांकन रिपोर्ट करती हैं। इन स्व-रिपोर्टेड डेटा के अनुसार, ओपनएआई का जीपीटी-5.5 प्रो 90.1% के साथ नेतृत्व करता है। इस प्रकार, गहराई के लिए - गूगल, और इंटरनेट पर जानकारी खोजने के लिए - चैटजीपीटी, उसके अपने डेटा के अनुसार।
छवि जनरेशन मॉडल लगभग पूरी तरह से मानव प्राथमिकताओं पर रैंक किए जाते हैं, और सबसे सक्रिय सार्वजनिक रैंकिंग आर्टिफिशियल एनालिसिस का इमेज एरिना है। ओपनएआई का जीपीटी इमेज 2 (हाई) 13,000 से अधिक तुलनाओं के परिणामों के आधार पर एलो स्कोर 1339 के साथ नेतृत्व करता है, जो दूसरे स्थान पर रिवे 2.0 (1281) से 58 अंकों से आगे है, और माइक्रोसॉफ्ट का एमएआई-इमेज-2.5 तीसरे स्थान पर 1271 के साथ है।
वीडियो वह श्रेणी है जहां आम धारणा सबसे तेजी से पुरानी हो जाती है। आर्टिफिशियल एनालिसिस (ऑडियो के साथ) के टेक्स्ट-टू-वीडियो एरिना में, बाइटडांस का ड्रीमिना सीडेंस 2.0 एलो स्कोर 1224 के साथ नेतृत्व करता है, जिसके बाद अलीबाबा का वान 2.7 (1160) और हैप्पीहॉर्स 1.1 (1154) हैं। सबसे मजबूत पश्चिमी प्रतिभागी, गूगल का वीओ 3.1, केवल दसवें स्थान पर 1095 के साथ है। शांत (बिना ध्वनि) रैंकिंग में, अलीबाबा का हैप्पीहॉर्स 1.0 एलो स्कोर 1290 के साथ नेतृत्व करता है। शीर्ष चार स्थान चीनी डेवलपर्स द्वारा कब्जा कर लेते हैं, और लागत अधिक बनी हुई है: 1080p रिज़ॉल्यूशन में एक मिनट फुटेज का उत्पादन मॉडल निर्माताओं के अपने एपीआई पर लगभग $9 से $24 (लगभग 145 से 390 रुपये) पड़ता है।
संगीत बेंचमार्किंग सबसे नई और सबसे कम व्यापक श्रेणी है, इसलिए इन परिणामों को अनुमान के रूप में देखा जाना चाहिए। आर्टिफिशियल एनालिसिस के म्यूजिक एरिना में, जो अपने ग्राफिक और वीडियो एरिना के समान गुमनाम मतदान पद्धति का उपयोग करता है, सूनो v5.5 दोनों रैंकिंग में नेतृत्व करता है - इंस्ट्रुमेंटल (एलो 1194) और वोकल (1168) - दोनों मामलों में मुरेका वी8 से आगे निकल जाता है, जबकि सूनो वी5 का पुराना संस्करण प्रत्येक तालिका में तीसरे स्थान पर है।
