भौतिक आर्टिफिशियल इंटेलिजेंस के लिए डेटा में विशेषज्ञता रखने वाली कंपनी नोइटोम रोबोटिक्स ने हगिंग फेस प्लेटफॉर्म पर HiPHI-Hand डेटासेट प्रस्तुत किया। यह डेटासेट हाथ की गतिविधियों की रिकॉर्डिंग है, जिसका कंपनी का दावा है कि इसका उपयोग NVIDIA के EgoHand मॉडल को प्रशिक्षित करने के लिए किया गया था।
इस रिलीज़ की घोषणा रोबोटिक्स सम्मेलन CoRL 2026 में की गई थी, जो टेक्सास के ऑस्टिन में आयोजित हुआ था, जबकि हगिंग फेस पर वास्तविक रिलीज 9 नवंबर को हुई थी।
नोइटोम ने स्पष्ट किया कि प्रस्तुत डेटा वही रिकॉर्डिंग है जो NVIDIA को सौंपी गई थी। इसमें SOL हेडसेट का उपयोग करके शूट किया गया 11 घंटे का सिंक्रनाइज़्ड फर्स्ट-पर्सन वीडियो शामिल है, जिसमें हेडसेट के जड़त्वीय सेंसर के संबंध में कैमरे की एक्सट्रिंसिक जानकारी और ऑप्टिकल मोशन कैप्चर से प्राप्त कलाई के जोड़ों के त्रि-आयामी निर्देशांक शामिल हैं। सब-मिलीमीटर सटीकता सुनिश्चित करने के लिए, यहां तक कि जब हाथ कैमरे से छिपे होते हैं, तब भी उंगलियों पर माइक्रोमार्कर लगाए गए थे।
हगिंग फेस पर पेज में पांच उप-सेट शामिल हैं, जो कुल मिलाकर 1360x1360 पिक्सल रिज़ॉल्यूशन पर 30 फ्रेम प्रति सेकंड की गति से शूट किए गए 794 स्टीरियोवीडियो क्लिप बनाते हैं। इन डेटा के साथ दो कंकाल योजनाओं में एनोटेशन शामिल हैं: प्रत्येक हाथ के लिए 21 MediaPipe जोड़ और 25 Vicon जोड़, और फ़ाइलों का कुल आकार 69.5 जीबी है।
NVIDIA Isaac Capture पर आधारित EgoHand मॉडल एक ही फर्स्ट-पर्सन वीडियो से हाथ की त्रि-आयामी मुद्रा और आकार को पुनर्स्थापित करने में सक्षम है। NVIDIA ने इस मॉडल को OpenMDW लाइसेंस के तहत वितरित किया है, जो इसके मुफ्त वाणिज्यिक उपयोग की अनुमति देता है। नोइटोम के अनुसार NVIDIA के आंकड़ों के अनुसार, मॉडल को सिंथेटिक डेटा, वास्तविक वीडियो रिकॉर्डिंग और मल्टी-कैमरा मोशन कैप्चर से प्राप्त 14 मिलियन छवियों पर प्रशिक्षित किया गया था, जिसने सार्वजनिक रूप से उपलब्ध ईगोसेंट्रिक बेंचमार्क पर अत्याधुनिक शून्य-शॉट सटीकता प्रदर्शित की और प्रति फ्रेम लगभग 9 मिलीसेकंड में काम किया।
NVIDIA ने नोइटोम की रिकॉर्डिंग को कई वास्तविक दुनिया के स्रोतों में से एक के रूप में अपनी SOMA-Hand प्रस्तुति में परिवर्तित किया, इसलिए HiPHI-Hand EgoHand के लिए पूर्ण प्रशिक्षण सेट नहीं है। यह ध्यान रखना महत्वपूर्ण है कि डेटासेट का लाइसेंसिंग मॉडल के लाइसेंसिंग से अलग है। HiPHI-Hand ModalityNet Open Research License v1.0 का उपयोग करता है, जो गैर-वाणिज्यिक अनुसंधान, शिक्षा और मूल्यांकन के लिए मुफ़्त है; वाणिज्यिक उपयोग के लिए नोइटोम से अलग लाइसेंस की आवश्यकता होती है, और उपयोगकर्ताओं को हगिंग फेस पेज के माध्यम से एक्सेस का अनुरोध करना होगा। यह डेटासेट अगस्त में हगिंग फेस पर जारी किए गए नोइटोम के वस्तु और पूरे शरीर की बातचीत पर अन्य डेटासेट HiPHI के बाद आता है।
CoRL सम्मेलन में नोइटोम के बूथ पर, आगंतुक SOL हेडसेट पहन सकते थे और देख सकते थे कि उनके हाथों को EgoHand का उपयोग करके वास्तविक समय में 3डी में कैसे पुनर्स्थापित किया जाता है। कंपनी ने EgoHand को अपने ईगो-विजन के लिए एक मालिकाना डेटा पाइपलाइन में भी एकीकृत किया, जहां इसका उपयोग हाथ के एनोटेशन चरण में किया जाता है।
लेख में उल्लिखित सटीकता और गति NVIDIA द्वारा प्रदान किए गए नोइटोम के आंकड़े हैं, और कोई स्वतंत्र बेंचमार्क मौजूद नहीं है जो इन मेट्रिक्स में HiPHI-Hand के योगदान को अलग कर सके।