यूनीडब्ल्यूएम: एक मॉडल, "प्लान + विज़न" के बंडल की जगह — रोबोट पहले से अनुमान लगाना और कार्य करना सीखते हैं

पहले सोचो, फिर देखो की समस्या: रोबोटों को एक ही मॉडल की आवश्यकता क्यों है

रोबोट को नियंत्रित करने का क्लासिक तरीका एक कन्वेयर बेल्ट जैसा दिखता है: पहले सिस्टम क्रियाओं का एक क्रम योजना बनाता है, फिर एक अलग विज़न मॉड्यूल उस योजना को वास्तविक रूप से कैमरे जो देखता है उससे मिलाने की कोशिश करता है। व्यवहार में, ऐसा संयोजन अक्सर विफल हो जाता है: भविष्यवाणियाँ वास्तविक छवि से मेल नहीं खातीं, त्रुटियाँ जमा होती जाती हैं, और लंबी दूरी पर रोबोट "सूत्र खो देता है" और अव्यवस्थित रूप से कार्य करने लगता है।

इंजीनियर लंबे समय से पूर्वानुमान और नियंत्रण को एक ही आर्किटेक्चर में जोड़ने का तरीका खोज रहे थे, ताकि मॉडल केवल आदेश जारी न करे, बल्कि समानांतर रूप से उनके परिणामों की "कल्पना" भी करे। ऐसा ही एक समाधान स्मृति के साथ एकीकृत विश्व मॉडल — UniWM बन गया। इसे अलग-अलग मॉड्यूलों के जोड़ के रूप में नहीं, बल्कि एक एकीकृत मल्टीमॉडल ऑटोरेग्रेसिव प्रणाली के रूप में बनाया गया है, जो क्रियाओं को दृश्य रूप से पूर्वानुमानित परिणामों से स्पष्ट रूप से जोड़ती है।

UniWM कैसे काम करता है: कल्पना नियंत्रण का हिस्सा बन जाती है

मुख्य विचार दृश्य पूर्वानुमान को एक सहायक कदम नहीं, बल्कि निर्णय लेने का एक अभिन्न अंग बनाना है। मॉडल इनपुट के रूप में एगोसेंट्रिक कैमरे से वर्तमान फ्रेम और क्रियाओं का इतिहास प्राप्त करता है, फिर ऑटोरेग्रेसिव रूप से न केवल अगला कदम, बल्कि उसके अनुरूप भविष्य की दृश्य छवि भी उत्पन्न करता है। परिणाम एक बंद लूप है: क्रिया योजना रोबोट के हिलना शुरू करने से पहले ही उसके "दिमाग में" जाँची जाती है।

इसके लिए धन्यवाद, पूर्वानुमान और वास्तविक नियंत्रण के बीच का अंतर समाप्त हो जाता है। जब मॉडल एक क्रिया चुनता है, तो वह पहले से जानता है कि उस क्रिया के बाद आँखों के सामने की तस्वीर कैसे बदलेगी। यह नेविगेशन में विशेष रूप से महत्वपूर्ण है, जहाँ हर आदेश बाद के अवलोकनों को प्रभावित करता है — उदाहरण के लिए, मुड़ते समय या बाधा से बचते समय।

UniWM विषम डेटा के साथ काम करने के लिए एक ही बैकबोन का उपयोग करता है: छवियाँ, पाठ, गति आदेश। यह प्रशिक्षण को सरल बनाता है और मॉडल को आर्किटेक्चर को फिर से बनाए बिना विभिन्न प्रकार के कार्यों के बीच ज्ञान स्थानांतरित करने की अनुमति देता है।

स्मृति: रोबोट क्यों नहीं भूलता कि वह कहाँ जा रहा था

लंबी अवधि के नेविगेशन की मुख्य समस्याओं में से एक संदर्भ को बनाए रखना है। यदि मॉडल केवल वर्तमान फ्रेम देखता है, तो वह युद्धाभ्यास की एक श्रृंखला के बाद आसानी से अभिविन्यास खो देता है। UniWM में, यह समस्या एक पदानुक्रमित स्मृति तंत्र द्वारा हल की जाती है। यह दो स्तरों को जोड़ती है:

• अल्पकालिक स्मृति — हाल के अवधारणात्मक संकेतों को बनाए रखती है, जैसे कि अंतिम फ्रेम और हाल की क्रियाएँ;
• दीर्घकालिक स्मृति — प्रक्षेपवक्र के समग्र संदर्भ को संरक्षित करती है, जो मॉडल को यह समझने में मदद करती है कि रोबोट प्रारंभिक बिंदु के सापेक्ष कहाँ है और कौन से खंड पहले ही पार किए जा चुके हैं।

ऐसी संरचना लंबे नियोजन क्षितिज पर सुसंगत तर्क बनाए रखने की अनुमति देती है। मॉडल केवल तात्कालिक छवि पर प्रतिक्रिया नहीं करता — यह पूरे पथ को ध्यान में रखता है, जो बड़े स्थानों और जटिल परिदृश्यों के लिए महत्वपूर्ण है।

आँकड़े और व्यावहारिक परीक्षण

डेवलपर्स ने चार नेविगेशन बेंचमार्क — Go Stanford, ReCon, SCAND और HuRoN, साथ ही 1X Humanoid Dataset पर मॉडल का परीक्षण किया, जिसमें ह्यूमनॉइड रोबोट का डेटा शामिल है। परिणाम मजबूत बेसलाइन की तुलना में महत्वपूर्ण प्रगति दर्शाते हैं।

• नेविगेशन सफलता 30% तक बढ़ गई — यानी रोबोट लक्ष्य तक काफी अधिक बार पहुँचने लगा।
• प्रक्षेपवक्र त्रुटियाँ काफी कम हो गईं: मॉडल नियोजित मार्ग का अधिक सटीकता से पालन करता है, कम विचलित होता है और अनावश्यक युद्धाभ्यास नहीं करता।
• Zero-shot सामान्यीकरण पहले से अज्ञात TartanDrive डेटासेट पर पुष्टि हुई — मॉडल बिना अतिरिक्त प्रशिक्षण के नए डेटा पर सीखे गए पैटर्न को लागू करने में सक्षम था।
• स्केलेबिलिटी ह्यूमनॉइड रोबोट के उच्च-आयामी नेविगेशन पर परीक्षण की गई, जहाँ जटिल किनेमेटिक्स के कारण क्रियाओं और दृश्य प्रतिक्रिया के विशेष रूप से सटीक समन्वय की आवश्यकता होती है।

ये परिणाम दिखाते हैं कि एक एकीकृत मॉडल बहु-चरणीय पाइपलाइनों को बदलने में सक्षम है, जिन्हें पहले जटिल रोबोटिक्स के लिए अनिवार्य माना जाता था। सुधार किसी विशिष्ट बेंचमार्क के अनुरूप ढलने के कारण नहीं, बल्कि पूर्वानुमान और नियंत्रण के व्यवस्थित समन्वय के कारण प्राप्त होते हैं।

रोबोटिक्स के लिए इसका क्या अर्थ है

अलग-अलग योजना और विज़न को छोड़ना केवल एक तकनीकी सरलीकरण नहीं है। यह एक प्रतिमान बदलाव है: विभिन्न मॉडलों के परिणामों को "चिपकाने" के बजाय, रोबोट को दुनिया का एक समग्र प्रतिनिधित्व मिलता है, जहाँ क्रिया और उसका दृश्य परिणाम अविभाज्य हैं। यह दृष्टिकोण सिस्टम को अधिक विश्वसनीय और व्यवहार को अधिक पूर्वानुमानित बनाता है।

यह कार्य ECCV 2026 के लिए स्वीकृत हुआ है और 12 आकृतियों के साथ 22 पृष्ठों का है — यह आर्किटेक्चर और प्रयोगों के विस्तृत विवरण के साथ एक पूर्ण शोध है। यह देखना बाकी है कि ऐसे समाधान स्वायत्त मशीनों और ड्रोनों के लिए मानक कब बनेंगे, जहाँ सटीकता में थोड़ा सा भी सुधार निर्णायक हो सकता है।