आदर्श नीति जो वास्तविकता से टकराकर टूट जाती है
अनुकरणात्मक शिक्षण (imitation learning) से प्रशिक्षित रोबोट प्रयोगशाला में प्रभावशाली परिणाम दिखा सकते हैं। उदाहरण के लिए, Action Chunking with Transformers (ACT) दृष्टिकोण — एक ऐसी विधि जो मनुष्य द्वारा प्रदर्शित जटिल प्रक्षेप पथों (trajectories) को दोहराने की अपनी क्षमता के कारण लोकप्रिय हुई है — आदर्श परिस्थितियों में कई कार्यों को सफलतापूर्वक पूरा करती है। लेकिन जैसे ही परिस्थितियाँ थोड़ी भी बदलती हैं, सब कुछ गड़बड़ाने लगता है। ग्रिपर कैलिब्रेशन में छोटी सी त्रुटि, कोई वस्तु कुछ मिलीमीटर गलत जगह पड़ी हो, या यहाँ तक कि सतह की बनावट में बदलाव — और जो नीति कुछ समय पहले तक अनुकरणीय थी, वह अनिश्चितता से काम करने लगती है।
वितरणात्मक बदलावों (distributional shifts) के प्रति यह संवेदनशीलता अनुकरणात्मक शिक्षण की एक जानी-मानी समस्या है। मॉडल विशिष्ट प्रक्षेप पथों और संदर्भों को याद रखता है, न कि अमूर्त कौशल को। वास्तविक दुनिया में, जहाँ हर पल सब कुछ बदलता है, यह रोबोट को अतिरिक्त ट्यूनिंग के बिना व्यावहारिक रूप से बेकार बना देता है।
इसे ठीक करने का पारंपरिक तरीका — नए प्रदर्शन (demonstrations) इकट्ठा करना जिनमें त्रुटियों को पहले ही ध्यान में रखा गया हो, उन्हें पुराने डेटा के साथ मिलाना और प्रशिक्षण फिर से चलाना। यह संगणनात्मक रूप से महंगा है और समय लेता है। और अगर बात वास्तविक समय के काम की हो — जैसे उत्पादन लाइन पर — तो यह विकल्प पूरी तरह अस्वीकार्य है: जब तक रोबोट दोबारा प्रशिक्षित होता है, डाउनटाइम पैसे खर्च कराता है।
ORPA: भारी पुनःप्रशिक्षण के बजाय हल्का मॉड्यूल
जापान के शोधकर्ताओं के एक समूह — Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai और Yukiyasu Domae — ने ORPA (Online Residual Policy Adaptation) फ्रेमवर्क प्रस्तुत किया है। विचार अत्यंत सुंदर है: मुख्य नेटवर्क को दोबारा प्रशिक्षित करने के बजाय, उसमें एक हल्का बाहरी मॉड्यूल जोड़ने का प्रस्ताव है जो केवल क्रियाओं में सुधार करने में लगा रहता है।
अवशिष्ट अनुकूलन (Residual Adaptation) कैसे काम करता है
किसी भी समय, ORPA मॉड्यूल को ऑपरेटर से एक संकेत मिलता है — यह "थोड़ा घुमाओ", "खिसकाओ" जैसा आदेश या सुधार का अधिक जटिल वेक्टर हो सकता है। इस संकेत के आधार पर, मॉड्यूल अवशिष्ट परिवर्तन की भविष्यवाणी करता है जिसे रोबोट के नियंत्रण में लागू करने की आवश्यकता होती है। महत्वपूर्ण बात यह है कि भविष्यवाणी सीधे जोड़ों (joints) के स्थान में होती है — यानी मैनिपुलेटर के प्रत्येक जोड़ के घूर्णन कोणों के स्तर पर। यह बहुत सटीक, स्थानीय सुधार करने की अनुमति देता है, बिना व्यवहार की वैश्विक रणनीति को प्रभावित किए।
आधार नीति (base policy) स्थिर रहती है: उसके वज़न नहीं बदलते। इसका मतलब है कि प्रशिक्षण के दौरान उसने जो संचित ज्ञान और कौशल अर्जित किए हैं, वे नष्ट नहीं होते। और अवशिष्ट सुधार मॉड्यूल — यह तैयार समाधान के ऊपर एक बारीक ट्यूनिंग है। सादृश्य से समझें: यदि आप ऑटोपायलट वाली कार चला रहे हैं, तो आप उसके दिमाग को रीफ्लैश नहीं करते, बल्कि बस थोड़ा स्टीयरिंग घुमाते हैं।
इस आर्किटेक्चर के कारण, ORPA रनटाइम में काम कर सकता है। प्रशिक्षण चक्र के समाप्त होने की प्रतीक्षा करने या प्रशिक्षण कोड तक पहुँच रखने की भी आवश्यकता नहीं है — मॉड्यूल को चालू सिस्टम से जोड़ना पर्याप्त है, और यह व्यवहार को अनुकूलित करना शुरू कर देगा।
वास्तविक समय के लिए लाभ
इस दृष्टिकोण का एक मुख्य गुण इसकी संगणनात्मक हल्कापन है। चूँकि मॉड्यूल छोटा है, इसे समर्पित संसाधनों की आवश्यकता नहीं होती और यह लगभग तुरंत काम कर सकता है। यह ORPA को उन कार्यों में उपयोग करने का मार्ग खोलता है जहाँ मिलीसेकंड में प्रतिक्रिया महत्वपूर्ण है, जैसे मानव और रोबोट के बीच सहयोगात्मक कार्य में।
इसे कैसे परखा गया: ALOHA पर प्रयोग
यह सुनिश्चित करने के लिए कि ORPA वास्तव में काम करता है, लेखकों ने ALOHA प्लेटफ़ॉर्म पर प्रयोगों की एक श्रृंखला आयोजित की। यह प्लेटफ़ॉर्म इस बात के लिए जाना जाता है कि यह दो मैनिपुलेटर वाले रोबोटों को मानव प्रदर्शनों से सीखने और सटीक संचालन करने की अनुमति देता है — असेंबली से लेकर छोटी वस्तुओं के साथ काम करने तक।
प्रयोगों में तीन दृष्टिकोणों की तुलना की गई: आधार नियंत्रण नीति, व्युत्क्रम गतिकी (inverse kinematics) पर आधारित नियम-आधारित सुधारों वाली नीति, और ORPA जोड़ने वाली नीति। दो प्रमुख मापदंडों को मापा गया: कार्य सफलतापूर्वक पूरा करने का अनुपात और छोटे व्यवधानों के बाद उबरने की क्षमता — उदाहरण के लिए, जब गति के दौरान वस्तु को अचानक हटा दिया जाए।
परिणाम उत्साहजनक रहे
ORPA ने दोनों मापदंडों में सुधार दिखाया। अवशिष्ट अनुकूलन मॉड्यूल वाला रोबोट आधार नीतियों की तुलना में सटीक संचालन अधिक सफलतापूर्वक करता था, और साथ ही बाहरी हस्तक्षेप के बाद सही प्रक्षेप पथ पर तेजी से लौटता था। व्युत्क्रम गतिकी के नियम-आधारित तरीके भी ORPA से मुकाबला नहीं कर सके — संभवतः इसलिए क्योंकि वे पूर्व-निर्धारित नियमों पर निर्भर करते हैं जो वर्तमान स्थिति की सभी बारीकियों को ध्यान में नहीं रखते।
इस बात पर ज़ोर देना महत्वपूर्ण है: सभी सुधार मूल नीति के मापदंडों को बदले बिना प्राप्त किए गए। इसका मतलब है कि प्रस्तावित तकनीक को पहले से काम कर रही रोबोटिक प्रणालियों पर "पैच" के रूप में लागू किया जा सकता है, बिना उनके संचालन को बाधित किए। मॉड्यूल को जोड़ना, उसे विशिष्ट कार्य के अनुसार समायोजित करना — और बढ़ी हुई सटीकता के साथ काम जारी रखना पर्याप्त है।
व्यवहार में इसका क्या लाभ है
ORPA जैसे फ्रेमवर्क के आगमन से वह परिदृश्य वास्तविकता बन जाता है जिसमें ऑपरेटर पुनःप्रशिक्षण के लंबे अंतराल के बिना रोबोट के व्यवहार को "मौके पर" सुधार सकता है। उद्यमों के लिए इसका मतलब है कम डाउनटाइम और अधिक लचीला उत्पादन: यदि तकनीकी लाइन बदल गई है, तो पूरी चीज़ को कई दिनों के लिए रोकने के बजाय रोबोट को थोड़ा समायोजित करना पर्याप्त है। शोध प्रयोगशालाओं के लिए तीव्र प्रोटोटाइपिंग के नए अवसर खुलते हैं, और ऑपरेटरों के लिए — बारीक ट्यूनिंग का एक सुविधाजनक उपकरण।
बेशक, औद्योगिक कार्यान्वयन से पहले अभी भी कई प्रश्नों को हल करना बाकी है: ऑपरेटर को फीडबैक संकेत सबसे अच्छे तरीके से कैसे प्रेषित किए जाएँ, कौन से आदेश सहज रूप से समझने योग्य हैं, और ORPA को मौजूदा नियंत्रण प्रणालियों के साथ कैसे एकीकृत किया जाए। लेकिन यह विचार स्वयं — रोबोटों को शून्य से प्रशिक्षित करने के बजाय बाहरी सुधार के माध्यम से उनके कौशल को बिंदुवार निखारना — अत्यंत आशाजनक लगता है और, परिणामों को देखते हुए, प्रयोगों में पहले ही अपनी सार्थकता सिद्ध कर चुका है।
