न्यूरोसिम्बोलिक विश्व मॉडल: बिना अतिरिक्त प्रशिक्षण के कौशल हस्तांतरण की ओर कदम

अव्यक्त स्थान में योजना बनाने से लेकर कौशल स्थानांतरण तक

आधुनिक सुदृढीकरण सीखना अब केवल क्रियाओं को आज़माने तक सीमित नहीं रह गया है। model-based RL दृष्टिकोण में, एजेंट पहले दुनिया का एक आंतरिक मॉडल बनाता है — यह कि पर्यावरण उसकी क्रियाओं पर कैसे प्रतिक्रिया करता है — और फिर इस मॉडल का उपयोग योजना बनाने के लिए करता है। न्यूरल वर्ल्ड मॉडल इसे अव्यक्त स्थान में करने की अनुमति देते हैं: वे अवलोकनों को वेक्टरों में संपीड़ित करते हैं और पर्यावरण की संरचना के बारे में स्पष्ट धारणाओं के बिना अगली अवस्थाओं और पुरस्कारों की भविष्यवाणी करते हैं। यह शक्तिशाली है, लेकिन इस दृष्टिकोण की एक स्पष्ट सीमा है: मॉडल आमतौर पर किसी विशिष्ट कार्य से अत्यधिक जुड़ा हो जाता है।

नए प्रीप्रिंट arXiv:2608.17959 के लेखक — Isidoro Tamassia, Lennert De Smet और Giuseppe Marra — ने वर्ल्ड मॉडल की संरचना पर ही पुनर्विचार करने का प्रस्ताव रखा है। उनका विचार अव्यक्त अवस्था से उन प्रतीकात्मक घटकों को अलग करना है जिन पर पुरस्कार निर्भर करता है, और केवल उन्हीं की भविष्यवाणी करना है। ऐसा न्यूरोसिम्बोलिक मॉडल पर्यावरण के साथ बातचीत के एक भी अतिरिक्त कदम के बिना — यानी zero-shot मोड में — कौशल को नए कार्यों में स्थानांतरित करने की अनुमति देता है। कार्य का v2 संस्करण 24 अगस्त 2026 को प्रस्तुत किया गया था।

सामान्य वर्ल्ड मॉडल कार्य से क्यों "चिपक जाते हैं"

शास्त्रीय न्यूरल वर्ल्ड मॉडल किसी विशिष्ट पर्यावरण और विशिष्ट पुरस्कार फ़ंक्शन के डेटा पर प्रशिक्षित होता है। प्रशिक्षण के दौरान, अव्यक्त प्रतिनिधित्व इस तरह बनते हैं कि वे उस पुरस्कार के लिए सुविधाजनक हों, लेकिन उनका व्याख्यात्मक होना या अन्य लक्ष्यों पर स्थानांतरित होना आवश्यक नहीं है। इसलिए, कार्य बदलने पर — उदाहरण के लिए, लक्ष्य अवस्था या पुरस्कार नियमों में बदलाव — एजेंट को प्रभावी रूप से फिर से सीखना पड़ता है: आंतरिक विशेषताएँ आवश्यक संरचना नहीं रखतीं।

एक एजेंट की कल्पना करें जो एक भूलभुलैया में लक्ष्य तक मार्ग की उत्कृष्ट योजना बनाता है, लेकिन अलग पुरस्कार चिह्नों वाली भूलभुलैया में स्थानांतरित होने पर भटक जाता है। उसकी अव्यक्त अवस्थाएँ पिछले पुरस्कार के लिए "तैयार" होती हैं, न कि पर्यावरण के वस्तुनिष्ठ गुणों के लिए। यही मुख्य समस्या है जिसे लेखक हल करने का प्रयास कर रहे हैं।

न्यूरोसिम्बोलिक सूत्रीकरण क्या बदलता है

पूरे अव्यक्त स्थान से पुरस्कार की भविष्यवाणी करने के बजाय, लेखक उसमें एक संरचित प्रतीकात्मक भाग को अलग करने का प्रस्ताव करते हैं। पुरस्कार की भविष्यवाणी केवल ऐसे प्रतीकात्मक घटकों के एक छोटे उपसमुच्चय पर निर्भर करती है — उदाहरण के लिए, एजेंट की स्थिति, चाबी की उपस्थिति, या खुला दरवाज़ा। अवलोकनों का पुनर्निर्माण एक अलग कार्य बना रहता है और पूरे अव्यक्त स्थान का उपयोग कर सकता है।

दो लक्ष्यों का यह विभाजन — चित्र को पुनर्स्थापित करना और प्रतीकों के माध्यम से पुरस्कार की भविष्यवाणी करना — स्थानांतरण के दौरान मॉडल के व्यवहार को मौलिक रूप से बदल देता है। यदि नया पुरस्कार फ़ंक्शन उसी प्रतीकात्मक अवस्था स्थान पर परिभाषित है, तो एजेंट को पर्यावरण को फिर से खोजने की आवश्यकता नहीं है। वह पहले से ही आवश्यक प्रतीकात्मक जानकारी निकालना जानता है और अब केवल यह पुनर्गणना करता है कि नया पुरस्कार वह जो देखता है उससे कैसे संबंधित है।

लाभ और खुले प्रश्न

शोध का मुख्य परिणाम प्रायोगिक पुष्टि है कि न्यूरोसिम्बोलिक वर्ल्ड मॉडल नए पुरस्कार फ़ंक्शनों पर शुद्ध न्यूरल दृष्टिकोणों की तुलना में बेहतर सामान्यीकरण देते हैं। यह इस तर्क के पक्ष में एक महत्वपूर्ण सबूत है कि प्रतीकात्मक परत जोड़ना वास्तव में स्थानांतरण में मदद करता है, न कि केवल आर्किटेक्चर को जटिल बनाता है।

लेकिन ऐसी आर्किटेक्चर अपनी चुनौतियाँ भी खड़ी करती है।

• यह तय करना होगा कि अवस्था के किन घटकों को प्रतीकात्मक माना जाए और किन्हें पुनर्निर्माण के लिए "कच्चा" छोड़ा जाए।
• प्रतीकात्मक स्थान पर्याप्त अभिव्यंजक होना चाहिए ताकि उसमें विविध कार्यों को परिभाषित किया जा सके — अन्यथा स्थानांतरण लक्ष्यों के एक संकीर्ण वर्ग तक सीमित रहेगा।
• पुरस्कार भविष्यवाणी और पुनर्निर्माण का अलग-अलग प्रशिक्षण अधिक कठिन है: मॉडल को वह दृश्य जानकारी नहीं खोनी चाहिए जो केवल अवलोकनों को पुनर्स्थापित करने के लिए आवश्यक है।

यह क्यों आवश्यक है

बिना अतिरिक्त प्रशिक्षण के कौशल स्थानांतरण सुदृढीकरण सीखने के प्रमुख लक्ष्यों में से एक है। वर्तमान में, प्रत्येक नया परिदृश्य अक्सर डेटा संग्रह और पर्यावरण के साथ बातचीत का एक नया चरण होता है। न्यूरोसिम्बोलिक वर्ल्ड मॉडल ऐसे संक्रमण को काफी सस्ता बना सकते हैं: यह पर्याप्त है कि नया कार्य एजेंट को पहले से ज्ञात प्रतीकात्मक अवस्थाओं के संदर्भ में वर्णित हो। मूल रूप से, यह इस दिशा में एक कदम है कि एजेंट न केवल "दुनिया कैसी दिखती है" बल्कि "इस दुनिया में लक्ष्य प्राप्त करने के लिए क्या महत्वपूर्ण है" भी समझे।

यह कार्य कृत्रिम बुद्धिमत्ता और मशीन लर्निंग (cs.AI, cs.LG) के क्षेत्रों से संबंधित है और अभी एक शोध परिणाम की प्रकृति रखता है। लेकिन दिशा आशाजनक दिखती है: व्याख्यात्मक प्रतीकात्मक परत सामान्यीकरण और मॉडल के निर्णयों पर विश्वास दोनों में मदद करती है।