एक रणनीति पर्याप्त क्यों नहीं है: अनुकूली नीति पोर्टफोलियो मजबूत MDP के लिए
शास्त्रीय मार्कोव निर्णय प्रक्रियाएँ (MDP) मानती हैं कि पर्यावरण की गतिशीलता सटीक रूप से ज्ञात है। व्यवहार में यह लगभग कभी सच नहीं होता: हम केवल प्रशंसनीय परिदृश्यों का एक समूह रेखांकित कर सकते हैं। मजबूत MDP (robust MDP) इस पर कट्टरपंथी दृष्टिकोण अपनाते हैं — वे एक ऐसी नीति खोजते हैं जो संभावित संक्रमणों में से सबसे खराब स्थिति में भी पर्याप्त रूप से अच्छा प्रदर्शन करे। लेकिन इस दृष्टिकोण की एक छिपी कीमत है: यह सबसे खराब स्थिति के लिए तैयार किया गया है और इसलिए अक्सर अत्यधिक रूढ़िवादी साबित होता है।
यह विशेष रूप से उन स्थितियों में ध्यान देने योग्य है जहाँ अनिश्चितता समय के साथ घटती है। पर्यावरण एजेंट के सामने प्रकट होता है, और इसकी कुछ गतिशीलता अवलोकन योग्य और आंशिक रूप से पहचान योग्य बन जाती है। प्रकटीकरण से पहले गणना की गई इष्टतम नीति इस नई जानकारी का उपयोग नहीं करती है। संक्षेप में, हम सबसे खराब स्थिति के लिए खेलना जारी रखते हैं, यहाँ तक कि जहाँ हम पहले से जानते हैं कि वह घटित नहीं हुई है। ट्वेंटे और एंटवर्प विश्वविद्यालयों के शोधकर्ता — Kasper Engelen, Sebastian Junges, Guillermo A. Pérez और Marnix Suilen — अपने काम «Adaptive Policy Portfolios for Robust Markov Decision Processes» (arXiv:2608.17929, cs.AI/cs.LO) में एक अधिक लचीला दृष्टिकोण प्रस्तावित करते हैं।
अनुकूली पोर्टफोलियो: एक के बजाय नीतियों का समूह
एक मजबूत नीति के बजाय, लेखक नीति पोर्टफोलियो पर विचार करते हैं — बिना स्मृति वाली यादृच्छिक नीतियों का एक सीमित समूह, जिन्हें पहले से, ऑफलाइन संश्लेषित किया जाता है। इनके अतिरिक्त, एक हल्का ऑनलाइन चयनकर्ता उपयोग किया जाता है, जो कार्य के दौरान पोर्टफोलियो से सबसे उपयुक्त नीति चुनता है। यह मशीन लर्निंग में मॉडल एन्सेम्बल की याद दिलाता है, लेकिन स्पष्ट सैद्धांतिक निरूपण के साथ।
ऐसे पोर्टफोलियो की गुणवत्ता का प्रमुख मीट्रिक मजबूत पश्चाताप (robust regret) बन जाता है। प्रशंसनीय वातावरणों के समूह में से प्रत्येक विशिष्ट वातावरण के लिए, यह मापता है कि ऑनलाइन चयनकर्ता द्वारा चुनी गई नीति उस आदर्श नीति से कितनी पीछे है जिसे हम बनाते यदि हमें उस वातावरण के बारे में पहले से पता होता। दूसरे शब्दों में, एक पोर्टफोलियो अच्छा माना जाता है यदि उसका सबसे अच्छा सदस्य किसी भी वातावरण के लिए इष्टतम के काफी करीब हो। यह दृष्टिकोण जोर को सबसे खराब स्थिति की गारंटी से हटाकर अनुकूलन की कीमत पर स्थानांतरित करता है।
इसी तरह के विचार पहले Ghavamzadeh et al. (2016) द्वारा विकसित किए गए थे, लेकिन नीतियों के सुरक्षित सुधार के लिए अनुमानित विधियों और शिथिलीकरण पर केंद्रित थे। नया कार्य इस क्षेत्र की सैद्धांतिक नींव को महत्वपूर्ण रूप से आगे बढ़ाता है।
प्रमाणन और संश्लेषण की जटिलता
पोर्टफोलियो केवल एक इंजीनियरिंग अनुमान नहीं है। लेखक उन समस्याओं का सावधानीपूर्वक सैद्धांतिक-जटिलता विश्लेषण देते हैं जो पोर्टफोलियो के साथ काम करते समय उत्पन्न होती हैं।
पहली समस्या — दिए गए पोर्टफोलियो का प्रमाणन है: क्या यह गारंटी दी जा सकती है कि सभी प्रशंसनीय वातावरणों के लिए स्वीकार्य पश्चाताप वाली एक नीति मौजूद होगी? यह पता चलता है कि यह समस्या पहले से ही चक्रीय (s,a)-आयताकार RMDP में नियतात्मक पोर्टफोलियो के लिए ∀R-पूर्ण है। इसका मतलब है कि नीतियों के एक छोटे समूह की गुणवत्ता की जाँच करना भी एक कम्प्यूटेशनल रूप से कठिन कार्य है, जो वास्तविक असमानताओं की प्रणालियों को हल करने की जटिलता के बराबर है।
इससे भी कठिन है सीमित आकार (unary-bounded) के पोर्टफोलियो के संश्लेषण की समस्या। सामान्य तर्कसंगत पॉलीटोप्स के लिए यह ∃∀R-पूर्ण साबित होती है — यहाँ तक कि निश्चित छूट गुणांक और चक्रीय गतिशीलता के साथ भी। ऐसी जटिलता इंगित करती है कि यहाँ कोई सरल संयोजन एल्गोरिदम मौजूद नहीं है: समस्या असतत खोज और बीजगणितीय जटिलता दोनों को जोड़ती है। उल्लेखनीय है कि एकल नीति का मामला भी गैर-तुच्छ है और दोनों अक्षों पर «महंगा» है।
इसे व्यवहार के करीब कैसे लाया जाए?
जटिलता के बारे में प्राप्त परिणाम डरा सकते हैं, लेकिन लेखक नकारात्मक निष्कर्षों पर नहीं रुकते। वे पोर्टफोलियो की एक ठोस ऑफलाइन रचना प्रस्तावित करते हैं जो रनटाइम विशेषज्ञता (runtime specialization) की अनुमति देती है। विचार यह है कि नीतियों का एक समूह पहले से तैयार किया जाए, और पर्यावरण के साथ बातचीत के दौरान वर्तमान अवलोकन के अनुसार चयन को तेज़ी से समायोजित किया जाए। यह दृष्टिकोण सख्त गारंटी को व्यावहारिक लचीलेपन के साथ जोड़ने की अनुमति देता है।
निष्कर्ष सरल है: उन कार्यों में जहाँ अनिश्चितता समय के साथ आंशिक रूप से प्रकट होती है, एक निश्चित रणनीति अनुकूली समूह की तुलना में निश्चित रूप से कमजोर होती है। नीति पोर्टफोलियो उच्च कम्प्यूटेशनल जटिलता की कीमत चुकाता है, लेकिन बदले में त्रुटि का अधिकार और डेटा आने पर स्विच करने की क्षमता देता है। यह विशुद्ध रूप से रूढ़िवादी तरीकों से अनिश्चितता के तहत बुद्धिमान निर्णय लेने वाली प्रणालियों की ओर एक महत्वपूर्ण कदम है।
