لماذا لا تكفي استراتيجية واحدة: محافظ سياسات تكيفية لعمليات ماركوف القوية
تفترض عمليات ماركوف الكلاسيكية لاتخاذ القرار (MDP) أن ديناميكيات البيئة معروفة بدقة. في الممارسة العملية، هذا ليس صحيحًا أبدًا تقريبًا: يمكننا فقط تحديد مجموعة من السيناريوهات المعقولة. تتعامل عمليات ماركوف القوية (robust MDP) مع هذا الأمر بشكل جذري — فهي تبحث عن سياسة واحدة تعمل بشكل جيد بما يكفي في أسوأ التحولات الممكنة. لكن لهذا النهج ثمنًا خفيًا: فهو مضبوط على أسوأ الحالات، وبالتالي غالبًا ما يكون مفرطًا في التحفظ.
يتجلى هذا بشكل خاص في المواقف التي تقل فيها حالة عدم اليقين بمرور الوقت. تتكشف البيئة أمام الوكيل، ويصبح جزء من ديناميكياتها قابلاً للملاحظة والتحديد الجزئي. السياسة المثلى المحسوبة قبل التكشف لا تستخدم هذه المعلومات الجديدة. في جوهر الأمر، نواصل اللعب وفق أسوأ الحالات حتى عندما نعرف بالفعل أنها لم تتحقق. باحثون من جامعة تفينتي وأنتويرب — Kasper Engelen و Sebastian Junges و Guillermo A. Pérez و Marnix Suilen — في عملهم «محافظ سياسات تكيفية لعمليات ماركوف القوية» (arXiv:2608.17929, cs.AI/cs.LO) يقترحون نهجًا أكثر مرونة.
محافظ تكيفية: مجموعة سياسات بدلاً من سياسة واحدة
بدلاً من سياسة قوية واحدة، ينظر المؤلفون إلى محفظة سياسات — مجموعة محدودة من السياسات العشوائية عديمة الذاكرة، يتم توليفها مسبقًا دون اتصال بالإنترنت. بالإضافة إلى ذلك، يُستخدم مُحدِّد خفيف عبر الإنترنت يختار أثناء التشغيل السياسة الأكثر ملاءمة من المحفظة. هذا يشبه نموذج المجموعة في التعلم الآلي، لكن مع صياغة نظرية واضحة.
المقياس الرئيسي لجودة هذه المحفظة يصبح الندم القوي (robust regret). لكل بيئة محددة من مجموعة السيناريوهات المعقولة، يقيس مدى تخلف السياسة التي يختارها المُحدِّد عبر الإنترنت عن تلك السياسة المثالية التي كنا سنبنيها لو عرفنا هذه البيئة مسبقًا. بعبارة أخرى، تُعتبر المحفظة جيدة إذا كان أفضل عضو فيها قريبًا بما يكفي من الأمثل لأي بيئة. هذا المنظور ينقل التركيز من ضمانات أسوأ الحالات إلى تكلفة التكيف.
طُوّرت أفكار مماثلة سابقًا بواسطة Ghavamzadeh et al. (2016)، لكن مع التركيز على الأساليب التقريبية والاسترخاءات لتحسين السياسات بأمان. العمل الجديد يقدم تقدمًا كبيرًا في الأسس النظرية لهذا المجال.
تعقيد التحقق والتوليف
المحفظة ليست مجرد استدلال هندسي. يقدم المؤلفون تحليلًا نظريًا دقيقًا لتعقيد المشكلات التي تنشأ عند التعامل مع المحافظ.
المشكلة الأولى هي التحقق من محفظة معينة: هل يمكن ضمان أنه لجميع البيئات المعقولة توجد سياسة بندم مقبول؟ اتضح أن هذه المشكلة ∀R-كاملة حتى للمحافظ الحتمية في عمليات ماركوف القوية غير الدورية (s,a)-مستطيلة. هذا يعني أن التحقق من جودة حتى مجموعة صغيرة من السياسات — مهمة حسابية ثقيلة، مماثلة في تعقيدها لحل أنظمة المتباينات الحقيقية.
أكثر صرامة هي مشكلة توليف محفظة بحجم محدود (unary-bounded). بالنسبة لمتعددات الوجوه العقلانية العامة، تكون ∃∀R-كاملة — حتى مع معامل خصم ثابت وديناميكيات غير دورية. هذا التعقيد يشير إلى عدم وجود خوارزميات اندماجية بسيطة هنا: المشكلة تجمع بين البحث المتقطع والتعقيد الجبري. ومن الجدير بالذكر أنه حتى حالة سياسة واحدة غير بديهية و«مكلفة» على كلا المحورين.
كيف نقرب هذا من الممارسة؟
النتائج المتعلقة بالتعقيد قد تكون مثبطة، لكن المؤلفين لا يتوقفون عند الاستنتاجات السلبية. يقترحون بناءً محددًا دون اتصال بالإنترنت لمحفظة تسمح بـالتخصص أثناء التشغيل (runtime specialization). الفكرة هي تحضير مجموعة من السياسات مسبقًا، ثم أثناء التفاعل مع البيئة، ضبط الاختيار بسرعة وفقًا للملاحظة الحالية. هذا النهج يسمح بالجمع بين ضمانات صارمة ومرونة عملية.
الخلاصة بسيطة: في المهام التي تنكشف فيها حالة عدم اليقين جزئيًا بمرور الوقت، تكون الاستراتيجية الثابتة الواحدة أضعف بالتأكيد من مجموعة تكيفية. محفظة السياسات تدفع ثمنًا أعلى من حيث التعقيد الحسابي، لكنها في المقابل تمنح الحق في الخطأ والقدرة على التبديل مع تدفق البيانات. هذه خطوة مهمة على الطريق من الأساليب التحفظية البحتة إلى أنظمة ذكية لاتخاذ القرار في ظل عدم اليقين.
