الحذر الذي يتغير مع الخبرة: طريقة RATTL للقرارات الآمنة في ظل عدم اليقين
عندما يعمل وكيل في العالم الحقيقي، فإنه يواجه دائمًا تقريبًا معلومات غير كاملة حول كيفية عمل البيئة. وتبرز هذه المشكلة بشكل خاص للأنظمة التي يجب أن تعمل في الوقت الفعلي: الروبوتات، أو المركبات ذاتية القيادة، أو الخدمات القائمة على النماذج اللغوية الكبيرة. من المستحيل توخي الحذر الشديد بحيث نأخذ في الاعتبار جميع السيناريوهات الممكنة، والسلوك المفرط في الجرأة قد يؤدي إلى وقوع حادث. هناك حاجة إلى توازن، وهذا بالضبط ما يحاول نهج جديد اقترحه الباحثان Deep Kumar Ganguly و Jan Kretinsky تحقيقه.
من أين جاءت المهمة
قدم المؤلفان ورقة بحثية بعنوان «Quantifying Risk Under Evolving Uncertainty: Belief-Dependent Robustness for Safe Sequential Decision Making» (arXiv:2608.17574). تم تقديم المقالة في أغسطس 2026 وتم قبولها في ورشة عمل RobustifAI التابعة لمؤتمر IJCAI-ECAI 2026. في مركز الاهتمام — RATTL، أو Risk-Adversarial Total-Reward Learning. وهي طريقة تسمح للوكيل باتخاذ القرارات من خلال تقييم المخاطر في ظل ظروف تكون فيها ديناميكيات البيئة معروفة جزئيًا فقط.
الفكرة الأساسية لـ RATTL هي أن درجة الحذر ليست ثابتة، بل تعتمد بشكل مباشر على مدى عدم يقين الوكيل الفعلي بشأن بيئته. إذا كانت الأدلة قليلة — نتصرف بحذر. إذا زادت الأدلة — يمكننا أن نسمح لأنفسنا بإجراءات أكثر جرأة. هذه القدرة على التكيف هي ما يميز الطريقة عن الأساليب الكلاسيكية حيث يتم تحديد مستوى المخاطرة مسبقًا ويظل دون تغيير.
كيف تعمل الطريقة: عدم اليقين كنصف قطر
في قلب RATTL يكمن الاستدلال البايزي الخلفي حول ديناميكيات البيئة غير المعروفة. ببساطة، يقوم الوكيل بتحديث تصوراته باستمرار حول كيفية عمل العالم — مع تراكم الملاحظات. لكن هذا لا يكفي للتخطيط: نحتاج أيضًا إلى فهم مدى احتمالية خطأ هذه التصورات.
يكمن حل المؤلفين في النظر إلى مجموعة النماذج البيئية المحتملة على أنها ما يسمى بمجموعة عدم اليقين Wasserstein. نصف قطر هذه المجموعة — وهو مقياس لمدى الانحراف الذي نسمح به عن التوقعات الحالية — يُحدد كدالة رتيبة للاستدلال الخلفي. في المراحل المبكرة، عندما تكون البيانات قليلة، يكون نصف القطر كبيرًا: يفترض الوكيل أن البيئة قد تتصرف تقريبًا بأي شكل من الأشكال. مع تراكم الأدلة، يتقلص نصف القطر، وتضيق دائرة «العوالم الممكنة».
تنتج هذه الآلية تأثيرًا مثيرًا للاهتمام يتمثل في الاستيفاء. في الحد الأقصى، عندما يكون نصف القطر في أقصى حجم له، يكون سلوك الوكيل مكافئًا للمتانة المضمونة لأسوأ الحالات — وهي استراتيجية آمنة في أكثر السيناريوهات سوءًا. عندما يقترب نصف القطر من الصفر، يتحول الوكيل إلى مُحسِّن محايد للمخاطر يقوم ببساطة بتعظيم إجمالي المكافأة المتوقعة. في النقاط الوسيطة، نحصل على طيف مستمر من السلوكيات — من المحافظ للغاية إلى شبه الواثق من نفسه.
يعتمد بناء هذا المعيار على الازدواجية الكامنة وراء Entropic Value-at-Risk. يسمح هذا الارتباط بترجمة اختيار مستوى المخاطرة إلى اختيار نصف قطر عدم اليقين، وهو أمر مريح حسابيًا وواضحًا من الناحية المفاهيمية: بدلاً من «معامل الحذر» المجرد، نعمل مع كمية هندسية يمكن تفسيرها على أنها انحراف مسموح به عن النموذج المعروف.
الضمانات والأمان: «ساندويتش الأمان»
لم يكتفِ المؤلفون بالاستدلالات التقريبية. لقد أظهروا أن مشكلة التخطيط في RATTL صحيحة في ظل شروط العبور (transiency) وضغط فضاء الحالات. هذا يعني أن الخوارزمية لا «تنهار» على المسارات اللانهائية وتعطي قيمًا ذات معنى لدالة المنفعة.
حصلت النتيجة النظرية المركزية على اسم Safety Sandwich — «ساندويتش الأمان». قيمة RATTL تقع دائمًا بين قيمتين متطرفتين. من الأسفل، يحدها القيمة المتينة غير المطلعة — أي التقدير الذي كان سيحصل عليه الوكيل لو لم يكن لديه أي بيانات على الإطلاق وكان مستعدًا لأسوأ الاحتمالات. من الأعلى — الحد الأمثل مع المعرفة الكاملة بالديناميكيات. مع تركّز الاستدلال الخلفي حول النموذج الحقيقي، تضيق الفجوة بين هذين الحدين، وتقترب قيمة RATTL من الحد الأمثل. بعبارة أخرى، تضمن الطريقة أن الحذر المفرط في البداية لا يؤدي إلى مكافأة منخفضة بشكل كارثي، وأن الثقة في النهاية لا تجعل الوكيل أعمى عن المخاطر المتبقية.
السلوك في الأمثلة: من التجريد إلى التطبيق
للتوضيح، ينظر المؤلفون في مثال أساسي حول خطر ثنائي — وهي حالة يوجد فيها حالتان للبيئة، إحداهما آمنة والأخرى قاتلة. في هذه الحالة، يختزل معيار RATTL المستحث إلى Conditional Value-at-Risk بمستوى يُحدد بواسطة إنتروبيا الاستدلال الخلفي. بعبارة أخرى، كلما كان توزيع معتقدات الوكيل أكثر «انتشارًا»، كلما اختار عتبة خسارة أكثر صرامة.
مثال عملي آخر يُظهر سلوكًا مثيرًا للاهتمام: يؤجل الوكيل الإجراء الفعال لفترة طويلة، منتظرًا حتى يتم الوصول إلى عتبة تحديد حادة. أي أنه مستعد لتحمل عدم الأمثلية — على سبيل المثال، التحرك ببطء أو اختيار استراتيجية ليست الأكثر ربحًا عن قصد — فقط لعدم المخاطرة بشكل أعمى. بمجرد أن تصبح الأدلة مقنعة بما فيه الكفاية، تحدث قفزة نوعية: يتحول الوكيل إلى إجراءات واثقة. هذا يذكرنا بسلوك الإنسان الذي يمشي ببطء وينظر حوله في مكان غير مألوف، ثم يسرع بعد أن يتعرف على الطريق.
هذا الوضع من التشغيل مهم بشكل خاص للأنظمة في الوقت الفعلي. يؤكد المؤلفون أن RATTL مصمم لسلامة الوكلاء الذين يعملون في ظل تدفق مستمر من البيانات، بما في ذلك الأنظمة القائمة على النماذج اللغوية الكبيرة. بالنسبة لهم، ينشأ عدم اليقين ليس فقط بسبب البيئة المادية، ولكن أيضًا بسبب عدم اليقين في سلوك المستخدمين أو جودة النص المعالج.
لماذا هذا مهم
المساهمة الرئيسية لـ RATTL هي في رفض الثنائية الصارمة «الحذر مقابل الكفاءة». بدلاً من ذلك، يقترح المؤلفون النظر إليهما كوجهين لعملية واحدة: كلما عرفنا أكثر، كلما استطعنا أن نكون أكثر جرأة، وفي الوقت نفسه نريد الحفاظ على علاقة واضحة بين درجة معرفتنا والمخاطرة المسموح بها. هذا النهج يجعل طرق اتخاذ القرار الآلي أكثر شفافية وقابلية للتنبؤ، وهو أمر مهم للتطبيق العملي.
يبقى السؤال مفتوحًا حول التعقيد الحسابي عند العمل مع فضاءات حالات كبيرة، لكن الأساس النظري قد وُضع بالفعل. ربما في المستقبل القريب سنرى تعديلات على RATTL لمجالات محددة — من التحكم في الطائرات بدون طيار إلى المساعدين القائمين على الذكاء الاصطناعي الذين يتعلمون من تجربتهم الخاصة دون تعريض أنفسهم أو الآخرين للخطر.
