الثقة الوجودية: كيف تكتشف في الوقت المناسب أن وكيل الذكاء الاصطناعي ينحرف عن المهمة الأصلية

30 أغسطس 20267 الآراء

يقترح المؤلفون مراقبًا عبر الإنترنت يُدعى RGE، يحلّل الثقة في الوكيل إلى مكونات «الدور» و«الهدف» و«الأدلة» ويتتبعها على امتداد المسار الطويل. يتيح هذا النهج رصد الانحراف المتراكم حتى عندما تبدو كل خطوة على حدة مقبولة، وفي اختبارات OSWorld وFinanceBench وEICU-AC يكون أكثر دقة من الأساليب الاستدلالية الحالية ونماذج الحكم والدروع الواقية.

الثقة الوجودية: كيف تكتشف في الوقت المناسب أن وكيل الذكاء الاصطناعي ينحرف عن المهمة الأصلية

الوكلاء الذكيون الحديثون قادرون على تنفيذ تسلسلات طويلة من الإجراءات: استدعاء الدوال، معالجة استجابات الخدمات، واتخاذ قرارات وسيطة. يصعب على المراقب متابعة كل خطوة، لذلك تُستخدم عادةً أنظمة مراقبة تلقائية للتحكم في السلامة. ولكن ماذا لو بدت الخطوات الفردية مثالية، بينما ينحرف السلسلة بأكملها تدريجيًا عما طلبه المستخدم؟

لماذا لا تكفي الفحوصات المحلية

يمكن للوكيل طويل الأمد أن يستدعي في كل خطوة أداة صحيحة بحجج معقولة، ومع ذلك ينحرف بشكل غير مكتشف: فبدلاً من المهمة الأصلية، يبدأ في حل مهمة أوسع أو مجاورة، و«يستحضر» أدلة لم يقدمها المستخدم. يُطلق على هذا التراكم للانحرافات اسم انجراف المسار. أنظمة الفحص الحالية، كقاعدة عامة، إما تنظر إلى التطابق المحلي للإجراءات الفردية، أو تصدر حكمًا عامًا على المسار بأكمله، أو تقيّم المخاطر الإجمالية. المشكلة أنها لا تحلل البادئات الوسيطة تحديدًا — أي كيف تتطور العلاقة بين المسار والمهمة أثناء تنفيذها.

يصف عمل حديث على arXiv (2608.17718) نهجًا يحاول سد هذه الفجوة. يقترح المؤلفون مفهوم «الثقة الأنطولوجية»: وهي خاصية ليس للمسار بأكمله، بل لكل بادئة من بادئات المسار، وهي خاصية محددة بالنسبة للمهمة الأصلية.

ثلاثة مكونات للثقة

لاكتشاف الانحراف في الوقت المناسب، يجب تفكيك الثقة إلى مكوناتها. هذا ما يفعله مراقب RGE — واسمه مشتق من Role, Goal, Evidence (الدور، الهدف، الأدلة). رسميًا، تُقيَّم الثقة في بادئة المسار عبر ثلاثة محاور:

  • الدور — هل يبقى الوكيل ضمن صلاحياته التي منحها المستخدم، أم أنه «يُعين» نفسه تدريجيًا في دور أوسع؟
  • الهدف — إلى أي مدى يتوافق الاتجاه الحالي للحركة مع الهدف المصرح به، بدلاً من استبداله بهدف مشابه لكن مجاور؟
  • الأدلة — هل يعتمد الوكيل على بيانات موجودة فعليًا في الملاحظات، أم على افتراضات ضمنية ومعلومات غير مطلوبة؟

يتيح هذا التحكم الثلاثي التمييز، على سبيل المثال، بين وكيل توقف عن تنفيذ المهمة ووكيل يغير فقط الطريقة المسموح بها لتنفيذها.

كيف تعمل عملية الفحص

تفصيل مهم: RGE ليس «صندوقًا أسود» يقيّم المسار بنموذج واحد شامل. النماذج اللغوية تُستخدم هنا فقط للحصول على تمثيلات منظمة للمهمة والخطوات الفردية. تحديث حالة الثقة، والإسقاط على المكونات الثلاثة، وقرار التدخل — كلها أمور حتمية. بفضل هذا، نحصل على مسار ثقة قابل للتكرار: يمكن تحديد اللحظة والمكوّن المحدد الذي أثار الشك بدقة. هذا قرار هندسي مهم لأنه يقلل الاعتماد على أهواء النموذج الكبير ويبسّط التدقيق.

ما مدى فعالية هذا النهج

للتحقق من النهج، جمع المؤلفون مجموعة مسارات مبنية على ثلاث بيئات مختلفة: OSWorld وFinanceBench وEICU-AC. شملت المجموعة عمليات تنفيذ سليمة (طبيعية)، وأمثلة على الانجراف مع بادئات مقترنة، وما يسمى بالفشل «شبه المتسق» — عندما تبدو الإجراءات منطقية لكنها خاطئة في الواقع.

على هذه المادة، تفوق RGE على خطوط الأساس المعدّلة القائمة على القواعد، ونماذج الحكم، والدروع من حيث اكتشاف الانجراف في البادئات. مع نموذجي تقييم أكبر، يحقق أكثر من 93% من Drift F1 على كل معيار، مع الحفاظ على تغطية الحالات السليمة عند مستوى لا يقل عن 95.8%. بعبارة أخرى، نادرًا ما يفوت انجرافًا حقيقيًا وفي الوقت نفسه لا يُغرق العمل الطبيعي بالإنذارات الكاذبة.

ومع ذلك، وصف الباحثون بصراحة القيد أيضًا. يظل الفشل «شبه المتسق» حالة صعبة: اكتشافه يعتمد بشدة على ما إذا كانت نتيجة تنفيذ المهمة مرئية خارجيًا. إذا لم يكن هناك تأكيد صريح للنجاح أو الفشل في العالم الخارجي، فقد لا يتمكن المراقب دائمًا من التمييز بين الانحراف المقنّع بعناية وعدم اليقين العادي. هذا ليس قصورًا — بل هو حد بنيوي لأي نهج لا يملك وصولاً إلى الدلالات الكاملة للعالم.

الاستنتاجات

الدرس الرئيسي من هذا العمل هو أن المراقبة يجب ألا تقتصر على الخطوات الفردية فحسب، بل على شكل المسار ككل. يمكن أن يكون النهج العملي كالتالي: لكل بادئة، نسأل أنفسنا ما إذا كان دور الوكيل قد تغير، وما إذا كان الهدف قد استُبدل، وما إذا كانت هناك أدلة «غريبة». هذه الأسئلة الثلاثة هي أساس إشراف أكثر شفافية وقابلية للتحقق على الوكلاء طويلي الأمد. ومن المحتمل أن تصبح «الثقة الأنطولوجية» في المستقبل مقياسًا مألوفًا لوكلاء الذكاء الاصطناعي كما هي اليوم الدقة أو الكمون.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
الثقة الوجودية: كيف تكتشف في الوقت المناسب أن وكيل الذكاء الاصطناعي ينحرف عن المهمة الأصلية