لماذا لا تكفي الإجابة المعقولة
لا تثبت النتيجة المعقولة أن وكيل الذكاء الاصطناعي اتبع الإجراء. وللتحقق من ذلك، يجب فحص الأدلة على التنفيذ، لا الإجابة وحدها.
في عمل ContractEval، يُتعامل مع الامتثال الإجرائي بوصفه موضوعًا مستقلًا للتحقق. وفي مجموعة بيانات مضبوطة، أغفل محكّمو LLM كثيرًا من الإخفاقات الهيكلية المُدخلة عمدًا. وحدث ذلك سواء عند تقييم الإجابة وحدها أو عند أخذ مسار التنفيذ في الحسبان.
- تُظهر الإجابة ما أبلغ به النظام.
- يحتوي مسار التنفيذ على أدلة بشأن الإجراءات.
- تقارن عملية التحقق الإجرائي هذه الأدلة بالمتطلبات.
المعيار: لا تعتبر مدى إقناع الإجابة دليلًا على الامتثال للإجراء.
كيف يعمل التحقق الإجرائي
يمثّل ContractEval التعليمات على هيئة مجموعة من الالتزامات السارية على طلب محدد. ثم يطابق النظام الالتزامات مع الأدلة الواردة في الإجابة أو مسار التنفيذ.
يتضمن التحقق ثلاثة عناصر:
- الطلب يحدد الالتزامات السارية.
- الإجابة أو مسار التنفيذ يشكلان مصدرًا للأدلة.
- المطابقة تكشف الامتثال والمخالفات.
المعيار العملي: ينبغي أن يربط التحقق المتطلب بدليل محدد في الإجابة أو مسار التنفيذ.
ما المخالفات التي يمكن التمييز بينها
يميّز ContractEval أنواعًا منفصلة من الإخفاقات الإجرائية. ويبيّن هذا التقسيم موضع التباين بين المتطلبات والتنفيذ.
- إغفال — غياب إجراء أو متطلب إلزامي.
- فرع غير صحيح — سلك التنفيذ فرعًا غير مناسب من الإجراء.
- خطأ في الترتيب — لم تُرتب الإجراءات بالتسلسل المطلوب.
- إجراء زائد — يتضمن التنفيذ إجراءً خارج ما هو منصوص عليه.
- انتهاك ثابت — لم يُستوفَ شرط يجب أن يظل قائمًا.
- عدم الامتثال لمتطلبات المخرجات — لا تستوفي النتيجة متطلبات التنسيق أو المحتوى المحددة.
المعيار: ينبغي أن يحدد التصنيف نوع الإخفاق، بدلًا من اختزال جميع المخالفات في تقييم عام للإجابة.
ما الذي أظهرته الدراسة
قارن مؤلفو عمل ContractEval بين أساليب التحقق باستخدام مجموعة بيانات مضبوطة من العقود الإجرائية. وأتاحت الرسوم البيانية المرجعية للتنفيذ المتوقع والمرصود اكتشاف جميع الإخفاقات الهيكلية المُدخلة عمدًا وتحديد مواضعها.
| أسلوب التحقق | النتيجة |
|---|---|
| يقيّم محكّمو LLM الإجابة أو يأخذون مسار التنفيذ في الحسبان | أغفلوا كثيرًا من الإخفاقات المُدخلة |
| مطابقة الرسم البياني المرجعي مع الرسم البياني المرصود | اكتشفت جميع هذه الإخفاقات وحددت مواضعها |
| استخراج البيانات باستخدام LLM | احتفظ بجزء كبير من الإشارة، لكن النتيجة اعتمدت على المعايرة |
أُرسل عمل Praphul Singh وShanu Kumar وAkshat Agarwal وGanesh Kumar إلى arXiv في 8 سبتمبر 2026: ContractEval.
الخلاصة: تتعلق النتائج بمجموعة بيانات مضبوطة؛ ولا يمكن تعميمها على جميع السيناريوهات.
أين تقع حدود التحقق
لا يضمن ContractEval أن النظام اتبع الإجراء. بل يجعل العمل الامتثال قابلًا للتدقيق، بدلًا من اعتباره صفة ضمنية في جودة الإجابة النهائية.
عند اختيار أسلوب التحقق، هناك شرطان مهمان:
- هل يوجد تمثيل مرجعي للتنفيذ المتوقع؟
- هل يمكن مطابقته مع الأدلة الموجودة في مسار التنفيذ الفعلي أو الإجابة؟
إذا استُخدم استخراج البيانات باستخدام LLM، فينبغي مراعاة مدى حساسية النتيجة للمعايرة. فالإجابة النهائية بحد ذاتها لا تغني عن التحقق من الأدلة الإجرائية.
المعيار العملي: لا تعتبر الامتثال متحققًا منه إلا عندما تُطابق المتطلبات مع التنفيذ المرصود.
