نطاق التقييم وحدوده
يعالج نظام دعم لمنصة كبرى لسوق الإسكان ملايين المحادثات شهريًا. وهو يعمل بـ11 لغة، ويبلغ مؤشر P90 المحدد 10 ثوانٍ. تصف هذه المؤشرات حجم النظام، لكنها لا توضح أثر قرار معماري بعينه.
| المعيار | القيمة |
|---|---|
| الحجم | ملايين المحادثات شهريًا |
| اللغات | 11 |
| P90 | 10 ثوانٍ |
تغيّرت أيضًا prompts وalignment وserving أثناء عملية الترحيل. لذلك ينسب المؤلفون إلى البنية المعمارية الآثار المقاسة فقط على محادثات أُعيد تشغيلها بالطريقة نفسها.
معيار التقييم: مقارنة البنى المعمارية على مدخلات محادثات متطابقة، بدلًا من إسناد جميع التغييرات بعد الترحيل إليها.
كيف يُفصل البحث عن الإجراءات والتوليد
يستبدل Dynamic Response (DR) المستجيب المختلط Qwen3-235B-A22B بمنسّق ReAct محدود ذي أدوات محددة الأنواع ومولّد أصغر. وينشئ المولّد الإجابة بالاستناد إلى عقد سياقي تحقّق منه نظام backend.
| جزء النظام | الدور |
|---|---|
| البحث | اختيار كيان محدد النوع، بما في ذلك اختيار الحجز |
| الإجراءات | معرّفات إجراءات محددة النوع والتحقق من الملكية |
| التوليد | الإجابة استنادًا إلى عقد سياقي تحقّق منه نظام backend |
| التنسيق | منسّق ReAct محدود يعمل فوق أدوات محددة النوع |
يفصل هذا التقسيم اختيار الكيان والإجراءات عن صياغة الإجابة. معيار الاختيار: تكون هذه البنية مناسبة عندما يحتاج النظام إلى عمليات قابلة للتحقق، لا إلى مولّد إجابات موحّد فحسب.
ما الذي تغيّر في اختيار الكيانات والإجراءات
حوّل اختيار الكيانات المحدد النوع مُحدِّد الحجوزات نحو إعطاء الأولوية للدقة. فارتفعت الدقة، بينما انخفض الاستدعاء. وأزال التحقق من الملكية باستخدام معرّفات محددة النوع الأخطاء المرصودة في الإجراءات المنظّمة.
| المقياس | قبل | بعد |
|---|---|---|
| دقة اختيار الحجز | 8,3% | 89,1% |
| استدعاء اختيار الحجز | 75,2% | 67,3% |
| الهلوسات المرصودة في الإجراءات المنظّمة | 2,14% | 0,0% |
تُظهر النتائج المفاضلة بين الدقة والاستدعاء في الاختيار. معيار الاختيار: يناسب هذا النهج الحالات التي يكون فيها تجنّب الاختيار الخاطئ أهم من الحفاظ على مستوى الاستدعاء السابق.
كيفية تقييم التصعيد والخدمة الذاتية
أظهرت تجربة A/B منخفضة المستوى انخفاض التصعيد عند إعادة التشغيل. في المقابل، ظل حجم التحويل إلى الموظفين في بيئة الإنتاج مستقرًا تقريبًا.
| المقياس | قبل | بعد |
|---|---|---|
| الإجابات ذات التصعيد الحازم | 5,60% | 3,08% |
| الإجابات ذات التصعيد اللطيف | 9,56% | 2,49% |
| الحل الذاتي | — | اتجاه نحو التحسن: +5,1 نقطة مئوية؛ فاصل الثقة 95%: من −2 إلى +12 |
لم يصاحب انخفاض التصعيد انخفاض مماثل في حجم التحويل إلى الموظفين. ويصف المؤلفون الحل الذاتي بأنه نتيجة تشير إلى اتجاه، لا زيادة مؤكدة بوضوح.
معيار التقييم: تتبّع الإجابات المصحوبة بالتصعيد، والتحويلات الفعلية إلى الموظفين، والحل الذاتي كلًّا على حدة.
ما الذي حققه تحسين serving
قلّلت تحسينات serving زمن استجابة P90 للمنسّق من 3,87 إلى 2,24 ثانية. وفي الوقت نفسه، انخفضت بصمة GPU بنحو الثلث.
| المقياس | التغيير |
|---|---|
| زمن استجابة P90 للمنسّق | 3,87 → 2,24 ثانية |
| بصمة GPU | انخفاض بنحو الثلث |
| التكلفة السنوية التقديرية لـserving النماذج عند الاستضافة الذاتية | انخفاض بأكثر من عشرة أضعاف |
تتعلق هذه المؤشرات بـserving، لا بجودة اختيار الكيانات أو الإجراءات. معيار التقييم: تقييم زمن الاستجابة، وبصمة الحوسبة، وتكلفة serving كلًّا على حدة عن مقاييس الإجابات.
