SQL وكيل بلا أوهام: مقياس موحّد للاستقلالية ومقارنة صادقة لمعايير نماذج اللغات الكبيرة

ما مدى خطورة «الأرقام القياسية» في Text-to-SQL

كل شهر تظهر ادعاءات جديدة بأن نموذجًا لغويًا كبيرًا (LLM) آخر كاد أن يعادل البشر في معايير SQL. لكن إذا نظرنا عن كثب، نجد خلف هذه الأرقام شروطًا مختلفة جدًا: أحدهم يستخدم تلميحًا بسيطًا دون الوصول إلى قاعدة البيانات، وآخر يسمح للنموذج بتنفيذ الاستعلامات بشكل تكراري، وآخر قام بدمج التفكير مباشرة في أوزان النموذج. مقارنة هذه النتائج مباشرة يشبه وضع سيارة مع ميكانيكي بجانب سيارة ذاتية القيادة تصلح نفسها أثناء القيادة.

لفت مؤلفو ورقة بحثية أولية حديثة على arXiv (2608.15389) الانتباه إلى هذه المشكلة تحديدًا. يقترحون عدم قياس «التقدم» بعد الآن من خلال ارتفاع مجرد في جدول المتصدرين، بل أولاً توثيق مقدار الاستقلالية التي كانت لدى النظام عند توليد SQL بشكل صريح. دون هذا التحفظ، تكون أي مقارنة بين الأعمال غير مستقرة: تغيير المعيار، أو النموذج الأساسي، أو حتى بروتوكول استدلال مختلف قليلًا قد يغير الاستنتاجات.

محور الاستقلالية: من التلميحات إلى الوكلاء المستقلين

بدلاً من مجرد جمع كل الأرقام في جدول واحد، يعيد الباحثون تعريف مجال Text-to-SQL نفسه باعتباره «تجميعًا للوحات المتصدرين». يجمعون المقاييس التي يبلغ عنها مؤلفو الأنظمة بأنفسهم، ويوزعونها على طول محور استقلالية الاستدلال. النتيجة هي خمسة مستويات:

• التوليد المقيد — يختار النموذج فقط إجابة من مساحة محدودة بشكل صارم من الاستعلامات المسموح بها، غالبًا مع فحص خارجي لبناء الجملة.
• التوليد ضمن السياق — يتم بناء SQL في تمريرة واحدة عبر السياق مع أمثلة ووصف للمخطط.
• التوليد التكراري — يمكن للنظام إجراء عدة محاولات، لتحسين الاستعلام بناءً على نتائج التنفيذ أو استجابة قاعدة البيانات.
• التوليد الوكيلي — يعمل النموذج كعامل: يستكشف مخطط قاعدة البيانات بنفسه، وينفذ الاستعلامات، ويتفاعل مع الأخطاء، ويخطط للخطوات التالية.
• التوليد مع استيعاب التفكير — يتم دمج «التفكير» مسبقًا في النموذج، لذلك عند الاستدلال يصدر الاستعلام مباشرة، دون تنسيقات خارجية أو خطوات وسيطة.

لا يعني هذا المقياس أن مستوى واحدًا «أفضل» من الآخر. إنه فقط يحدد شروط المقارنة العادلة: لا يمكن مواجهة نظام ذي تفكير داخلي مع إخراج أحادي المحاولة مجرد على قدم المساواة، تمامًا كما لا ينبغي مقارنة حلقة وكيل لها الحق في تنفيذ الاستعلامات بنموذج لم يُمنح هذا الحق.

من المهم أنه لكل خلية في لوحة المتصدرين هذه، يتم الحفاظ على أصل قابل للتتبع للمقياس. هذا يعني أن القارئ يمكنه دائمًا فهم التكوين المحدد الذي أنتج النتيجة، بدلاً من محاولة التخمين من أجزاء مبعثرة من قسم التجارب.

ماذا أظهرت التجربة على Spider وما بعده

لربط تجميع المقاييس بالواقع، أجرى المؤلفون دراسة مستهدفة على معيار Spider. قارنوا نماذج مفتوحة بحجم 8B — مع إشراف CoT وبدونه — ضد خطوط أساس قليلة الأمثلة مبنية على DeepSeek V3 وGLM-4. المثير للاهتمام أنهم استخدموا بروتوكولات قليلة الأمثلة تحديدًا، وليس إصدارات مضبوطة بالكامل، لذلك كانت المقارنة نقية بما يكفي.

تستخلص من التجربة أربعة أنماط مهمة للممارسين.

أولاً، التحسينات التي تم الحصول عليها على Spider تنتقل بشكل غير متساوٍ إلى BIRD وSpider 2.0. قد يُظهر النموذج تحسنًا جميلًا على مجموعة واحدة من الاستعلامات ولا يتحرك تقريبًا على مجموعة أخرى. هذا يؤكد مرة أخرى: السعي الأعمى وراء درجة موحدة على معيار شعبي واحد يخلق وهم التقدم العام.

ثانيًا، الاستقلالية تضيف متانة، ولكن بتكلفة غير تافهة. الحلقات الوكيلة تتعامل بالفعل بشكل أفضل مع المهام متعددة الخطوات والغامضة، ومع ذلك ترتفع تكاليف الرموز ووقت التنفيذ بشكل ملحوظ. إذا كان هذا السعر مبررًا لمحلل تفاعلي، فإنه للمعالجة الدفعية قد يلتهم كل المكسب من الأخطاء الأقل تكرارًا.

ثالثًا، وضع التفكير المستوعب يحتل موقعًا متوسطًا بشكل غير متوقع. يقع بين فك ترميز إجابة «غبي» دون تفكير والوكلاء المنسقين خارجيًا. لمجموعة من المهام، يعطي هذا الوضع جودة شبه وكيلة تقريبًا، ولكن دون الحاجة إلى بناء حلقة معقدة بالأدوات. على الرغم من عدم وجود «غداء مجاني» عالمي: فالتفكير المدمج له أيضًا حدوده.

رابعًا، مكاسب إشراف CoT تتركز على استعلامات المستويين الصعب والصعب جدًا. على الأسئلة البسيطة، يكون الفرق غير ملحوظ تقريبًا أو حتى سلبيًا — لماذا يجب على النموذج التفكير بصوت عالٍ عندما تكون الإجابة واضحة فورًا؟ لكن في المهام المعقدة متعددة الخطوات، فإن القدرة على نطق الخطوات بصوت عالٍ تعطي ميزة ملحوظة. هذه إشارة مهمة لمن يبنون مساعدي SQL: يجب تركيز قوة الحوسبة الإضافية على الاستعلامات عالية التعقيد، وليس إنفاقها على الحالات البسيطة النموذجية.

كيفية استخدام هذا المقياس عمليًا

أكثر النتائج فائدة من العمل — ليس حتى التصنيف نفسه، بل الأداة المساعدة العامة بلغة Python التي أصدرها المؤلفون مع الورقة الأولية. تعيد الأداة إنتاج محور الاستقلالية وتسمح بإضافة طرق جديدة إلى لوحة المتصدرين دون إعادة كتابة البيئة بأكملها. إذا كنت تطور نهجًا آخر لـ Text-to-SQL، يكفي تحديد مستوى الاستقلالية الذي يعمل عليه — وسيتمكن المجتمع من مقارنتك بالأنظمة السابقة على قدم المساواة.

من الواضح أن التجميعات القائمة على مقاييس مُبلغ عنها ذاتيًا لا تزال تستحق الثقة بحذر. ليس لدى الجميع ميزانية لتكرار تجارب الآخرين، لكن التعليق الموحد هو بالفعل خطوة كبيرة إلى الأمام. في الوقت الحالي، عند قراءة أي «أحدث إنجاز»، ضع في اعتبارك سؤالًا بسيطًا: ما الذي كان بإمكان النموذج فعله بالضبط أثناء توليد الاستعلام؟ إذا كانت الإجابة على هذا السؤال غائبة، فإن الرقم من المقالة هو مجرد رقم جميل دون أساس متين.