تشغيل Underdog Saluki 27B: مقارنة ملفات GGUF بكمّية 2 بت واختبار استدعاء الأدوات في llama.cpp

18 نوفمبر 20260 الآراء

يستعرض الدليل تجميع Saluki المستند إلى Qwen3.8-27B ومقارنته بإصدار GSQ-RCO من ISTA، بدءًا من بنية GGUF واستهلاك الذاكرة وصولًا إلى الأداء في مهام BFCL عند التشغيل باستخدام أدوات llama.cpp القياسية. كما يقدّم للقارئ منهجية تقييم قابلة لإعادة الإنتاج وإرشادات عملية للعمل مع التكميم ذي البتين.

تشغيل Underdog Saluki 27B: مقارنة ملفات GGUF بكمّية 2 بت واختبار استدعاء الأدوات في llama.cpp

ما هو Underdog Saluki 27B

Underdog Saluki 27B هو إصدار مبني على Qwen3.8-27B بحجم 7.9 GB. يذكر منشئوه أنه يحافظ على استدعاء الأدوات بدقة تقارب بتّين لكل وزن. وفي المعيار الذي أعدّوه على 120 مهمة، يتفوق هذا الإصدار على النموذج الكامل بحجم 54 GB. ويستند إلى النموذج نفسه من ISTA-DASLab مع تكميم GSQ-RCO.

تنطبق الميزة المعلنة على معيار المؤلفين أنفسهم. والمعيار العملي هو اختبار الإصدار على مهام العمل الفعلية، لا تعميم استنتاجات الآخرين.

التحقق من الملفات قبل المقارنة

تجري المقارنة بين Underdog Saluki 27B وإصدار ISTA في llama.cpp القياسي. أولاً، تتم مطابقة ترويسات GGUF الخاصة بالموترات. ثم تتم مقارنة الملفين بايتاً ببايت. بعد ذلك، يُشغَّل النموذجان على وحدة GPU واحدة لقياس الذاكرة والسرعة.

المعيارSalukiISTA
المستودعConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
المراجعة4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
الملفUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
الحجم، بايت78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

يؤكد التحقق أن الملفين اللذين تجري مقارنتهما هما الملفان المتوقعان بالفعل. وأي اختلاف في الترويسات أو البايتات يستدعي إيقاف التشغيل.

بيئة التشغيل وإصدار llama.cpp

يُستخدم llama.cpp بالإصدار b11565 — إصدار بتاريخ 2026-10-12، والـ commit هو f9a95aeb2. يدعم الكود وحدات NVIDIA GPU على Linux (Colab T4) وأجهزة Mac المزودة بمعالجات Apple silicon.

الإصدار والـ commit مثبتان في كود الدليل. ومن دون هذا التثبيت، لا يمكن إعادة إنتاج قياسات الذاكرة والسرعة. والمعيار العملي هو ربط كل قياس بإصدار وcommit محددين.

كيفية إجراء اختبار استدعاء الأدوات

أُخذت المهام من إصدار v4 من Berkeley Function Calling Leaderboard (BFCL). استُخدمت 120 مهمة مع seed ثابت. وتتضمن خمس مجموعات — simple_python وmultiple وirrelevance وparallel وparallel_multiple — 24 مهمة لكل منها. أعدّ المؤلفون قائمة المهام لأن قائمة Underdog Bench غير منشورة.

يُجرى التقييم باستخدام أداة التحقق القياسية لـ BFCL في الوضعين الصارم وlenient. ويرتبط كود أداة التحقق بـ commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. يقيّم الوضع الصارم مدى التطابق مع الإجابة المرجعية بصرامة أكبر، بينما يكون الوضع lenient أكثر تساهلاً. والمعيار العملي هو الاطلاع على نتائج الوضعين، وإلا فستبقى بعض الاختلافات في استدعاءات الأدوات غير ملحوظة.

معايير الاختيار بين ملفين بدقة 2 بت

  • الحجم. حجم ملف Saluki هو 7898369152 بايت، وحجم ملف ISTA هو 8422841472 بايت.
  • الدقة المعلنة. نحو بتّين لكل وزن مع الحفاظ على استدعاء الأدوات.
  • الذاكرة والسرعة. يُشغَّل النموذجان على وحدة GPU واحدة، وتجري القياسات في الظروف نفسها.
  • استدعاء الأدوات. 120 مهمة من BFCL v4 مع seed ثابت وأداة التحقق القياسية في وضعين.
  • قابلية إعادة الإنتاج. إصدار llama.cpp b11565، والـ commit f9a95aeb2، وcommit ثابت لأداة التحقق.

يعتمد معيار الاختيار على ثلاثة قياسات: الذاكرة والسرعة والنتيجة في استدعاء الأدوات على مهام شبيهة بمهام العمل الفعلية. ويظل التفوق المعلن على النموذج الكامل بحجم 54 GB ادعاءً للمؤلفين إلى حين التحقق منه بشكل مستقل.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
مساعد هندسي على Letta: ذاكرة تُحدّث نفسها، وبحث في الأرشيف، ومسارات عمل قابلة للنقل
كيف

مساعد هندسي على Letta: ذاكرة تُحدّث نفسها، وبحث في الأرشيف، ومسارات عمل قابلة للنقل

يستعرض النص بناء وكيل يدير كتل الذاكرة الأساسية بشكل مستقل، ويستعين بأرشيف المتجهات ويستدعي أدوات حتمية؛ كما يتناول بصورة منفصلة الحالة المشتركة لعدة وكلاء، والإخراج المتدفق، وتصدير سير العمل إلى ملف قابل للنقل.

16 نوفمبر 2026
CyberArena: مواجهات ثنائية بين وكلاء الذكاء الاصطناعي تكشف حدود المعايير السيبرانية الثابتة
الأخبار

CyberArena: مواجهات ثنائية بين وكلاء الذكاء الاصطناعي تكشف حدود المعايير السيبرانية الثابتة

يضع المعيار وكيلين في بيئات معزولة تضم خدمات تتغير باستمرار، ثم يحوّل أفعالهما على مدار سلسلة من الجولات إلى درجات متعددة الأبعاد للمهارات الهجومية والدفاعية. وفي 466 مباراة شملت 12 نموذجًا متطورًا، ميّز بين القدرات في الحالات التي تبلغ فيها الاختبارات أحادية الجانب سقفها، بما في ذلك التخطيط لعدة خطوات وإنشاء الأبواب الخلفية.

13 نوفمبر 2026
OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح
الأخبار

OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح

يجمع إطار العمل بين تحديد بنية تفاعل الوكلاء، وبيئة مشتركة للتجارب، والتتبّع التفصيلي للأحداث، فيما يعكس مقياس Adherence المستحدث مدى توافق التنفيذ الفعلي مع المخطط المعلن. في الاختبارات المعيارية، يرتقي إعداد Duo إلى مستوى جديد من SOTA، بينما يتميز البديل أحادي الوكيل بأقل استهلاك للرموز.

11 نوفمبر 2026
تشغيل Underdog Saluki 27B: مقارنة ملفات GGUF بكمّية 2 بت واختبار استدعاء الأدوات في llama.cpp