أضافت Transformers إمكانية تشغيل نماذج GGUF المكمّمة على Apple Silicon
تشرح المقالة دمج تنسيق GGUF من llama.cpp في Transformers: الاستدلال محليًا على أجهزة Mac، وتحميل النماذج عبر واجهة API للمكتبة، وتشغيل خادم متوافق مع OpenAI. ويوضح المثال باستخدام Qwen3.5-4B كيف يؤثر اختيار مستوى التكميم في حجم الأوزان ومتطلبات الذاكرة.
ما الذي تغيّر
في 22 سبتمبر 2026، أعلنت Hugging Face عن إطلاق نماذج GGUF في Transformers عبر واجهات API المألوفة للمكتبة. ينصبّ التركيز الأولي على الاستدلال المحلي على Apple Silicon، بدءًا ببنية Qwen3.5.
تتوفر بالفعل نقاط تحقق GGUF مكمّمة على Hub من ggml-org وUnsloth وLM Studio Community وbartowski. وقد نُزّلت هذه النماذج ملايين المرات.
كيف يؤثر التكميم في حجم النموذج
طوّر فريق llama.cpp صيغة GGUF. تجمع الصيغة الأوزان والبيانات الوصفية، بما فيها معلومات عن أداة الترميز وقالب محادثة اختياري، في ملف واحد.
يقلّل التكميم من استهلاك الذاكرة مقابل بعض الدقة. على سبيل المثال، يستخدم Q4_K_M أوزانًا بدقة 4 بت في الغالب، مع الحفاظ على دقة أعلى للموترات الحساسة.
يورد المصدر أحجامًا من هذا القبيل لنموذج Qwen3.5-4B من Unsloth:
| الخيار | حجم الملف |
|---|---|
| BF16 | 8.42 GB |
| Q6_K | 3.53 GB |
| Q5_K_M | 3.14 GB |
| Q4_K_M | 2.74 GB |
يوصي المصدر بالبدء بـ Q4_K_M، ثم تجربة Q5_K_M أو Q6_K عند توفر ذاكرة إضافية. ويعتمد التوازن بين الجودة والتكميم على النموذج والمهمة.
ما يلزم للتشغيل محليًا
يتطلب التشغيل جهاز Mac مزودًا بـ Apple Silicon وإصدارًا من PyTorch متوافقًا مع إصدارات ggml-quantization kernels المنشورة. ويذكر المصدر أن آخر إصدارين من PyTorch يكونان مدعومين عادةً.
يلزم أيضًا:
- أحدث إصدار من Transformers — من فرع
mainحاليًا، إلى حين الإصدار التالي؛ - إصدار متوافق من مكتبة kernels.
من الناحية العملية، تحقّق من توافق إصدارَي PyTorch وkernels المثبّتين قبل تنزيل النموذج. في غياب kernel للتكميم متوافق، سيزيل المُحمِّل تكميم النموذج، ما يتطلب ذاكرة أكبر.
كيف يحمّل Transformers نماذج GGUF
يُحمَّل النموذج عبر from_pretrained: ويُحدَّد معرّف النموذج على Hub واسم الملف في المعامل gguf_file. ومن الأمثلة على ذلك Qwen3.5-4B في المستودع unsloth/Qwen3.5-4B-GGUF، والملف Qwen3.5-4B-Q4_K_M.gguf.
إذا بقيت الأوزان معبّأة على Metal، فسيحمّل Transformers تلقائيًا طبقات ggml/Metal kernels المتوافقة. ويُستخدم ggml-org/ggml-attn للانتباه.
إذا لم تتوفر نواة الانتباه، ينتقل النموذج إلى sdpa مع إصدار تحذير. ويمكن أيضًا تحديد هذا الوضع صراحةً عبر attn_implementation="sdpa".
كيفية ربط عميل عبر API
يمكن تشغيل نقطة تحقق GGUF باستخدام الأمر serve في Transformers. وهو يوفّر API متوافقًا مع OpenAI، ويُحدَّد النموذج بالصيغة <model_id>:<filename>.gguf.
مثال على المعامل: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf. ويمكن ربط Jan أو Pi بالخادم كعميل متوافق مع OpenAI.
إعدادات الاتصال:
- عنوان URL الأساسي:
http://localhost:8000/v1؛ - معرّف النموذج:
unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.
يعمل النموذج على Mac، بينما يوفّر العميل واجهة للتفاعل معه.
الأسئلة المتكررة
المواد ذات الصلة
جميع المواد
نموذج العالم للوكلاء الذين يستخدمون نماذج لغوية كبيرة مغلقة: التصحيح عند نقاط الخطر
اقتُرحت PAWM بوصفها أداة تنبؤ خارجية لا تكرر المراقبة خطوة بخطوة، بل تتدخل عند احتمال حدوث إخفاق وتُبعد الوكيل عن الإجراء الخاطئ. بعد الضبط الدقيق المُشرف (SFT) على سيناريوهات اصطناعية والتدريب المشترك باستخدام GRPO، حققت الطريقة تحسنًا بنسبة 24.3% في ScienceWorld و7.7% في WebArena-Lite مع Claude Sonnet 4.5.
4 نوفمبر 2026
من التقديرات الفردية إلى المجموعات المقبولة: فك الترميز الشامل في ظل قيود DDI
تقارن المقالة بين الاختيار العالمي الدقيق لمجموعة متوافقة من الأدوية، المنفذ باستخدام البرمجة الخطية بالأعداد الصحيحة المختلطة، وعدة أساليب محلية لإزالة تعارضات DDI مع تثبيت تقديرات FLAME على MIMIC-III. في مجموعة الاختبار، يحقق النهج العالمي تحسناً طفيفاً لكنه ثابت في مقياس Jaccard، ويزداد هذا التحسن مع تشديد القيود ليصل إلى +0.0064 مقارنةً بأقوى طريقة محلية أساسية.
4 نوفمبر 2026
يؤدي الانتقال إلى السيمبلكس الاحتمالي إلى تقليص فجوة الوسائط في النماذج متعددة الوسائط التباينية
يقترح العمل arXiv:2610.32890 استبدال التضمينات الكروية بسيمبلكس احتمالي، مع إضافة محوّلات softmax خفيفة ومقياس تشابه التباين الكلي (Total Variation). وفي خمسة معايير بحث، تنخفض مسافة ℓ2 بين مراكز الكتل للوسائط بنسبة 97–99%، مع الحفاظ على جودة البحث أو تحسينها.
3 نوفمبر 2026