Underdog Saluki 27B चलाना: 2-बिट GGUF की तुलना और llama.cpp में टूल कॉलिंग का परीक्षण

18 नवम्बर 20260 बार देखा गया

यह मार्गदर्शिका Qwen3.8-27B पर आधारित Saluki के निर्माण और ISTA के GSQ-RCO संस्करण से उसकी तुलना की पड़ताल करती है: GGUF संरचना और मेमोरी उपयोग से लेकर llama.cpp के मानक साधनों से चलाने पर BFCL कार्यों में उसके व्यवहार तक। पाठक को दो-बिट क्वांटाइज़ेशन के साथ काम करने के लिए मूल्यांकन की पुनरुत्पादित की जा सकने वाली विधि और व्यावहारिक दिशानिर्देश मिलते हैं।

Underdog Saluki 27B चलाना: 2-बिट GGUF की तुलना और llama.cpp में टूल कॉलिंग का परीक्षण

Underdog Saluki 27B क्या है

Underdog Saluki 27B, Qwen3.8-27B का 7.9 GB आकार वाला बिल्ड है। इसके निर्माताओं का दावा है कि यह प्रति वेट लगभग दो बिट की सटीकता पर टूल कॉलिंग को बनाए रखता है। 120 कार्यों पर किए गए उनके बेंचमार्क में यह बिल्ड 54 GB आकार वाले पूर्ण मॉडल से बेहतर प्रदर्शन करता है। इसका आधार ISTA-DASLab का वही मॉडल है, जिसमें GSQ-RCO क्वांटाइज़ेशन का उपयोग किया गया है।

दावा किया गया लाभ लेखकों के अपने बेंचमार्क से संबंधित है। व्यावहारिक मानदंड: दूसरों के निष्कर्ष को अपना मानने के बजाय बिल्ड को अपने काम के कार्यों पर जाँचें।

तुलना से पहले फ़ाइलों का मिलान

Underdog Saluki 27B और मानक llama.cpp में ISTA-DASLab के बिल्ड की तुलना की जा रही है। पहले GGUF हेडर में टेंसरों का मिलान किया जाता है। फिर दोनों फ़ाइलों की बाइट-दर-बाइट तुलना की जाती है। इसके बाद मेमोरी और गति मापने के लिए दोनों मॉडल एक ही GPU पर चलाए जाते हैं।

पैरामीटरSalukiISTA
रिपॉज़िटरीConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
संशोधन4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
फ़ाइलUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
आकार, बाइट78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

मिलान पुष्टि करता है कि तुलना उन्हीं अपेक्षित फ़ाइलों की हो रही है। हेडर या बाइट में अंतर मिलने पर रन रोक देना चाहिए।

रनटाइम परिवेश और llama.cpp का संस्करण

llama.cpp का b11565 संस्करण उपयोग किया गया है — यह 2026-10-12 का रिलीज़ है, commit f9a95aeb2। यह कोड Linux पर NVIDIA GPU (Colab T4) और Apple silicon वाले Mac पर काम करता है।

संस्करण और commit को गाइड के कोड में दर्ज किया गया है। इस तरह का रिकॉर्ड न हो तो मेमोरी और गति के माप दोहराए नहीं जा सकते। व्यावहारिक मानदंड: हर माप को किसी विशिष्ट रिलीज़ और commit से जोड़ें।

टूल कॉलिंग की जाँच कैसे की जाती है

कार्य Berkeley Function Calling Leaderboard (BFCL) के v4 संस्करण से लिए गए हैं। तय seed के साथ 120 कार्य उपयोग किए गए हैं। पाँच सेट — simple_python, multiple, irrelevance, parallel और parallel_multiple — में से प्रत्येक के 24 कार्य लिए गए हैं। कार्यों की सूची लेखकों ने तैयार की, क्योंकि Underdog Bench की सूची प्रकाशित नहीं है।

मूल BFCL चेकर से सख्त और lenient मोड में मूल्यांकन किया जाता है। चेकर का कोड Gorilla commit 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8 से जुड़ा है। सख्त मोड में संदर्भ से मेल का आकलन अधिक कठोरता से किया जाता है, जबकि lenient मोड में कम कठोरता से। व्यावहारिक मानदंड: दोनों मोड देखें, वरना टूल कॉल में कुछ अंतर नज़र से छूट जाएँगे।

दो 2-बिट फ़ाइलों में से चुनने के मानदंड

  • आकार। Saluki फ़ाइल 7898369152 बाइट की है, ISTA फ़ाइल 8422841472 बाइट की।
  • दावा की गई सटीकता। टूल कॉलिंग बनाए रखते हुए प्रति वेट लगभग दो बिट।
  • मेमोरी और गति। दोनों मॉडल एक ही GPU पर चलाए जाते हैं और समान परिस्थितियों में माप लिए जाते हैं।
  • टूल कॉलिंग। तय seed और दो मोड में मूल चेकर के साथ BFCL v4 के 120 कार्य।
  • पुनरुत्पादकता। llama.cpp का b11565 संस्करण, commit f9a95aeb2 और चेकर का तय commit।

चयन का मानदंड तीन मापों पर आधारित है: मेमोरी, गति और काम से मिलते-जुलते कार्यों पर टूल कॉलिंग का परिणाम। 54 GB आकार वाले पूर्ण मॉडल से बेहतर प्रदर्शन का दावा स्वतंत्र जाँच होने तक लेखकों का दावा ही रहेगा।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
Letta पर इंजीनियरिंग सहायक: स्वयं-अद्यतनशील स्मृति, अभिलेखीय खोज और पोर्टेबल कार्यप्रवाह
कैसे

Letta पर इंजीनियरिंग सहायक: स्वयं-अद्यतनशील स्मृति, अभिलेखीय खोज और पोर्टेबल कार्यप्रवाह

इसमें ऐसे एजेंट का निर्माण समझाया गया है, जो मुख्य मेमोरी के ब्लॉकों को स्वतंत्र रूप से संभालता है, वेक्टर संग्रह तक पहुँचता है और नियतात्मक टूल चलाता है; साथ ही, कई एजेंटों की साझा स्थिति, स्ट्रीमिंग आउटपुट और वर्कफ़्लो को पोर्टेबल फ़ाइल में एक्सपोर्ट करने पर भी चर्चा की गई है।

16 नवम्बर 2026
CyberArena: AI एजेंटों के युग्मित मुकाबले स्थिर साइबर बेंचमार्क की सीमाएँ उजागर करते हैं
समाचार

CyberArena: AI एजेंटों के युग्मित मुकाबले स्थिर साइबर बेंचमार्क की सीमाएँ उजागर करते हैं

यह बेंचमार्क दो एजेंटों को लगातार बदलती सेवाओं वाले सैंडबॉक्स में रखता है और कई राउंड के बाद उनके कार्यों को आक्रामक और रक्षात्मक कौशल के बहुआयामी स्कोर में बदलता है। 12 आधुनिक मॉडलों के साथ 466 मैचों में इसने उन क्षमताओं के बीच अंतर पहचाना, जहाँ एकतरफ़ा परीक्षण अपनी सीमा पर पहुँच जाते हैं—जिनमें कई चालों की योजना बनाना और बैकडोर बनाना शामिल है।

13 नवम्बर 2026
OpenCollab: एजेंटों का प्रोग्रामेबल समन्वय, नियंत्रित निष्पादन वातावरण और नियमावली अनुपालन का मेट्रिक
समाचार

OpenCollab: एजेंटों का प्रोग्रामेबल समन्वय, नियंत्रित निष्पादन वातावरण और नियमावली अनुपालन का मेट्रिक

यह फ़्रेमवर्क एजेंटों के बीच संवाद की संरचना निर्धारित करने, प्रयोगों के लिए साझा परिवेश और घटनाओं की विस्तृत ट्रेसिंग को एक साथ जोड़ता है, जबकि नया पेश किया गया Adherence मेट्रिक यह दर्शाता है कि वास्तविक निष्पादन घोषित योजना से कितना मेल खाता है। बेंचमार्क में Duo कॉन्फ़िगरेशन नया SOTA हासिल करता है, जबकि एकल-एजेंट वाला विकल्प सबसे कम टोकन खर्च करता है।

11 नवम्बर 2026
Underdog Saluki 27B चलाना: 2-बिट GGUF की तुलना और llama.cpp में टूल कॉलिंग का परीक्षण