Transformers ने Apple Silicon पर क्वांटाइज़्ड GGUF मॉडल चलाने की सुविधा जोड़ी
लेख में llama.cpp के GGUF फ़ॉर्मेट को Transformers के साथ एकीकृत करने का वर्णन है: Mac पर स्थानीय इन्फ़रेंस, लाइब्रेरी API के माध्यम से मॉडल लोड करना और OpenAI-संगत सर्वर चलाना। Qwen3.5-4B के उदाहरण से दिखाया गया है कि क्वांटाइज़ेशन स्तर का चुनाव वेट्स के आकार और मेमोरी की आवश्यकताओं को कैसे प्रभावित करता है।
क्या बदला
22 сентября 2026 года Hugging Face ने लाइब्रेरी के परिचित API के ज़रिए Transformers में GGUF मॉडल लॉन्च करने की घोषणा की। शुरुआत में ध्यान Apple Silicon पर लोकल इंफ़रेंस पर है, जिसकी शुरुआत Qwen3.5 आर्किटेक्चर से होती है।
ggml-org, Unsloth, LM Studio Community और bartowski की क्वांटाइज़्ड GGUF चेकपॉइंट्स पहले से Hub पर उपलब्ध हैं। ऐसे मॉडल लाखों बार डाउनलोड किए जा चुके हैं।
क्वांटाइज़ेशन मॉडल के आकार को कैसे प्रभावित करता है
GGUF को llama.cpp टीम ने विकसित किया है। यह फ़ॉर्मैट वेट्स और मेटाडेटा—जिनमें टोकनाइज़र की जानकारी और वैकल्पिक चैट टेम्पलेट शामिल हैं—को एक फ़ाइल में समेटता है।
क्वांटाइज़ेशन कुछ सटीकता की कीमत पर मेमोरी का उपयोग कम करता है। उदाहरण के लिए, Q4_K_M मुख्य रूप से 4-बिट वेट्स का इस्तेमाल करता है और संवेदनशील टेंसर के लिए अधिक सटीकता बनाए रखता है।
Unsloth के Qwen3.5-4B के लिए स्रोत में ये आकार दिए गए हैं:
| विकल्प | फ़ाइल का आकार |
|---|---|
| BF16 | 8.42 GB |
| Q6_K | 3.53 GB |
| Q5_K_M | 3.14 GB |
| Q4_K_M | 2.74 GB |
स्रोत में Q4_K_M से शुरुआत करने और अतिरिक्त मेमोरी उपलब्ध होने पर Q5_K_M या Q6_K आज़माने की सलाह दी गई है। गुणवत्ता और क्वांटाइज़ेशन के बीच का समझौता मॉडल और काम के हिसाब से बदलता है।
लोकल रन के लिए क्या चाहिए
इसे चलाने के लिए Apple Silicon वाला Mac और प्रकाशित ggml-quantization kernels builds के साथ संगत PyTorch संस्करण ज़रूरी है। स्रोत के अनुसार, आम तौर पर PyTorch के दो नवीनतम संस्करण समर्थित होते हैं।
इसके अलावा, ये भी ज़रूरी हैं:
- Transformers का नवीनतम संस्करण—अगली रिलीज़ तक
mainब्रांच से; - kernels लाइब्रेरी का संगत संस्करण।
व्यावहारिक तौर पर, मॉडल डाउनलोड करने से पहले यह जाँच लें कि इंस्टॉल किया गया PyTorch और kernels संगत हैं। संगत quantization kernel उपलब्ध न होने पर लोडर मॉडल को dequantize करेगा, जिसके लिए अधिक मेमोरी चाहिए।
Transformers GGUF को कैसे लोड करता है
मॉडल को from_pretrained के ज़रिए लोड किया जाता है: gguf_file पैरामीटर में Hub पर मॉडल का आइडेंटिफ़ायर और फ़ाइल का नाम दिया जाता है। उदाहरण के लिए, unsloth/Qwen3.5-4B-GGUF रिपॉज़िटरी में Qwen3.5-4B मॉडल की Qwen3.5-4B-Q4_K_M.gguf फ़ाइल।
अगर वेट्स Metal पर पैक्ड रहते हैं, तो Transformers अपने-आप संगत ggml/Metal layer kernels लोड करता है। Attention के लिए ggml-org/ggml-attn का इस्तेमाल होता है।
अगर attention kernel उपलब्ध न हो, तो चेतावनी के साथ मॉडल sdpa पर स्विच हो जाता है। इस मोड को attn_implementation="sdpa" के ज़रिए स्पष्ट रूप से भी सेट किया जा सकता है।
API के ज़रिए क्लाइंट कैसे कनेक्ट करें
GGUF चेकपॉइंट को Transformers serve कमांड से चलाया जा सकता है। यह OpenAI-संगत API उपलब्ध कराता है, और मॉडल का आर्ग्युमेंट <model_id>:<filename>.gguf फ़ॉर्मैट में दिया जाता है।
आर्ग्युमेंट का उदाहरण: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf। सर्वर से OpenAI-संगत क्लाइंट के रूप में Jan या Pi कनेक्ट किया जा सकता है।
कनेक्शन पैरामीटर:
- Base URL:
http://localhost:8000/v1; - Model ID:
unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.
मॉडल Mac पर चलता है और क्लाइंट बातचीत करने के लिए इंटरफ़ेस देता है।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
इंटरैक्टिव XR विकास में कोडिंग एजेंटों का मूल्यांकन: GenXR-Bench के निष्कर्ष
GenXR-Bench प्रकाशित किया गया है—इंटरैक्टिव XR विकास में coding एजेंटों के एंड-टू-एंड मूल्यांकन के लिए 112 विशेषज्ञ कार्यों का एक सेट: सुविधाओं को बेहतर बनाने और दोषों को ठीक करने से लेकर उपभोक्ता उपकरणों पर व्यवहार की जाँच के साथ ऐप्लिकेशन बनाने तक। परीक्षण किए गए दस मॉडलों में सर्वश्रेष्ठ परिणाम 50,9% Pass@1 रहा; बार-बार सामने आने वाली विफलताओं में सेंसर की असिंक्रोनस घटनाओं को संभालना, वस्तुओं को वास्तविक स्थान से जोड़ना और भौतिक संदर्भ में अंतःक्रिया को समझना शामिल हैं।
5 नवम्बर 2026
हाइब्रिड इमेज एनोटेशन: ऑटोमेशन कंप्यूटर विज़न मॉडल्स के प्रशिक्षण को तेज़ करता है
यह लेख बताता है कि एल्गोरिदम द्वारा पूर्व-लेबलिंग मैन्युअल काम को कैसे कम करती है और प्रशिक्षण डेटासेट की गुणवत्ता कैसे बढ़ाती है, साथ ही यह भी कि इंसानों द्वारा नमूना-आधारित सत्यापन अब भी क्यों ज़रूरी है। इसमें कठिन शूटिंग परिस्थितियों और दुर्लभ प्रकार की वस्तुओं के मामले में इस विधि की सीमाओं पर चर्चा की गई है।
5 नवम्बर 2026
स्केलर पुरस्कार से पारेतो फ्रंट तक: बहु-उद्देश्यीय रीइन्फोर्समेंट लर्निंग के साथ RTL का LLM संश्लेषण
एक भाषा मॉडल को एक ही डिज़ाइन के बजाय क्षेत्रफल, विलंबता और ऊर्जा खपत के बीच अलग-अलग समझौतों वाले RTL उम्मीदवारों का एक सेट तैयार करने के लिए प्रशिक्षित करने का तरीका प्रस्तावित किया गया है; इनाम की गणना पारेतो फ्रंट के हाइपरवॉल्यूम में प्रत्येक उम्मीदवार के योगदान के आधार पर की जाती है। RTLLM v2 पर, PPA अनुकूलन के बिना मूल संस्करण की तुलना में सापेक्ष हाइपरवॉल्यूम 13,3 प्रतिशत अंक और एकल-उद्देश्यीय सुदृढीकरण सीखने की तुलना में 14,4 प्रतिशत अंक बढ़ा।
5 नवम्बर 2026