Transformers Apple Silicon-এ কোয়ান্টাইজড GGUF মডেল চালানোর সুবিধা যোগ করেছে

কী পরিবর্তন হয়েছে

২২ সেপ্টেম্বর ২০২৬-এ Hugging Face পরিচিত লাইব্রেরি API-এর মাধ্যমে Transformers-এ GGUF মডেল চালুর ঘোষণা দেয়। প্রাথমিক লক্ষ্য Apple Silicon-এ লোকালি ইনফারেন্স চালানো, শুরুতে Qwen3.5 আর্কিটেকচার দিয়ে।

ggml-org, Unsloth, LM Studio Community এবং bartowski-এর কван্টাইজড GGUF চেকপয়েন্ট ইতিমধ্যে Hub-এ পাওয়া যাচ্ছে। এ ধরনের মডেল লক্ষ লক্ষ বার ডাউনলোড করা হয়েছে।

কোয়ান্টাইজেশন কীভাবে মডেলের আকারে প্রভাব ফেলে

GGUF তৈরি করেছে llama.cpp দল। এই ফরম্যাটে ওজন ও মেটাডেটা—যার মধ্যে টোকেনাইজার-সংক্রান্ত তথ্য এবং ঐচ্ছিক চ্যাট টেমপ্লেট রয়েছে—একটি ফাইলে একত্র করা হয়।

কোয়ান্টাইজেশন কিছুটা নির্ভুলতার বিনিময়ে মেমরির ব্যবহার কমায়। উদাহরণস্বরূপ, Q4_K_M-এ প্রধানত 4-বিট ওজন ব্যবহার করা হয়, তবে সংবেদনশীল টেনসরগুলোর জন্য বেশি নির্ভুলতা রাখা হয়।

Unsloth-এর Qwen3.5-4B-এর জন্য উৎসে দেওয়া আকারগুলো হলো:

উৎসে Q4_K_M দিয়ে শুরু করার পরামর্শ দেওয়া হয়েছে, আর অতিরিক্ত মেমরি থাকলে Q5_K_M বা Q6_K চেষ্টা করতে বলা হয়েছে। গুণমান ও কোয়ান্টাইজেশনের মধ্যে ভারসাম্য মডেল ও কাজের ওপর নির্ভর করে।

লোকালি চালাতে যা লাগবে

চালানোর জন্য Apple Silicon-সহ একটি Mac এবং প্রকাশিত ggml-quantization kernels বিল্ডগুলোর সঙ্গে সামঞ্জস্যপূর্ণ PyTorch সংস্করণ প্রয়োজন। উৎসে উল্লেখ করা হয়েছে, সাধারণত PyTorch-এর সর্বশেষ দুটি সংস্করণ সমর্থিত।

এছাড়াও প্রয়োজন:

• Transformers-এর সর্বশেষ সংস্করণ—পরবর্তী রিলিজের আগ পর্যন্ত main ব্রাঞ্চ থেকে;
• সামঞ্জস্যপূর্ণ kernels লাইব্রেরির সংস্করণ।

ব্যবহারিকভাবে, মডেল ডাউনলোড করার আগে ইনস্টল করা PyTorch ও kernels-এর সামঞ্জস্য যাচাই করে নেওয়া উচিত। সামঞ্জস্যপূর্ণ quantization kernel না থাকলে, লোডার মডেলটিকে dequantize করবে, যার জন্য বেশি মেমরি প্রয়োজন।

Transformers কীভাবে GGUF লোড করে

মডেলটি from_pretrained দিয়ে লোড করা হয়: gguf_file প্যারামিটারে Hub-এ মডেলের আইডি এবং ফাইলের নাম উল্লেখ করা হয়। উদাহরণ হিসেবে রয়েছে unsloth/Qwen3.5-4B-GGUF রিপোজিটরির Qwen3.5-4B মডেল, ফাইল Qwen3.5-4B-Q4_K_M.gguf।

ওজনগুলো Metal-এ প্যাক করা অবস্থায় থাকলে, Transformers স্বয়ংক্রিয়ভাবে সামঞ্জস্যপূর্ণ ggml/Metal layer kernels লোড করে। attention-এর জন্য ggml-org/ggml-attn ব্যবহার করা হয়।

attention kernel উপলভ্য না থাকলে, সতর্কবার্তা দেখিয়ে মডেলটি sdpa-তে চলে যায়। attn_implementation="sdpa" দিয়ে এই মোডটি স্পষ্টভাবেও নির্ধারণ করা যায়।

API-এর মাধ্যমে ক্লায়েন্ট কীভাবে সংযুক্ত করবেন

Transformers-এর serve কমান্ড দিয়ে GGUF চেকপয়েন্ট চালানো যায়। এটি OpenAI-সামঞ্জস্যপূর্ণ API প্রদান করে, আর মডেলের আর্গুমেন্টটি <model_id>:<filename>.gguf ফরম্যাটে নির্ধারণ করা হয়।

আর্গুমেন্টের উদাহরণ: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf। সার্ভারের সঙ্গে OpenAI-সামঞ্জস্যপূর্ণ ক্লায়েন্ট হিসেবে Jan বা Pi সংযুক্ত করা যায়।

সংযোগের প্যারামিটার:

• Base URL: http://localhost:8000/v1;
• Model ID: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf।

মডেলটি Mac-এ চলে, আর ক্লায়েন্ট কথোপকথনের ইন্টারফেস দেয়।