Transformers menambahkan dukungan untuk menjalankan model GGUF terkuantisasi di Apple Silicon

Apa yang berubah

Pada 22 September 2026, Hugging Face mengumumkan peluncuran model GGUF di Transformers melalui API library yang sudah dikenal. Fokus awalnya adalah inferensi lokal di Apple Silicon, dimulai dengan arsitektur Qwen3.5.

Checkpoint GGUF terkuantisasi sudah tersedia di Hub dari ggml-org, Unsloth, LM Studio Community, dan bartowski. Model-model tersebut telah diunduh jutaan kali.

Bagaimana kuantisasi memengaruhi ukuran model

GGUF dikembangkan oleh tim llama.cpp. Format ini menggabungkan bobot dan metadata, termasuk informasi tentang tokenizer dan templat chat opsional, dalam satu file.

Kuantisasi mengurangi penggunaan memori dengan mengorbankan sebagian akurasi. Misalnya, Q4_K_M umumnya menggunakan bobot 4-bit, dengan akurasi yang lebih tinggi untuk tensor yang sensitif.

Untuk Qwen3.5-4B dari Unsloth, sumber mencantumkan ukuran berikut:

Sumber menyarankan untuk memulai dengan Q4_K_M, lalu mencoba Q5_K_M atau Q6_K jika tersedia memori tambahan. Kompromi antara kualitas dan kuantisasi bergantung pada model dan tugasnya.

Persyaratan untuk menjalankan secara lokal

Untuk menjalankannya, diperlukan Mac dengan Apple Silicon dan versi PyTorch yang kompatibel dengan build ggml-quantization kernels yang telah diterbitkan. Sumber menyebutkan bahwa biasanya dua versi PyTorch terbaru didukung.

Hal lain yang diperlukan:

• Transformers versi terbaru — untuk saat ini dari cabang main, hingga rilis berikutnya;
• versi library kernels yang kompatibel.

Langkah praktisnya adalah memeriksa kompatibilitas PyTorch dan kernels yang terpasang sebelum mengunduh model. Tanpa quantization kernel yang kompatibel, loader akan mendekuantisasi model sehingga membutuhkan lebih banyak memori.

Cara Transformers memuat GGUF

Model dimuat menggunakan from_pretrained: di parameter gguf_file, tentukan ID model di Hub dan nama file. Contohnya adalah Qwen3.5-4B di repositori unsloth/Qwen3.5-4B-GGUF, dengan file Qwen3.5-4B-Q4_K_M.gguf.

Jika bobot tetap dikemas di Metal, Transformers akan secara otomatis memuat layer kernels ggml/Metal yang kompatibel. Untuk attention, digunakan ggml-org/ggml-attn.

Jika attention kernel tidak tersedia, model akan beralih ke sdpa disertai peringatan. Mode ini juga dapat ditentukan secara eksplisit melalui attn_implementation="sdpa".

Cara menghubungkan klien melalui API

Checkpoint GGUF dapat dijalankan dengan perintah Transformers serve. Perintah ini menyediakan API yang kompatibel dengan OpenAI, dan argumen model ditentukan dalam format <model_id>:<filename>.gguf.

Contoh argumen: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf. Jan atau Pi dapat dihubungkan ke server sebagai klien yang kompatibel dengan OpenAI.

Parameter koneksi:

• Base URL: http://localhost:8000/v1;
• Model ID: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.

Model berjalan di Mac, sementara klien menyediakan antarmuka untuk berinteraksi.