Transformers a ajouté la prise en charge de l’exécution de modèles GGUF quantifiés sur Apple Silicon

Ce qui a changé

Le 22 septembre 2026, Hugging Face a annoncé la prise en charge des modèles GGUF dans Transformers via les API habituelles de la bibliothèque. L’accent est d’abord mis sur l’inférence locale sur Apple Silicon, à commencer par l’architecture Qwen3.5.

Des checkpoints GGUF quantifiés sont déjà disponibles sur Hub auprès de ggml-org, Unsloth, LM Studio Community et bartowski. Ces modèles ont été téléchargés des millions de fois.

Comment la quantification influe sur la taille du modèle

GGUF a été développé par l’équipe de llama.cpp. Ce format regroupe les poids et les métadonnées, notamment les informations sur le tokenizer et un modèle de chat facultatif, dans un seul fichier.

La quantification réduit l’utilisation de la mémoire au prix d’une certaine précision. Par exemple, Q4_K_M utilise principalement des poids sur 4 bits, tout en conservant une précision supérieure pour les tenseurs sensibles.

La source indique les tailles suivantes pour Qwen3.5-4B d’Unsloth :

La source recommande de commencer avec Q4_K_M et, si vous disposez de mémoire supplémentaire, d’essayer Q5_K_M ou Q6_K. Le compromis entre qualité et quantification dépend du modèle et de la tâche.

Prérequis pour une exécution locale

Pour l’exécution, il faut un Mac doté d’Apple Silicon et une version de PyTorch compatible avec les builds publiés des kernels ggml-quantization. La source indique que les deux dernières versions de PyTorch sont généralement prises en charge.

Il faut également :

• la dernière version de Transformers — pour l’instant, depuis la branche main, avant la prochaine version ;
• une version compatible de la bibliothèque kernels.

En pratique, il est conseillé de vérifier la compatibilité entre la version installée de PyTorch et les kernels avant de charger le modèle. En l’absence d’un kernel de quantification compatible, le chargeur déquantifie le modèle, ce qui demande davantage de mémoire.

Comment Transformers charge GGUF

Le modèle se charge avec from_pretrained : dans le paramètre gguf_file, indiquez l’identifiant du modèle sur Hub et le nom du fichier. Par exemple, Qwen3.5-4B dans le dépôt unsloth/Qwen3.5-4B-GGUF, avec le fichier Qwen3.5-4B-Q4_K_M.gguf.

Si les poids restent empaquetés sur Metal, Transformers charge automatiquement les kernels ggml/Metal compatibles. Pour l’attention, il utilise ggml-org/ggml-attn.

Si le kernel d’attention n’est pas disponible, le modèle bascule sur sdpa avec un avertissement. Ce mode peut également être défini explicitement avec attn_implementation="sdpa".

Comment connecter un client via l’API

Un checkpoint GGUF peut être lancé avec la commande serve de Transformers. Elle fournit une API compatible avec OpenAI ; l’argument du modèle est indiqué au format <model_id>:<filename>.gguf.

Exemple d’argument : unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf. Vous pouvez connecter au serveur Jan ou Pi en tant que client compatible avec OpenAI.

Paramètres de connexion :

• Base URL : http://localhost:8000/v1 ;
• Model ID : unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.

Le modèle s’exécute sur le Mac, et le client fournit une interface de conversation.