Transformers добавила запуск квантованных GGUF-моделей на Apple Silicon

Что изменилось

22 сентября 2026 года Hugging Face объявила о запуске GGUF-моделей в Transformers через знакомые API библиотеки. Первоначальный фокус — локальный инференс на Apple Silicon, начиная с архитектуры Qwen3.5.

Квантизованные GGUF-чекпойнты уже доступны на Hub от ggml-org, Unsloth, LM Studio Community и bartowski. Такие модели скачивали миллионы раз.

Как квантование влияет на размер модели

GGUF разработала команда llama.cpp. Формат объединяет веса и метаданные, включая сведения о токенизаторе и необязательный шаблон чата, в один файл.

Квантизация уменьшает объём памяти за счёт некоторой точности. Например, Q4_K_M использует преимущественно 4-битные веса, сохраняя более высокую точность для чувствительных тензоров.

Для Qwen3.5-4B от Unsloth в источнике приведены такие размеры:

В источнике рекомендуют начать с Q4_K_M, а при наличии дополнительной памяти попробовать Q5_K_M или Q6_K. Компромисс между качеством и квантизацией зависит от модели и задачи.

Что нужно для локального запуска

Для запуска требуется Mac с Apple Silicon и версия PyTorch, совместимая с опубликованными сборками ggml-quantization kernels. Источник указывает, что обычно поддерживаются две последние версии PyTorch.

Также необходимы:

• последняя версия Transformers — пока из ветки main, до следующего релиза;
• совместимая версия библиотеки kernels.

Практический критерий — проверить совместимость установленного PyTorch и kernels до загрузки модели. Без совместимого quantization kernel загрузчик деквантует модель, что требует больше памяти.

Как Transformers загружает GGUF

Модель загружают через from_pretrained: в параметре gguf_file указывают идентификатор модели на Hub и имя файла. Пример — Qwen3.5-4B в репозитории unsloth/Qwen3.5-4B-GGUF, файл Qwen3.5-4B-Q4_K_M.gguf.

Если веса остаются упакованными на Metal, Transformers автоматически загружает совместимые ggml/Metal layer kernels. Для attention используется ggml-org/ggml-attn.

Если attention-ядро недоступно, модель переключается на sdpa с предупреждением. Этот режим также можно задать явно через attn_implementation="sdpa".

Как подключить клиент через API

GGUF-чекпойнт можно запустить командой Transformers serve. Она предоставляет API, совместимый с OpenAI, а аргумент модели задают в формате <model_id>:<filename>.gguf.

Пример аргумента: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf. К серверу можно подключить Jan или Pi как OpenAI-совместимого клиента.

Параметры подключения:

• Base URL: http://localhost:8000/v1;
• Model ID: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.

Модель запускается на Mac, а клиент предоставляет интерфейс для общения.