Transformers añade compatibilidad para ejecutar modelos GGUF cuantizados en Apple Silicon
El artículo describe la integración del formato GGUF de llama.cpp en Transformers: inferencia local en Mac, carga de modelos a través de la API de la biblioteca y puesta en marcha de un servidor compatible con OpenAI. Con el ejemplo de Qwen3.5-4B, muestra cómo la elección del nivel de cuantización influye en el tamaño de los pesos y en los requisitos de memoria.
Qué ha cambiado
El 22 de septiembre de 2026, Hugging Face anunció el lanzamiento de modelos GGUF en Transformers mediante las API conocidas de la biblioteca. El enfoque inicial es la inferencia local en Apple Silicon, empezando por la arquitectura Qwen3.5.
Los checkpoints GGUF cuantizados ya están disponibles en Hub de ggml-org, Unsloth, LM Studio Community y bartowski. Estos modelos se han descargado millones de veces.
Cómo afecta la cuantización al tamaño del modelo
GGUF fue desarrollado por el equipo de llama.cpp. El formato reúne los pesos y los metadatos, incluida la información del tokenizador y una plantilla de chat opcional, en un solo archivo.
La cuantización reduce el uso de memoria a cambio de cierta precisión. Por ejemplo, Q4_K_M utiliza principalmente pesos de 4 bits y conserva una mayor precisión para los tensores sensibles.
La fuente indica los siguientes tamaños para Qwen3.5-4B de Unsloth:
| Variante | Tamaño del archivo |
|---|---|
| BF16 | 8.42 GB |
| Q6_K | 3.53 GB |
| Q5_K_M | 3.14 GB |
| Q4_K_M | 2.74 GB |
La fuente recomienda empezar con Q4_K_M y, si se dispone de memoria adicional, probar Q5_K_M o Q6_K. El equilibrio entre calidad y cuantización depende del modelo y de la tarea.
Qué se necesita para ejecutar el modelo localmente
Para ejecutarlo se necesita un Mac con Apple Silicon y una versión de PyTorch compatible con las compilaciones publicadas de los kernels de ggml-quantization. La fuente indica que normalmente se admiten las dos últimas versiones de PyTorch.
También se necesitan:
- la última versión de Transformers —por ahora, desde la rama
main, hasta la próxima versión; - una versión compatible de la biblioteca de kernels.
Un criterio práctico es comprobar la compatibilidad entre la versión instalada de PyTorch y los kernels antes de descargar el modelo. Sin un kernel de cuantización compatible, el cargador descomprimirá el modelo, lo que requiere más memoria.
Cómo carga GGUF Transformers
El modelo se carga mediante from_pretrained: en el parámetro gguf_file se especifican el identificador del modelo en Hub y el nombre del archivo. Un ejemplo es Qwen3.5-4B en el repositorio unsloth/Qwen3.5-4B-GGUF, archivo Qwen3.5-4B-Q4_K_M.gguf.
Si los pesos permanecen empaquetados en Metal, Transformers carga automáticamente kernels de capa ggml/Metal compatibles. Para attention se utiliza ggml-org/ggml-attn.
Si el kernel de attention no está disponible, el modelo cambia a sdpa y muestra una advertencia. Este modo también se puede configurar explícitamente mediante attn_implementation="sdpa".
Cómo conectar un cliente mediante la API
Se puede ejecutar un checkpoint GGUF con el comando serve de Transformers. Este proporciona una API compatible con OpenAI, y el argumento del modelo se especifica con el formato <model_id>:<filename>.gguf.
Un ejemplo de argumento: unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf. Se puede conectar al servidor Jan o Pi como cliente compatible con OpenAI.
Parámetros de conexión:
- Base URL:
http://localhost:8000/v1; - Model ID:
unsloth/Qwen3.5-4B-GGUF:Qwen3.5-4B-Q4_K_M.gguf.
El modelo se ejecuta en el Mac y el cliente proporciona una interfaz para interactuar con él.
Preguntas frecuentes
Material similar
Todos los materiales
La transición al simplex de probabilidad reduce la brecha modal en los modelos multimodales contrastivos
El trabajo arXiv:2610.32890 propone sustituir los embeddings esféricos por un simplex probabilístico, añadiendo adaptadores softmax ligeros y una similitud de variación total. En cinco benchmarks de búsqueda, la distancia ℓ2 entre centroides de distintas modalidades se reduce un 97–99 %, manteniendo o mejorando la calidad de búsqueda.
3 noviembre 2026
Cómo ActionRAG reevalúa las evidencias durante la difusión por el grafo de memoria de los agentes LLM
Se propone una arquitectura de memoria basada en grafos que armoniza cuidadosamente las entidades durante la indexación y vuelve a evaluar las relaciones al realizar una consulta, basándose en la estructura local. En MemoryAgentBench, el método alcanzó una precisión media de 55,1 y superó en 5,4 puntos porcentuales a la referencia de recuperación más sólida, con un coste de síntesis reducido por consulta.
3 noviembre 2026
Quince empresas respaldaron MDK Tether para automatizar la minería.
Los fabricantes de equipos, los pools y los operadores han asumido el desarrollo de integraciones con el conjunto abierto de Tether para unificar la supervisión y la gestión de los equipos; el agente de IA QVAC ya funciona sobre esta base. Aún no se han publicado confirmaciones independientes de una reducción de los costes de electricidad ni de un aumento de la eficiencia.
2 noviembre 2026