Lancement d’Underdog Saluki 27B : comparaison de GGUF 2 bits et test de l’appel d’outils dans llama.cpp
Ce guide détaille la compilation de Saluki basée sur Qwen3.8-27B et sa comparaison avec la version ISTA GSQ-RCO : de la structure GGUF et de la consommation mémoire au comportement sur les tâches BFCL, lors d’une exécution avec les outils standard de llama.cpp. Le lecteur découvre une méthodologie d’évaluation reproductible et des repères pratiques pour travailler avec la quantification sur deux bits.

Que représente Underdog Saluki 27B
Underdog Saluki 27B est une version de Qwen3.8-27B de 7.9 GB. Ses créateurs affirment qu’elle préserve l’appel d’outils avec une précision d’environ deux bits par poids. Dans leur benchmark portant sur 120 tâches, cette version surpasse le modèle complet de 54 GB. Elle repose sur le même modèle d’ISTA-DASLab, avec la quantification GSQ-RCO.
L’avantage annoncé concerne le benchmark des auteurs eux-mêmes. Le critère pratique consiste à vérifier cette version sur des tâches réelles, plutôt que de reprendre les conclusions d’autrui.
Vérification des fichiers avant comparaison
La comparaison porte sur Underdog Saluki 27B et la version d’ISTA-DASLab dans llama.cpp standard. On commence par comparer les en-têtes GGUF par tenseur. Les deux fichiers sont ensuite comparés octet par octet. Enfin, les deux modèles sont exécutés sur le même GPU afin de mesurer la mémoire et la vitesse.
| Paramètre | Saluki | ISTA |
|---|---|---|
| Dépôt | ConwayResearch/Underdog-Saluki-27B-1.0 | ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF |
| Révision | 4f60eba09f4b6db63c72915d328d97e1d93edb8c | d562806dbafae37109975e970aae91b43e73b440 |
| Fichier | Underdog-Saluki-27B-1.0-IQ2-mix.gguf | Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf |
| Taille, en octets | 7898369152 | 8422841472 |
| SHA-256 | 4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb | f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c |
La vérification confirme que les fichiers comparés sont bien ceux attendus. Toute divergence dans les en-têtes ou les octets est une raison d’interrompre l’exécution.
Environnement d’exécution et version de llama.cpp
llama.cpp est utilisé dans la version b11565 — publication du 2026-10-12, commit f9a95aeb2. Le code prend en charge les GPU NVIDIA sous Linux (Colab T4) et les Mac équipés d’Apple silicon.

La version et le commit sont fixés dans le code du guide. Sans cette précision, les mesures de mémoire et de vitesse ne sont pas reproductibles. Le critère pratique consiste à associer chaque mesure à une publication et à un commit précis.
Comment le test d’appel d’outils est organisé
Les tâches proviennent de la version v4 du Berkeley Function Calling Leaderboard (BFCL). Le test utilise 120 tâches avec un seed fixe. Cinq ensembles — simple_python, multiple, irrelevance, parallel et parallel_multiple — sont représentés par 24 tâches chacun. Les auteurs ont constitué la liste des tâches, car celle d’Underdog Bench n’a pas été publiée.
L’évaluation utilise le vérificateur standard de BFCL en modes strict et permissif. Le code du vérificateur est associé au commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. Le mode strict évalue plus sévèrement la correspondance avec la référence, tandis que le mode permissif est moins strict. Le critère pratique consiste à examiner les deux modes, sans quoi certaines divergences dans les appels risquent de passer inaperçues.
Critères pour choisir entre deux fichiers 2 bits
- Taille. Le fichier Saluki fait 7898369152 octets, le fichier ISTA 8422841472 octets.
- Précision annoncée. Environ deux bits par poids, avec préservation de l’appel d’outils.
- Mémoire et vitesse. Les deux modèles sont exécutés sur le même GPU et mesurés dans les mêmes conditions.
- Appel d’outils. 120 tâches BFCL v4 avec un seed fixe et le vérificateur standard dans deux modes.
- Reproductibilité. Version
b11565de llama.cpp, commitf9a95aeb2et commit fixe du vérificateur.
Le choix repose sur trois mesures : la mémoire, la vitesse et le résultat obtenu pour l’appel d’outils sur des tâches proches des tâches réelles. La supériorité annoncée par rapport au modèle complet de 54 GB reste une affirmation des auteurs tant qu’elle n’a pas été vérifiée indépendamment.
Foire aux questions
Matériaux connexes
Tous matériaux
Assistant d’ingénierie sur Letta : mémoire auto-actualisée, recherche dans les archives et scénarios portables
La mise en place d’un agent qui gère de manière autonome les blocs de mémoire principale, accède à une archive vectorielle et appelle des outils déterministes est examinée ; l’état partagé entre plusieurs agents, la diffusion en continu et l’exportation du workflow dans un fichier portable sont également abordés.
16 novembre 2026
CyberArena : les matchs en duel entre agents d’IA révèlent les limites des benchmarks de cybersécurité statiques
Le benchmark place deux agents dans des environnements isolés où les services évoluent en continu, puis agrège leurs actions au fil d’une série de manches en évaluations multidimensionnelles de leurs compétences offensives et défensives. Sur 466 matchs opposant 12 modèles récents, il a mis en évidence des différences de capacités là où les tests unilatéraux atteignent leurs limites, notamment en matière de planification sur plusieurs coups et de création de portes dérobées.
13 novembre 2026
OpenCollab : coordination programmable d’agents, environnement d’exécution contrôlé et mesure du respect des règles
Le framework rassemble la définition de la structure d’interaction des agents, un environnement commun pour les expérimentations et une traçabilité détaillée des événements, tandis que l’indicateur Adherence introduit mesure dans quelle mesure l’exécution réelle respecte le schéma annoncé. Dans les benchmarks, la configuration Duo atteint un nouveau niveau SOTA, tandis que la variante mono-agent se distingue par la plus faible consommation de tokens.
11 novembre 2026