Запуск Underdog Saluki 27B: сравнение 2-битных GGUF и проверка вызова инструментов в llama.cpp
Руководство разбирает сборку Saluki на базе Qwen3.8-27B и её сопоставление с GSQ-RCO-версией ISTA: от структуры GGUF и потребления памяти до поведения в задачах BFCL при запуске стандартными средствами llama.cpp. Читатель получает воспроизводимую методику оценки и практические ориентиры по работе с двухбитным квантованием.

Что представляет собой Underdog Saluki 27B
Underdog Saluki 27B — сборка Qwen3.8-27B размером 7.9 GB. Создатели заявляют, что она сохраняет вызов инструментов при точности около двух бит на вес. В их бенчмарке на 120 задачах сборка превосходит полную модель размером 54 GB. Основой стала та же модель от ISTA-DASLab с квантованием GSQ-RCO.
Заявленное преимущество относится к бенчмарку самих авторов. Практический критерий: проверять сборку на рабочих задачах, а не переносить чужой вывод.
Сверка файлов перед сравнением
Сравниваются Underdog Saluki 27B и сборка ISTA-DASLab в стандартном llama.cpp. Сначала сопоставляются заголовки GGUF по тензорам. Затем два файла сверяются побайтно. После этого обе модели запускаются на одном GPU для замера памяти и скорости.
| Параметр | Saluki | ISTA |
|---|---|---|
| Репозиторий | ConwayResearch/Underdog-Saluki-27B-1.0 | ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF |
| Revision | 4f60eba09f4b6db63c72915d328d97e1d93edb8c | d562806dbafae37109975e970aae91b43e73b440 |
| Файл | Underdog-Saluki-27B-1.0-IQ2-mix.gguf | Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf |
| Размер, байт | 7898369152 | 8422841472 |
| SHA-256 | 4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb | f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c |
Сверка подтверждает, что сравниваются именно ожидаемые файлы. Расхождение в заголовках или в байтах — повод остановить запуск.
Среда запуска и версия llama.cpp
llama.cpp используется в версии b11565 — выпуск от 2026-10-12, commit f9a95aeb2. Код поддерживает NVIDIA GPU на Linux (Colab T4) и Mac на Apple silicon.

Версия и commit зафиксированы в коде руководства. Без такой фиксации замеры памяти и скорости не воспроизвести. Практический критерий: привязывать любой замер к конкретному выпуску и commit.
Как устроена проверка вызова инструментов
Задачи взяты из Berkeley Function Calling Leaderboard (BFCL) версии v4. Используются 120 задач с фиксированным seed. Пять наборов — simple_python, multiple, irrelevance, parallel и parallel_multiple — представлены по 24 задачи. Список задач составили авторы, поскольку список Underdog Bench не опубликован.
Разбор идёт штатным чекером BFCL в строгом и lenient-режимах. Код чекера привязан к commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. Строгий режим жёстче оценивает совпадение с эталоном, lenient — мягче. Практический критерий: смотреть на оба режима, иначе часть расхождений в вызовах останется незаметной.
Критерии выбора между двумя 2-битными файлами
- Размер. Файл Saluki — 7898369152 байт, файл ISTA — 8422841472 байт.
- Заявленная точность. Около двух бит на вес с сохранением вызова инструментов.
- Память и скорость. Обе модели запускаются на одном GPU, замеры идут в одинаковых условиях.
- Вызов инструментов. 120 задач BFCL v4 с фиксированным seed и штатным чекером в двух режимах.
- Воспроизводимость. Версия llama.cpp
b11565, commitf9a95aeb2и фиксированный commit чекера.
Критерий выбора строится на трёх замерах: память, скорость и результат по вызову инструментов на задачах, близких к рабочим. Заявленное превосходство над полной моделью размером 54 GB остаётся утверждением авторов до независимой проверки.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Инженерный помощник на Letta: самообновляемая память, архивный поиск и переносимые сценарии
Разбирается сборка агента, который самостоятельно ведёт блоки основной памяти, обращается к векторному архиву и вызывает детерминированные инструменты; отдельно рассматриваются общее состояние нескольких агентов, потоковая выдача и экспорт рабочего процесса в переносимый файл.
16 ноября 2026
CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков
Бенчмарк помещает двух агентов в песочницы с непрерывно меняющимися сервисами и по итогам серии раундов сводит их действия к многомерным оценкам наступательных и оборонительных навыков. На 466 матчах с 12 современными моделями он различил возможности там, где односторонние тесты упираются в потолок, включая планирование на несколько ходов и создание бэкдоров.
13 ноября 2026
OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента
Фреймворк сводит воедино задание структуры взаимодействия агентов, общее окружение для экспериментов и подробную трассировку событий, а вводимый показатель Adherence отражает, насколько реальное выполнение соответствует заявленной схеме. В бенчмарках конфигурация Duo выходит на новый уровень SOTA, тогда как одноагентный вариант отличается наименьшим расходом токенов.
11 ноября 2026