Запуск Underdog Saluki 27B: сравнение 2-битных GGUF и проверка вызова инструментов в llama.cpp

18 ноября 20260 просмотров

Руководство разбирает сборку Saluki на базе Qwen3.8-27B и её сопоставление с GSQ-RCO-версией ISTA: от структуры GGUF и потребления памяти до поведения в задачах BFCL при запуске стандартными средствами llama.cpp. Читатель получает воспроизводимую методику оценки и практические ориентиры по работе с двухбитным квантованием.

Запуск Underdog Saluki 27B: сравнение 2-битных GGUF и проверка вызова инструментов в llama.cpp

Что представляет собой Underdog Saluki 27B

Underdog Saluki 27B — сборка Qwen3.8-27B размером 7.9 GB. Создатели заявляют, что она сохраняет вызов инструментов при точности около двух бит на вес. В их бенчмарке на 120 задачах сборка превосходит полную модель размером 54 GB. Основой стала та же модель от ISTA-DASLab с квантованием GSQ-RCO.

Заявленное преимущество относится к бенчмарку самих авторов. Практический критерий: проверять сборку на рабочих задачах, а не переносить чужой вывод.

Сверка файлов перед сравнением

Сравниваются Underdog Saluki 27B и сборка ISTA-DASLab в стандартном llama.cpp. Сначала сопоставляются заголовки GGUF по тензорам. Затем два файла сверяются побайтно. После этого обе модели запускаются на одном GPU для замера памяти и скорости.

ПараметрSalukiISTA
РепозиторийConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
Revision4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
ФайлUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
Размер, байт78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

Сверка подтверждает, что сравниваются именно ожидаемые файлы. Расхождение в заголовках или в байтах — повод остановить запуск.

Среда запуска и версия llama.cpp

llama.cpp используется в версии b11565 — выпуск от 2026-10-12, commit f9a95aeb2. Код поддерживает NVIDIA GPU на Linux (Colab T4) и Mac на Apple silicon.

Версия и commit зафиксированы в коде руководства. Без такой фиксации замеры памяти и скорости не воспроизвести. Практический критерий: привязывать любой замер к конкретному выпуску и commit.

Как устроена проверка вызова инструментов

Задачи взяты из Berkeley Function Calling Leaderboard (BFCL) версии v4. Используются 120 задач с фиксированным seed. Пять наборов — simple_python, multiple, irrelevance, parallel и parallel_multiple — представлены по 24 задачи. Список задач составили авторы, поскольку список Underdog Bench не опубликован.

Разбор идёт штатным чекером BFCL в строгом и lenient-режимах. Код чекера привязан к commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. Строгий режим жёстче оценивает совпадение с эталоном, lenient — мягче. Практический критерий: смотреть на оба режима, иначе часть расхождений в вызовах останется незаметной.

Критерии выбора между двумя 2-битными файлами

  • Размер. Файл Saluki — 7898369152 байт, файл ISTA — 8422841472 байт.
  • Заявленная точность. Около двух бит на вес с сохранением вызова инструментов.
  • Память и скорость. Обе модели запускаются на одном GPU, замеры идут в одинаковых условиях.
  • Вызов инструментов. 120 задач BFCL v4 с фиксированным seed и штатным чекером в двух режимах.
  • Воспроизводимость. Версия llama.cpp b11565, commit f9a95aeb2 и фиксированный commit чекера.

Критерий выбора строится на трёх замерах: память, скорость и результат по вызову инструментов на задачах, близких к рабочим. Заявленное превосходство над полной моделью размером 54 GB остаётся утверждением авторов до независимой проверки.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Инженерный помощник на Letta: самообновляемая память, архивный поиск и переносимые сценарии
Инструкции

Инженерный помощник на Letta: самообновляемая память, архивный поиск и переносимые сценарии

Разбирается сборка агента, который самостоятельно ведёт блоки основной памяти, обращается к векторному архиву и вызывает детерминированные инструменты; отдельно рассматриваются общее состояние нескольких агентов, потоковая выдача и экспорт рабочего процесса в переносимый файл.

16 ноября 2026
CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков
Новости

CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков

Бенчмарк помещает двух агентов в песочницы с непрерывно меняющимися сервисами и по итогам серии раундов сводит их действия к многомерным оценкам наступательных и оборонительных навыков. На 466 матчах с 12 современными моделями он различил возможности там, где односторонние тесты упираются в потолок, включая планирование на несколько ходов и создание бэкдоров.

13 ноября 2026
OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента
Новости

OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента

Фреймворк сводит воедино задание структуры взаимодействия агентов, общее окружение для экспериментов и подробную трассировку событий, а вводимый показатель Adherence отражает, насколько реальное выполнение соответствует заявленной схеме. В бенчмарках конфигурация Duo выходит на новый уровень SOTA, тогда как одноагентный вариант отличается наименьшим расходом токенов.

11 ноября 2026
Underdog Saluki 27B: запуск, сравнение и вызов инструментов