启动 Underdog Saluki 27B:比较 2-bit GGUF 并在 llama.cpp 中测试工具调用

18 十一月 20260 视图

本指南介绍基于 Qwen3.8-27B 构建 Saluki,并将其与 ISTA 的 GSQ-RCO 版本进行比较:内容涵盖 GGUF 结构、内存占用,以及使用 llama.cpp 标准工具运行时在 BFCL 任务中的表现。读者将获得一套可复现的评估方法,以及有关两比特量化的实用参考。

启动 Underdog Saluki 27B:比较 2-bit GGUF 并在 llama.cpp 中测试工具调用

Underdog Saluki 27B 是什么

Underdog Saluki 27B 是一个 7.9 GB 的 Qwen3.8-27B 构建版本。创建者称,它在每个权重约两位的精度下保留了工具调用能力。在他们使用 120 项任务进行的基准测试中,该构建版本的表现优于完整的 54 GB 模型。它以 ISTA-DASLab 的同一模型为基础,并采用 GSQ-RCO 量化。

所声称的优势仅针对作者自己的基准测试。实际评估标准是:在工作任务上测试该构建版本,而不是直接套用他人的结论。

比较前核验文件

比较对象为 Underdog Saluki 27B 和 ISTA-DASLab 的构建版本,均使用标准 llama.cpp。首先按张量比对 GGUF 标头。然后逐字节核对两个文件。之后在同一块 GPU 上运行两个模型,以测量内存和速度。

参数SalukiISTA
仓库ConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
修订版本4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
文件Underdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
大小(字节)78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

核验结果确认,比较的正是预期文件。若标头或字节内容不一致,应停止运行。

运行环境与 llama.cpp 版本

llama.cpp 使用 b11565 版本——发布于 2026-10-12,commit 为 f9a95aeb2。代码支持 Linux 上的 NVIDIA GPU(Colab T4)以及搭载 Apple silicon 的 Mac。

指南代码中固定了版本和 commit。若不固定这些信息,内存和速度测量结果就无法复现。实际评估标准是:将每项测量与具体版本和 commit 关联起来。

工具调用测试的设置

任务来自 Berkeley Function Calling Leaderboard (BFCL) v4 版本。使用固定 seed 的 120 项任务。五个集合——simple_python、multiple、irrelevance、parallel 和 parallel_multiple——各包含 24 项任务。Underdog Bench 的任务列表尚未公开,因此任务列表由作者编制。

评估使用 BFCL 的标准检查器,分别运行 strict 和 lenient 模式。检查器代码固定在 Gorilla 的 commit 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8。Strict 模式对与标准答案的匹配要求更严格,lenient 模式则更宽松。实际评估标准是:同时查看两种模式,否则部分调用差异可能会被忽略。

选择两个 2 比特文件的标准

  • 大小。 Saluki 文件为 7898369152 字节,ISTA 文件为 8422841472 字节。
  • 所声称的精度。 每个权重约两位,同时保留工具调用能力。
  • 内存和速度。 两个模型都在同一块 GPU 上运行,并在相同条件下进行测量。
  • 工具调用。 使用固定 seed 的 120 项 BFCL v4 任务,并通过标准检查器在两种模式下评估。
  • 可复现性。 llama.cpp 版本 b11565、commit f9a95aeb2,以及固定的检查器 commit。

选择标准基于三项测量:内存、速度,以及在接近实际工作场景的任务上的工具调用表现。在独立验证之前,优于 54 GB 完整模型的说法仍只是作者的声明。

常问问题

启动 Underdog Saluki 27B:比较 2-bit GGUF 并在 llama.cpp 中测试工具调用