Peluncuran Underdog Saluki 27B: perbandingan GGUF 2-bit dan pengujian pemanggilan alat di llama.cpp

18 November 20260 tampilan

Panduan ini mengulas perakitan Saluki berbasis Qwen3.8-27B dan perbandingannya dengan versi GSQ-RCO ISTA: mulai dari struktur GGUF dan penggunaan memori hingga perilakunya dalam tugas BFCL saat dijalankan dengan perangkat standar llama.cpp. Pembaca mendapatkan metodologi evaluasi yang dapat direproduksi dan panduan praktis untuk menggunakan kuantisasi dua bit.

Peluncuran Underdog Saluki 27B: perbandingan GGUF 2-bit dan pengujian pemanggilan alat di llama.cpp

Apa itu Underdog Saluki 27B

Underdog Saluki 27B adalah build Qwen3.8-27B berukuran 7.9 GB. Para pembuatnya menyatakan bahwa build ini mempertahankan pemanggilan alat dengan presisi sekitar dua bit per bobot. Dalam benchmark mereka pada 120 tugas, build ini mengungguli model penuh berukuran 54 GB. Dasarnya adalah model yang sama dari ISTA-DASLab dengan kuantisasi GSQ-RCO.

Keunggulan yang diklaim berlaku untuk benchmark buatan para pembuatnya sendiri. Kriteria praktisnya: uji build ini pada tugas kerja Anda, bukan menganggap kesimpulan pihak lain berlaku begitu saja.

Verifikasi file sebelum perbandingan

Yang dibandingkan adalah Underdog Saluki 27B dan build ISTA-DASLab dalam llama.cpp standar. Pertama, header GGUF dicocokkan berdasarkan tensor. Kemudian, kedua file dibandingkan byte demi byte. Setelah itu, kedua model dijalankan pada GPU yang sama untuk mengukur penggunaan memori dan kecepatan.

ParameterSalukiISTA
RepositoriConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
Revisi4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
FileUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
Ukuran, byte78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

Verifikasi ini memastikan bahwa file yang dibandingkan memang file yang diharapkan. Perbedaan pada header atau byte merupakan alasan untuk menghentikan proses.

Lingkungan eksekusi dan versi llama.cpp

llama.cpp digunakan dalam versi b11565 — rilis tanggal 2026-10-12, commit f9a95aeb2. Kode ini mendukung GPU NVIDIA di Linux (Colab T4) dan Mac dengan Apple silicon.

Versi dan commit dicantumkan secara tetap dalam kode panduan. Tanpa pencatatan seperti ini, pengukuran memori dan kecepatan tidak dapat direproduksi. Kriteria praktisnya: kaitkan setiap pengukuran dengan rilis dan commit tertentu.

Cara pemeriksaan pemanggilan alat dilakukan

Tugas diambil dari Berkeley Function Calling Leaderboard (BFCL) versi v4. Digunakan 120 tugas dengan seed tetap. Lima set — simple_python, multiple, irrelevance, parallel, dan parallel_multiple — masing-masing terdiri dari 24 tugas. Daftar tugas disusun oleh para pembuatnya karena daftar Underdog Bench tidak dipublikasikan.

Evaluasi dilakukan menggunakan pemeriksa standar BFCL dalam mode strict dan lenient. Kode pemeriksa dikaitkan dengan commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. Mode strict menilai kecocokan dengan jawaban acuan secara lebih ketat, sedangkan mode lenient lebih longgar. Kriteria praktisnya: periksa kedua mode, jika tidak, sebagian perbedaan dalam pemanggilan akan luput dari perhatian.

Kriteria memilih antara dua file 2-bit

  • Ukuran. File Saluki berukuran 7898369152 byte, file ISTA berukuran 8422841472 byte.
  • Presisi yang diklaim. Sekitar dua bit per bobot dengan pemanggilan alat tetap berfungsi.
  • Memori dan kecepatan. Kedua model dijalankan pada GPU yang sama, dengan pengukuran dalam kondisi yang identik.
  • Pemanggilan alat. 120 tugas BFCL v4 dengan seed tetap dan pemeriksa standar dalam dua mode.
  • Reproduksibilitas. Versi llama.cpp b11565, commit f9a95aeb2, dan commit pemeriksa yang ditetapkan.

Kriteria pemilihan didasarkan pada tiga pengukuran: memori, kecepatan, dan hasil pemanggilan alat pada tugas yang mendekati tugas kerja. Klaim bahwa model ini mengungguli model penuh berukuran 54 GB tetap merupakan pernyataan para pembuatnya sampai ada verifikasi independen.

Pertanyaan yang sering ditanyakan

Peluncuran Underdog Saluki 27B: perbandingan GGUF 2-bit dan pengujian pemanggilan alat di llama.cpp