Peluncuran Underdog Saluki 27B: perbandingan GGUF 2-bit dan pengujian pemanggilan alat di llama.cpp
Panduan ini mengulas perakitan Saluki berbasis Qwen3.8-27B dan perbandingannya dengan versi GSQ-RCO ISTA: mulai dari struktur GGUF dan penggunaan memori hingga perilakunya dalam tugas BFCL saat dijalankan dengan perangkat standar llama.cpp. Pembaca mendapatkan metodologi evaluasi yang dapat direproduksi dan panduan praktis untuk menggunakan kuantisasi dua bit.

Apa itu Underdog Saluki 27B
Underdog Saluki 27B adalah build Qwen3.8-27B berukuran 7.9 GB. Para pembuatnya menyatakan bahwa build ini mempertahankan pemanggilan alat dengan presisi sekitar dua bit per bobot. Dalam benchmark mereka pada 120 tugas, build ini mengungguli model penuh berukuran 54 GB. Dasarnya adalah model yang sama dari ISTA-DASLab dengan kuantisasi GSQ-RCO.
Keunggulan yang diklaim berlaku untuk benchmark buatan para pembuatnya sendiri. Kriteria praktisnya: uji build ini pada tugas kerja Anda, bukan menganggap kesimpulan pihak lain berlaku begitu saja.
Verifikasi file sebelum perbandingan
Yang dibandingkan adalah Underdog Saluki 27B dan build ISTA-DASLab dalam llama.cpp standar. Pertama, header GGUF dicocokkan berdasarkan tensor. Kemudian, kedua file dibandingkan byte demi byte. Setelah itu, kedua model dijalankan pada GPU yang sama untuk mengukur penggunaan memori dan kecepatan.
| Parameter | Saluki | ISTA |
|---|---|---|
| Repositori | ConwayResearch/Underdog-Saluki-27B-1.0 | ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF |
| Revisi | 4f60eba09f4b6db63c72915d328d97e1d93edb8c | d562806dbafae37109975e970aae91b43e73b440 |
| File | Underdog-Saluki-27B-1.0-IQ2-mix.gguf | Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf |
| Ukuran, byte | 7898369152 | 8422841472 |
| SHA-256 | 4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb | f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c |
Verifikasi ini memastikan bahwa file yang dibandingkan memang file yang diharapkan. Perbedaan pada header atau byte merupakan alasan untuk menghentikan proses.
Lingkungan eksekusi dan versi llama.cpp
llama.cpp digunakan dalam versi b11565 — rilis tanggal 2026-10-12, commit f9a95aeb2. Kode ini mendukung GPU NVIDIA di Linux (Colab T4) dan Mac dengan Apple silicon.

Versi dan commit dicantumkan secara tetap dalam kode panduan. Tanpa pencatatan seperti ini, pengukuran memori dan kecepatan tidak dapat direproduksi. Kriteria praktisnya: kaitkan setiap pengukuran dengan rilis dan commit tertentu.
Cara pemeriksaan pemanggilan alat dilakukan
Tugas diambil dari Berkeley Function Calling Leaderboard (BFCL) versi v4. Digunakan 120 tugas dengan seed tetap. Lima set — simple_python, multiple, irrelevance, parallel, dan parallel_multiple — masing-masing terdiri dari 24 tugas. Daftar tugas disusun oleh para pembuatnya karena daftar Underdog Bench tidak dipublikasikan.
Evaluasi dilakukan menggunakan pemeriksa standar BFCL dalam mode strict dan lenient. Kode pemeriksa dikaitkan dengan commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. Mode strict menilai kecocokan dengan jawaban acuan secara lebih ketat, sedangkan mode lenient lebih longgar. Kriteria praktisnya: periksa kedua mode, jika tidak, sebagian perbedaan dalam pemanggilan akan luput dari perhatian.
Kriteria memilih antara dua file 2-bit
- Ukuran. File Saluki berukuran 7898369152 byte, file ISTA berukuran 8422841472 byte.
- Presisi yang diklaim. Sekitar dua bit per bobot dengan pemanggilan alat tetap berfungsi.
- Memori dan kecepatan. Kedua model dijalankan pada GPU yang sama, dengan pengukuran dalam kondisi yang identik.
- Pemanggilan alat. 120 tugas BFCL v4 dengan seed tetap dan pemeriksa standar dalam dua mode.
- Reproduksibilitas. Versi llama.cpp
b11565, commitf9a95aeb2, dan commit pemeriksa yang ditetapkan.
Kriteria pemilihan didasarkan pada tiga pengukuran: memori, kecepatan, dan hasil pemanggilan alat pada tugas yang mendekati tugas kerja. Klaim bahwa model ini mengungguli model penuh berukuran 54 GB tetap merupakan pernyataan para pembuatnya sampai ada verifikasi independen.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Asisten teknik di Letta: memori yang memperbarui diri, pencarian arsip, dan skenario portabel
Dibahas pembuatan agen yang secara mandiri mengelola blok memori utama, mengakses arsip vektor, dan memanggil alat deterministik; selain itu, dibahas status bersama beberapa agen, keluaran streaming, serta ekspor alur kerja ke file portabel.
16 November 2026
CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis
Benchmark ini menempatkan dua agen dalam sandbox dengan layanan yang terus berubah, lalu merangkum tindakan mereka dalam serangkaian putaran menjadi skor multidimensi untuk kemampuan menyerang dan bertahan. Dalam 466 pertandingan dengan 12 model mutakhir, benchmark ini membedakan kemampuan yang tak terungkap dalam pengujian satu arah yang sudah mencapai batas atas, termasuk perencanaan beberapa langkah ke depan dan pembuatan backdoor.
13 November 2026
OpenCollab: koordinasi agen yang dapat diprogram, lingkungan eksekusi terkontrol, dan metrik kepatuhan terhadap kebijakan
Framework ini menyatukan penetapan struktur interaksi agen, lingkungan eksperimen bersama, dan pelacakan peristiwa yang terperinci, sementara metrik Adherence yang diperkenalkan menunjukkan sejauh mana pelaksanaan aktual sesuai dengan skema yang dinyatakan. Dalam benchmark, konfigurasi Duo mencapai tingkat SOTA baru, sedangkan varian agen tunggal memiliki konsumsi token terendah.
11 November 2026