Puesta en marcha de Underdog Saluki 27B: comparación de GGUF de 2 bits y prueba de llamadas a herramientas en llama.cpp
La guía analiza la compilación de Saluki basada en Qwen3.8-27B y su comparación con la versión GSQ-RCO de ISTA: desde la estructura de GGUF y el consumo de memoria hasta el comportamiento en tareas BFCL al ejecutarlo con las herramientas estándar de llama.cpp. El lector obtiene una metodología de evaluación reproducible y pautas prácticas para trabajar con cuantización de dos bits.

Qué es Underdog Saluki 27B
Underdog Saluki 27B es una versión de Qwen3.8-27B de 7.9 GB. Sus creadores afirman que conserva la llamada a herramientas con una precisión de alrededor de dos bits por peso. En su benchmark de 120 tareas, esta versión supera al modelo completo de 54 GB. La base es el mismo modelo de ISTA-DASLab con cuantización GSQ-RCO.
La ventaja declarada se refiere al benchmark de los propios autores. El criterio práctico: probar la versión con tareas reales, en lugar de extrapolar conclusiones ajenas.
Verificación de archivos antes de la comparación
Se comparan Underdog Saluki 27B y la versión de ISTA-DASLab en llama.cpp estándar. Primero se comparan los encabezados GGUF por tensores. Después, se cotejan ambos archivos byte a byte. Por último, se ejecutan los dos modelos en la misma GPU para medir la memoria y la velocidad.
| Parámetro | Saluki | ISTA |
|---|---|---|
| Repositorio | ConwayResearch/Underdog-Saluki-27B-1.0 | ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF |
| Revisión | 4f60eba09f4b6db63c72915d328d97e1d93edb8c | d562806dbafae37109975e970aae91b43e73b440 |
| Archivo | Underdog-Saluki-27B-1.0-IQ2-mix.gguf | Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf |
| Tamaño, bytes | 7898369152 | 8422841472 |
| SHA-256 | 4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb | f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c |
La verificación confirma que se están comparando los archivos esperados. Una discrepancia en los encabezados o en los bytes es motivo para detener la ejecución.
Entorno de ejecución y versión de llama.cpp
llama.cpp se utiliza en la versión b11565, publicada el 2026-10-12, commit f9a95aeb2. El código admite GPU NVIDIA en Linux (Colab T4) y Mac con Apple silicon.

La versión y el commit están fijados en el código de la guía. Sin esta fijación, no se pueden reproducir las mediciones de memoria y velocidad. El criterio práctico: vincular cada medición a una versión y un commit concretos.
Cómo se verifica la llamada a herramientas
Las tareas proceden de la versión v4 de Berkeley Function Calling Leaderboard (BFCL). Se utilizan 120 tareas con una seed fija. Cinco conjuntos —simple_python, multiple, irrelevance, parallel y parallel_multiple— están representados por 24 tareas cada uno. Los autores compilaron la lista de tareas, ya que la lista de Underdog Bench no está publicada.
La evaluación se lleva a cabo con el verificador estándar de BFCL en los modos estricto y lenient. El código del verificador está vinculado al commit de Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. El modo estricto evalúa con más rigor la coincidencia con la respuesta de referencia; el modo lenient es más permisivo. El criterio práctico: revisar ambos modos; de lo contrario, algunas discrepancias en las llamadas pasarán inadvertidas.
Criterios para elegir entre dos archivos de 2 bits
- Tamaño. El archivo de Saluki pesa 7898369152 bytes; el de ISTA, 8422841472 bytes.
- Precisión declarada. Alrededor de dos bits por peso, conservando la llamada a herramientas.
- Memoria y velocidad. Ambos modelos se ejecutan en la misma GPU y se miden en las mismas condiciones.
- Llamada a herramientas. 120 tareas de BFCL v4 con una seed fija y el verificador estándar en dos modos.
- Reproducibilidad. Versión de llama.cpp
b11565, commitf9a95aeb2y commit fijo del verificador.
El criterio de elección se basa en tres mediciones: memoria, velocidad y resultado de las llamadas a herramientas en tareas similares a las del trabajo real. La superioridad declarada frente al modelo completo de 54 GB sigue siendo una afirmación de los autores hasta que se verifique de forma independiente.
Preguntas frecuentes
Material similar
Todos los materiales
Asistente de ingeniería en Letta: memoria autoactualizable, búsqueda en archivos y escenarios portátiles
Se analiza la construcción de un agente que gestiona de forma autónoma bloques de memoria principal, consulta un archivo vectorial y ejecuta herramientas deterministas; también se abordan por separado el estado compartido entre varios agentes, la salida en streaming y la exportación del flujo de trabajo a un archivo portátil.
16 noviembre 2026
CyberArena: los enfrentamientos por parejas entre agentes de IA revelan los límites de los benchmarks estáticos de ciberseguridad
El benchmark sitúa a dos agentes en entornos aislados con servicios que cambian continuamente y, tras una serie de rondas, resume sus acciones en puntuaciones multidimensionales de habilidades ofensivas y defensivas. En 466 partidas con 12 modelos de última generación, distinguió capacidades allí donde las pruebas unidireccionales alcanzan su límite, incluido el razonamiento a varios turnos y la creación de puertas traseras.
13 noviembre 2026
OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas
El framework integra la definición de la estructura de interacción entre agentes, un entorno común para los experimentos y un seguimiento detallado de los eventos, mientras que la métrica Adherence, introducida en este trabajo, refleja hasta qué punto la ejecución real se ajusta al esquema declarado. En los benchmarks, la configuración Duo alcanza un nuevo nivel de SOTA, mientras que la variante de un solo agente destaca por consumir la menor cantidad de tokens.
11 noviembre 2026