Puesta en marcha de Underdog Saluki 27B: comparación de GGUF de 2 bits y prueba de llamadas a herramientas en llama.cpp

18 noviembre 20260 vistas

La guía analiza la compilación de Saluki basada en Qwen3.8-27B y su comparación con la versión GSQ-RCO de ISTA: desde la estructura de GGUF y el consumo de memoria hasta el comportamiento en tareas BFCL al ejecutarlo con las herramientas estándar de llama.cpp. El lector obtiene una metodología de evaluación reproducible y pautas prácticas para trabajar con cuantización de dos bits.

Puesta en marcha de Underdog Saluki 27B: comparación de GGUF de 2 bits y prueba de llamadas a herramientas en llama.cpp

Qué es Underdog Saluki 27B

Underdog Saluki 27B es una versión de Qwen3.8-27B de 7.9 GB. Sus creadores afirman que conserva la llamada a herramientas con una precisión de alrededor de dos bits por peso. En su benchmark de 120 tareas, esta versión supera al modelo completo de 54 GB. La base es el mismo modelo de ISTA-DASLab con cuantización GSQ-RCO.

La ventaja declarada se refiere al benchmark de los propios autores. El criterio práctico: probar la versión con tareas reales, en lugar de extrapolar conclusiones ajenas.

Verificación de archivos antes de la comparación

Se comparan Underdog Saluki 27B y la versión de ISTA-DASLab en llama.cpp estándar. Primero se comparan los encabezados GGUF por tensores. Después, se cotejan ambos archivos byte a byte. Por último, se ejecutan los dos modelos en la misma GPU para medir la memoria y la velocidad.

ParámetroSalukiISTA
RepositorioConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
Revisión4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
ArchivoUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
Tamaño, bytes78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

La verificación confirma que se están comparando los archivos esperados. Una discrepancia en los encabezados o en los bytes es motivo para detener la ejecución.

Entorno de ejecución y versión de llama.cpp

llama.cpp se utiliza en la versión b11565, publicada el 2026-10-12, commit f9a95aeb2. El código admite GPU NVIDIA en Linux (Colab T4) y Mac con Apple silicon.

La versión y el commit están fijados en el código de la guía. Sin esta fijación, no se pueden reproducir las mediciones de memoria y velocidad. El criterio práctico: vincular cada medición a una versión y un commit concretos.

Cómo se verifica la llamada a herramientas

Las tareas proceden de la versión v4 de Berkeley Function Calling Leaderboard (BFCL). Se utilizan 120 tareas con una seed fija. Cinco conjuntos —simple_python, multiple, irrelevance, parallel y parallel_multiple— están representados por 24 tareas cada uno. Los autores compilaron la lista de tareas, ya que la lista de Underdog Bench no está publicada.

La evaluación se lleva a cabo con el verificador estándar de BFCL en los modos estricto y lenient. El código del verificador está vinculado al commit de Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. El modo estricto evalúa con más rigor la coincidencia con la respuesta de referencia; el modo lenient es más permisivo. El criterio práctico: revisar ambos modos; de lo contrario, algunas discrepancias en las llamadas pasarán inadvertidas.

Criterios para elegir entre dos archivos de 2 bits

  • Tamaño. El archivo de Saluki pesa 7898369152 bytes; el de ISTA, 8422841472 bytes.
  • Precisión declarada. Alrededor de dos bits por peso, conservando la llamada a herramientas.
  • Memoria y velocidad. Ambos modelos se ejecutan en la misma GPU y se miden en las mismas condiciones.
  • Llamada a herramientas. 120 tareas de BFCL v4 con una seed fija y el verificador estándar en dos modos.
  • Reproducibilidad. Versión de llama.cpp b11565, commit f9a95aeb2 y commit fijo del verificador.

El criterio de elección se basa en tres mediciones: memoria, velocidad y resultado de las llamadas a herramientas en tareas similares a las del trabajo real. La superioridad declarada frente al modelo completo de 54 GB sigue siendo una afirmación de los autores hasta que se verifique de forma independiente.

Preguntas frecuentes

Material similar

Todos los materiales
Asistente de ingeniería en Letta: memoria autoactualizable, búsqueda en archivos y escenarios portátiles
¿Cómo

Asistente de ingeniería en Letta: memoria autoactualizable, búsqueda en archivos y escenarios portátiles

Se analiza la construcción de un agente que gestiona de forma autónoma bloques de memoria principal, consulta un archivo vectorial y ejecuta herramientas deterministas; también se abordan por separado el estado compartido entre varios agentes, la salida en streaming y la exportación del flujo de trabajo a un archivo portátil.

16 noviembre 2026
CyberArena: los enfrentamientos por parejas entre agentes de IA revelan los límites de los benchmarks estáticos de ciberseguridad
Noticias

CyberArena: los enfrentamientos por parejas entre agentes de IA revelan los límites de los benchmarks estáticos de ciberseguridad

El benchmark sitúa a dos agentes en entornos aislados con servicios que cambian continuamente y, tras una serie de rondas, resume sus acciones en puntuaciones multidimensionales de habilidades ofensivas y defensivas. En 466 partidas con 12 modelos de última generación, distinguió capacidades allí donde las pruebas unidireccionales alcanzan su límite, incluido el razonamiento a varios turnos y la creación de puertas traseras.

13 noviembre 2026
OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas
Noticias

OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas

El framework integra la definición de la estructura de interacción entre agentes, un entorno común para los experimentos y un seguimiento detallado de los eventos, mientras que la métrica Adherence, introducida en este trabajo, refleja hasta qué punto la ejecución real se ajusta al esquema declarado. En los benchmarks, la configuración Duo alcanza un nuevo nivel de SOTA, mientras que la variante de un solo agente destaca por consumir la menor cantidad de tokens.

11 noviembre 2026
Puesta en marcha de Underdog Saluki 27B: comparación de GGUF de 2 bits y prueba de llamadas a herramientas en llama.cpp