Execução do Underdog Saluki 27B: comparação de GGUF de 2 bits e teste de chamadas de ferramentas no llama.cpp
O guia analisa a compilação do Saluki com base no Qwen3.8-27B e a sua comparação com a versão GSQ-RCO do ISTA: da estrutura do GGUF e do consumo de memória ao comportamento em tarefas BFCL quando executado com as ferramentas padrão do llama.cpp. O leitor obtém uma metodologia de avaliação reproduzível e orientações práticas sobre o uso de quantização de dois bits.

O que é o Underdog Saluki 27B
Underdog Saluki 27B é uma compilação do Qwen3.8-27B com 7.9 GB. Os criadores afirmam que ela mantém a chamada de ferramentas com uma precisão de cerca de dois bits por peso. No benchmark deles, com 120 tarefas, a compilação supera o modelo completo de 54 GB. A base é o mesmo modelo da ISTA-DASLab com quantização GSQ-RCO.
A vantagem alegada diz respeito ao benchmark dos próprios autores. O critério prático: testar a compilação em tarefas de trabalho, em vez de transpor conclusões de terceiros.
Verificação dos ficheiros antes da comparação
São comparados o Underdog Saluki 27B e a compilação da ISTA-DASLab no llama.cpp padrão. Primeiro, comparam-se os cabeçalhos GGUF por tensores. Em seguida, os dois ficheiros são comparados byte a byte. Depois disso, ambos os modelos são executados na mesma GPU para medir a memória e a velocidade.
| Parâmetro | Saluki | ISTA |
|---|---|---|
| Repositório | ConwayResearch/Underdog-Saluki-27B-1.0 | ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF |
| Revision | 4f60eba09f4b6db63c72915d328d97e1d93edb8c | d562806dbafae37109975e970aae91b43e73b440 |
| Ficheiro | Underdog-Saluki-27B-1.0-IQ2-mix.gguf | Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf |
| Tamanho, bytes | 7898369152 | 8422841472 |
| SHA-256 | 4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb | f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c |
A verificação confirma que estão a ser comparados os ficheiros esperados. Uma discrepância nos cabeçalhos ou nos bytes é motivo para interromper a execução.
Ambiente de execução e versão do llama.cpp
O llama.cpp é utilizado na versão b11565 — lançamento de 2026-10-12, commit f9a95aeb2. O código suporta GPUs NVIDIA em Linux (Colab T4) e Mac com Apple silicon.

A versão e o commit estão fixados no código do guia. Sem essa fixação, não é possível reproduzir as medições de memória e velocidade. O critério prático: associar cada medição a um lançamento e commit específicos.
Como funciona a verificação da chamada de ferramentas
As tarefas são provenientes da Berkeley Function Calling Leaderboard (BFCL), versão v4. São utilizadas 120 tarefas com seed fixo. Cinco conjuntos — simple_python, multiple, irrelevance, parallel e parallel_multiple — estão representados por 24 tarefas cada. A lista de tarefas foi compilada pelos autores, uma vez que a lista do Underdog Bench não foi publicada.
A avaliação é feita pelo verificador padrão da BFCL nos modos estrito e lenient. O código do verificador está associado ao commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. O modo estrito avalia com mais rigor a correspondência com a referência; o lenient é mais permissivo. O critério prático: observar ambos os modos, caso contrário, parte das discrepâncias nas chamadas passará despercebida.
Critérios para escolher entre dois ficheiros de 2 bits
- Tamanho. O ficheiro Saluki tem 7898369152 bytes; o ficheiro ISTA, 8422841472 bytes.
- Precisão alegada. Cerca de dois bits por peso, mantendo a chamada de ferramentas.
- Memória e velocidade. Ambos os modelos são executados na mesma GPU, e as medições são feitas nas mesmas condições.
- Chamada de ferramentas. 120 tarefas da BFCL v4 com seed fixo e o verificador padrão em dois modos.
- Reprodutibilidade. Versão do llama.cpp
b11565, commitf9a95aeb2e commit fixo do verificador.
O critério de escolha baseia-se em três medições: memória, velocidade e resultado da chamada de ferramentas em tarefas semelhantes às de trabalho. A alegada superioridade em relação ao modelo completo de 54 GB continua a ser uma afirmação dos autores até ser verificada de forma independente.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
Assistente de engenharia no Letta: memória autoatualizável, pesquisa em arquivo e cenários portáteis
É abordada a construção de um agente que gerencia blocos da memória principal por conta própria, acessa um arquivo vetorial e aciona ferramentas determinísticas; também são analisados o estado compartilhado entre vários agentes, a geração em fluxo e a exportação do fluxo de trabalho para um arquivo portátil.
16 novembro 2026
CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança
O benchmark coloca dois agentes em ambientes isolados com serviços em constante mudança e, após uma série de rodadas, resume as suas ações em avaliações multidimensionais de competências ofensivas e defensivas. Em 466 partidas com 12 modelos de ponta, distinguiu capacidades onde os testes unilaterais atingem o seu limite, incluindo o planeamento de vários movimentos e a criação de backdoors.
13 novembro 2026
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras
O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.
11 novembro 2026