Execução do Underdog Saluki 27B: comparação de GGUF de 2 bits e teste de chamadas de ferramentas no llama.cpp

18 novembro 20260 visualizações

O guia analisa a compilação do Saluki com base no Qwen3.8-27B e a sua comparação com a versão GSQ-RCO do ISTA: da estrutura do GGUF e do consumo de memória ao comportamento em tarefas BFCL quando executado com as ferramentas padrão do llama.cpp. O leitor obtém uma metodologia de avaliação reproduzível e orientações práticas sobre o uso de quantização de dois bits.

Execução do Underdog Saluki 27B: comparação de GGUF de 2 bits e teste de chamadas de ferramentas no llama.cpp

O que é o Underdog Saluki 27B

Underdog Saluki 27B é uma compilação do Qwen3.8-27B com 7.9 GB. Os criadores afirmam que ela mantém a chamada de ferramentas com uma precisão de cerca de dois bits por peso. No benchmark deles, com 120 tarefas, a compilação supera o modelo completo de 54 GB. A base é o mesmo modelo da ISTA-DASLab com quantização GSQ-RCO.

A vantagem alegada diz respeito ao benchmark dos próprios autores. O critério prático: testar a compilação em tarefas de trabalho, em vez de transpor conclusões de terceiros.

Verificação dos ficheiros antes da comparação

São comparados o Underdog Saluki 27B e a compilação da ISTA-DASLab no llama.cpp padrão. Primeiro, comparam-se os cabeçalhos GGUF por tensores. Em seguida, os dois ficheiros são comparados byte a byte. Depois disso, ambos os modelos são executados na mesma GPU para medir a memória e a velocidade.

ParâmetroSalukiISTA
RepositórioConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
Revision4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
FicheiroUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
Tamanho, bytes78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

A verificação confirma que estão a ser comparados os ficheiros esperados. Uma discrepância nos cabeçalhos ou nos bytes é motivo para interromper a execução.

Ambiente de execução e versão do llama.cpp

O llama.cpp é utilizado na versão b11565 — lançamento de 2026-10-12, commit f9a95aeb2. O código suporta GPUs NVIDIA em Linux (Colab T4) e Mac com Apple silicon.

A versão e o commit estão fixados no código do guia. Sem essa fixação, não é possível reproduzir as medições de memória e velocidade. O critério prático: associar cada medição a um lançamento e commit específicos.

Como funciona a verificação da chamada de ferramentas

As tarefas são provenientes da Berkeley Function Calling Leaderboard (BFCL), versão v4. São utilizadas 120 tarefas com seed fixo. Cinco conjuntos — simple_python, multiple, irrelevance, parallel e parallel_multiple — estão representados por 24 tarefas cada. A lista de tarefas foi compilada pelos autores, uma vez que a lista do Underdog Bench não foi publicada.

A avaliação é feita pelo verificador padrão da BFCL nos modos estrito e lenient. O código do verificador está associado ao commit Gorilla 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8. O modo estrito avalia com mais rigor a correspondência com a referência; o lenient é mais permissivo. O critério prático: observar ambos os modos, caso contrário, parte das discrepâncias nas chamadas passará despercebida.

Critérios para escolher entre dois ficheiros de 2 bits

  • Tamanho. O ficheiro Saluki tem 7898369152 bytes; o ficheiro ISTA, 8422841472 bytes.
  • Precisão alegada. Cerca de dois bits por peso, mantendo a chamada de ferramentas.
  • Memória e velocidade. Ambos os modelos são executados na mesma GPU, e as medições são feitas nas mesmas condições.
  • Chamada de ferramentas. 120 tarefas da BFCL v4 com seed fixo e o verificador padrão em dois modos.
  • Reprodutibilidade. Versão do llama.cpp b11565, commit f9a95aeb2 e commit fixo do verificador.

O critério de escolha baseia-se em três medições: memória, velocidade e resultado da chamada de ferramentas em tarefas semelhantes às de trabalho. A alegada superioridade em relação ao modelo completo de 54 GB continua a ser uma afirmação dos autores até ser verificada de forma independente.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Assistente de engenharia no Letta: memória autoatualizável, pesquisa em arquivo e cenários portáteis
Como-fazer

Assistente de engenharia no Letta: memória autoatualizável, pesquisa em arquivo e cenários portáteis

É abordada a construção de um agente que gerencia blocos da memória principal por conta própria, acessa um arquivo vetorial e aciona ferramentas determinísticas; também são analisados o estado compartilhado entre vários agentes, a geração em fluxo e a exportação do fluxo de trabalho para um arquivo portátil.

16 novembro 2026
CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança
Notícias

CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança

O benchmark coloca dois agentes em ambientes isolados com serviços em constante mudança e, após uma série de rodadas, resume as suas ações em avaliações multidimensionais de competências ofensivas e defensivas. Em 466 partidas com 12 modelos de ponta, distinguiu capacidades onde os testes unilaterais atingem o seu limite, incluindo o planeamento de vários movimentos e a criação de backdoors.

13 novembro 2026
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras
Notícias

OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras

O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.

11 novembro 2026
Execução do Underdog Saluki 27B: comparação de GGUF de 2 bits e teste de chamadas de ferramentas no llama.cpp