Por que depender do rastreamento é arriscado
Em modelos baseados na arquitetura de mistura de especialistas (MoE), cada token passa por um pequeno subconjunto de "especialistas". Após o processamento, resta um rastro formal — quais especialistas foram acionados e com quais pesos. Essa trilha é conveniente para usar como explicação, mas se assemelha a uma gravação de chamadas telefônicas sem o conteúdo da conversa: dá para ver quem ligou para quem, mas não o que foi combinado.
Um preprint recente (Chen et al., arXiv:2608.17638) mostra que a interpretação baseada na trilha deixa de fora uma camada importante de informação. Os autores propõem ler não apenas a rota visível, mas também o estado interno do raciocínio do modelo. A ideia central é uma leitura em dois níveis: primeiro, um espaço semântico compacto; depois, um proxy barato reconstruído a partir da estatística comum de roteamento.
Leitor de estado em dois níveis
J64: 64 eixos em vez do vocabulário completo
O primeiro nível é construído a partir do espaço J, cujo tamanho é comparável ao vocabulário do modelo. Esse espaço é destilado em uma estrutura semântica compacta, o J64 — apenas 64 eixos. O resultado não é uma projeção temática arbitrária, mas um conjunto de invariantes treinados nos próprios estados de raciocínio do modelo.
O principal benefício do J64 é que ele enxerga estados que não aparecem na trilha visível. Dois rastros de roteamento idênticos podem esconder processos internos diferentes, e o J64 ajuda a distingui-los. Além disso, ele separa duas cargas distintas: quanto esforço o modelo investe no raciocínio e quão difícil o exemplo em si é para ele.
A validação em dados retidos mostra que o ganho na área sob a curva ROC é de 0,096–0,135 em comparação com a abordagem base, que lê o mesmo rollout como preenchimento de tokens e usa a mesma agregação. Ou seja, a melhoria vem justamente da forma de ler o estado, e não de alterações no modelo ou no formato dos dados.
R64: o mesmo panorama com estatística barata
O J64 tem uma desvantagem prática: exige acesso às representações internas do modelo. Para tornar a abordagem aplicável em produção, os autores reconstroem o J64 a partir da estatística nativa do roteamento de especialistas. Esse proxy é chamado de R64 e não gera custos adicionais significativos durante a inferência.
A correlação mediana por eixo entre R64 e J64 em três modelos e duas famílias de arquiteturas atinge 0,69–0,86. No modelo gpt-oss-20b, o R64 preserva 95–100% do ganho preditivo do J64 original. Em outras palavras, para muitas tarefas não é necessário calcular o espaço semântico completo: basta coletar a estatística do mecanismo de roteamento já existente.
Duas resoluções temporais para decisões em tempo de teste
A leitura de estado funciona não apenas como explicação a posteriori, mas também como ferramenta de tomada de decisão. Os autores consideram dois cenários: análise de candidatos concluídos e controle da geração em tempo real.
Seleção entre opções prontas
Quando o modelo já gerou várias versões de resposta, J64 e R64 melhoram a escolha de um ramo entre os candidatos. A votação ponderada foi testada separadamente: se, em vez de maioria simples, forem usados pesos do R64, o resultado supera a votação por maioria em sete de oito configurações. Isso significa que o estado oculto pode servir como um sinal mais preciso para a agregação de respostas.
Parada e reamostragem durante a geração
O segundo cenário é a geração em que a decisão precisa ser tomada conforme os tokens surgem. Janelas deslizantes de leitura alimentam uma política cumulativa de "parar e reamostrar": em determinado momento, o modelo interrompe o ramo atual e começa a gerar novamente. O ponto de operação dessa política é fixado apenas com perguntas de treinamento; portanto, no teste, o método não se ajusta a respostas conhecidas.
O J64 proporciona um ganho de precisão de 1,1–5,9 pontos em relação ao experimento de controle, que usava irmãos embaralhados. O R64, construído apenas com roteamento, preserva 0,9–3,2 pontos desse ganho. Até um proxy barato se mostra útil o suficiente para controlar a geração.
É possível alterar o raciocínio por meio do roteador
A última parte do trabalho vai além da interpretação passiva. Os pesquisadores editam o roteador de modo a afetar o mecanismo correspondente ao J64. Depois disso, o comportamento do modelo muda de forma previsível — de acordo com a interpretação do J64. O "travamento" diagnosticável do modelo se desloca da adivinhação numérica para a execução simbólica precisa.
Esse é um sinal importante: os eixos do J64 capturam não apenas correlação, mas um papel causal no raciocínio. Se a edição do roteador produz as mudanças esperadas, isso indica que o estado lido realmente participa da tomada de decisões, e não é um artefato colateral.
O rastreamento MoE continua sendo uma interface conveniente, mas grosseira demais para o modelo. A leitura em dois níveis — primeiro uma projeção semântica econômica, depois um proxy baseado em roteamento — permite enxergar o que acontece antes e além das chamadas visíveis aos especialistas. Esses "painéis internos" podem se tornar a próxima ferramenta padrão para depuração e controle de modelos grandes.
