MAPLE: transferência de orçamento de especialistas roteados entre camadas de um modelo MoE sem alterar os pesos
O trabalho mostra que um número único de especialistas roteados para todas as camadas perde sistematicamente para uma distribuição desigual, e propõe um mecanismo plugável baseado na avaliação da sensibilidade das camadas. Em quatro modelos MoE, a abordagem com 75% do orçamento de especialistas supera tanto o esquema uniforme quanto o corte de especialistas, e no SGLang reduz a latência de serviço em 32,2% e aumenta a taxa de transferência em 47,4%.

O problema do orçamento uniforme de especialistas
Os transformers MoE com ativação esparsa fixam o mesmo número de especialistas roteados em todas as camadas. Isso ignora a heterogeneidade documentada de redundância entre as camadas.
O MAPLE é um framework plug-and-play. Ele redistribui o orçamento de especialistas roteados entre as camadas de qualquer MoE LLM pré-treinado. O método não altera os pesos e não requer retreinamento.
Propriedades principais:
- Distribuição heterogênea do orçamento entre as camadas.
- Ausência de alteração nos pesos do modelo.
- Ausência de retreinamento.
- Aplicabilidade a MoE LLM pré-treinado.
Critério prático: a abordagem é necessária quando se deseja alterar a distribuição de especialistas sem alterar os pesos e sem retreinamento.

Sensibilidade das camadas e fórmula fechada
O MAPLE sonda cada camada. O método verifica a reação da camada à mudança no número de especialistas. A sensibilidade é quantificada por três medidas.
Etapas da transferência de orçamento:
- Sondagem de cada camada.
- Avaliação da reação à mudança no número de especialistas.
- Quantificação da sensibilidade por três medidas.
- Derivação da distribuição de orçamento analiticamente ótima.
- Refinamento por busca genética com restrição de sensibilidade.
A distribuição analítica direciona a capacidade para as camadas sensíveis. Nas camadas redundantes, a redução do orçamento é absorvida. A busca genética usa a sensibilidade por camada como prior. Isso proporciona convergência mais rápida e melhor qualidade de distribuição.
Conclusão: a transferência de orçamento baseia-se na sensibilidade mensurável, e não em uma regra uniforme.

Comparação com abordagens uniformes e baseadas em pruning
O MAPLE supera baselines uniformes e baseados em pruning em quatro modelos MoE de diferentes escalas e arquiteturas. A comparação ocorre com 75% do orçamento de especialistas roteados.
| Variante | Orçamento de especialistas roteados | Resultado |
|---|---|---|
| Baseline uniforme | 75% | Inferior ao MAPLE |
| Baseline baseado em pruning | 75% | Inferior ao MAPLE |
| MAPLE | 75% | Superior a ambos os baselines |
| Baseline uniforme | 100% | Inferior ao MAPLE com 75% no DeepSeek-MoE-16B em ARC-E, ARC-C e BoolQ |
No DeepSeek-MoE-16B, o MAPLE usa apenas 75% dos especialistas. Ainda assim, supera o baseline uniforme original de 100% em ARC-E, ARC-C e BoolQ.
Aumento da precisão:
- ARC-E: de 65,09 para 71,40.
- ARC-C: de 48,49 para 51,50.
- BoolQ: de 80,03 para 82,38.
Conclusão: a distribuição heterogênea pode ser mais eficaz do que simplesmente ativar um número maior de especialistas.

Eficiência no serving com SGLang
A implementação do MAPLE no SGLang reduz a latência end-to-end do serving em uma única GPU em 32,2%. A taxa de transferência cresce 47,4%.
O método não altera os pesos. Por isso, pode ser integrado ao stack de serving MoE existente. Isso torna a transferência de orçamento uma alavanca prática para a inferência.
Critério prático: para serving em GPU única via SGLang, o método proporciona redução de latência e aumento da taxa de transferência.
Critérios de escolha
Vale considerar o MAPLE em várias situações:
- É preciso reduzir o orçamento de especialistas roteados sem retreinamento.
- O modelo é um MoE LLM pré-treinado.
- É necessário considerar a heterogeneidade por camada, e não uma regra uniforme.
- É preciso aumentar a eficiência da inferência MoE.
Conclusão: a distribuição heterogênea de especialistas torna-se um eixo fundamental e prático para aumentar a eficiência do MoE.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino
Este trabalho avalia se uma LLM consegue recorrer a uma competência simbólica básica — construir uma base de dados SQL a partir de documentos de origem — para fundamentar as respostas nas fontes sem supervisão na deteção de alucinações. No RAGTruth e no DiaHalu, este pipeline neuro-simbólico revela-se mais preciso do que a previsão direta e comparável aos métodos mais avançados, sem exigir afinação específica ao domínio.
9 novembro 2026
MathAdv: o que esconde a precisão final das provas geradas por máquina
Um conjunto de tarefas de diagnóstico em 13 áreas da matemática de nível universitário e de pós-graduação avalia sistemas de demonstração automática em Lean 4 não só pelo resultado final, mas também pelo domínio da matéria, pela qualidade do raciocínio informal e pela robustez perante reformulações das condições. A análise por componente mostra que traduzir um problema para uma forma formal continua a ser o principal obstáculo, e que o sucesso depende muito da área da matemática e da forma como o problema é formulado.
9 novembro 2026
AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador
O trabalho descreve um modelo generativo que prevê simultaneamente observações RGB futuras, campos escalares, mapas de calor de affordances e comandos contínuos para o robô, usando vídeos humanos para ampliar a diversidade das interações sem anotações de ações nem retargeting. No RoboCasa, no CALVIN ABC→D e em tarefas reais, a abordagem apresenta ganhos consistentes em relação às linhas de base que usam apenas RGB e apenas dados robóticos.
9 novembro 2026