Porque um resumo por bloco pode não ser suficiente
O roteamento residual em nível de bloco torna prática a agregação treinável de ligações residuais: o roteador baseia-se em resumos dos blocos. Cada resumo comprime a sequência ordenada de atualizações de atenção e MLP num único vetor cumulativo.
- O resumo preserva a contribuição total do bloco.
- Não descreve a trajetória das atualizações dentro do bloco.
Critério prático: se for importante ter um sinal aproximado do movimento do fluxo residual dentro do bloco, um único resumo cumulativo pode não ser suficiente.
Como o HAARES adiciona um sinal intrabloco
HAARES é um roteador de base residual proposto no trabalho de Kehan Wang, arXiv:2606.06564. Preserva a fonte cumulativa do bloco e adiciona uma base de detalhes com divisão ao meio.
- A base de detalhes é calculada como a diferença entre as atualizações do fluxo residual na primeira e na segunda metade do bloco.
- A base é normalizada por RMS e atualizada online.
- O roteador recebe informação aproximada sobre a trajetória intrabloco sem recorrer a roteamento denso ao nível das subcamadas.
Critério prático: o HAARES combina uma fonte cumulativa com um sinal de detalhes adicional, em vez de encaminhar cada subcamada separadamente.
Onde o efeito se manifestou nas experiências
As experiências abrangeram o OpenWebText, benchmarks de nível de carácter entre domínios e o OpenWebText com tokenização BPE. O resultado dependeu da profundidade do modelo.
| Condição | Observação |
|---|---|
| Pouca profundidade | O ganho é reduzido ou ambíguo |
| Modelos com 48 camadas | O efeito é mais estável |
| Configuração de 201M com 48 camadas | O HAARES supera o Block AttnRes com as três sementes |
| Teste de 453M com duas sementes | O resultado aponta na mesma direção |
As ablações mostram que o efeito não se explica pela duplicação de fontes, por detalhes aleatórios de sinal ou por deslocamentos fixos das fontes de detalhes. Também não pode ser explicado apenas por uma alteração do número de blocos.
Critério prático: os resultados constituem um argumento mais sólido a favor do método para modelos com 48 camadas do que para modelos com pouca profundidade.
Que custos ter em conta
A análise de custos aponta para um baixo acréscimo de FLOPs, mas não para custos de tempo nulos. O método acrescenta custos de memória e de roteamento.
- O custo aritmético relativo é amortizado à medida que aumenta a largura do modelo.
- Uma convergência mais rápida pode reduzir o tempo necessário para alcançar o resultado pretendido.
Critério prático: vale a pena avaliar o HAARES tendo em conta não só os FLOPs, mas também a memória, o roteamento e o tempo de convergência.
