Qué recibe el router
En los modelos de lenguaje MoE, el router elige a los expertos y les asigna pesos según el estado oculto del token. Para ello, utiliza información contextual limitada.
Attention-Aware Routing (AAR) complementa esta señal con características temporales y espectrales. Estas se extraen de una ventana deslizante de los pesos de atención.
- El enrutamiento convencional se basa en el estado oculto del token.
- AAR añade características de atención que resumen el estado contextual por separado del estado oculto.
Criterio práctico: al analizar la elección de expertos, hay que distinguir entre la señal del token y el resumen contextual adicional.
Cómo funciona AAR
AAR obtiene características temporales y espectrales de una ventana deslizante de los pesos de atención. Así, el router utiliza una señal contextual separada del estado oculto del token.
Los autores mantienen el transformador base completamente congelado y entrenan solo los parámetros de enrutamiento. Esto permite estudiar el enrutamiento como única variable modificable.
El criterio para evaluar el método es separar el efecto del enrutamiento de los cambios en los demás parámetros del modelo.
Por qué el enrutamiento cambia la atención
El enrutamiento y la atención están conectados a través de la secuencia de capas. Los cambios en el enrutamiento en la capa l se propagan por el flujo residual y amplifican los sumideros de atención en la capa l+1.
Esto cambia la atención sin actualizar directamente su mecanismo. Por tanto, la elección de expertos puede influir en el procesamiento posterior del contexto.
Al analizar los resultados, es importante tener en cuenta esta conexión: aquí la atención no es solo una señal de entrada para el router, sino también parte de la cadena de consecuencias del enrutamiento.
Qué mostraron los resultados
En OLMoE, AAR mejoró el resultado de GSM8K en 3,37 puntos porcentuales con respecto a la variante base de SFT solo con enrutamiento.
| Métrica | Resultado de AAR |
|---|---|
| GSM8K | +3,37 puntos porcentuales con respecto a la variante base |
| Respuestas incorrectas | Se volvieron más cortas en las generaciones largas divergentes |
| Respuestas correctas | La longitud no cambió |
Estos resultados describen una evaluación concreta. No demuestran que AAR tenga el mismo efecto en todas las tareas.
Al comparar variantes, conviene tener en cuenta por separado el resultado en la tarea y la longitud de la generación: ambos indicadores cambiaron de forma distinta.
Por qué importa en qué capas se activa AAR
El efecto de AAR depende de la profundidad. Si se aplica indiscriminadamente en distintas capas, la calidad de la recuperación factual puede disminuir.
Al aplicarlo en capas más profundas, se mantienen las ventajas en el razonamiento matemático. Esto pone de manifiesto un conflicto entre la recuperación de información y el razonamiento a distintas profundidades.
- Para evaluar la recuperación factual, es importante comprobar si la aplicación de AAR en distintas capas la perjudica.
- Para el razonamiento matemático, es importante tener en cuenta el resultado en las capas más profundas.
- La aplicación selectiva permite investigar qué información para el enrutamiento aporta la atención a cada profundidad.
El criterio práctico es evaluar las capas por separado, en lugar de considerar que la señal de atención es igual de útil en toda la profundidad del modelo.
