Fusão de modelos por grupos compatíveis: o GRAM reduz a interferência entre subespaços
O método GRAM determina quais modelos ajustados devem ser combinados com base na geometria dos ângulos principais entre os seus subespaços e, em seguida, realiza uma fusão de baixa ordem dentro de grupos. A abordagem requer apenas os pesos, reduz as perdas de projeção e demonstra vantagens em experiências linguísticas, visuais e médicas.
Problema da interferência entre subespaços
A fusão de diferentes modelos num só é necessária para a implementação multitarefa. Em áreas regulamentadas, como a saúde, os dados permanecem frequentemente locais. Por isso, a combinação só é possível com pesos ajustados por fine-tuning.
Os métodos anteriores aplicam a mesma fusão a todas as tarefas. Não têm em conta as relações geométricas entre os subespaços aprendidos. Se as atualizações das tarefas ocuparem subespaços desalinhados, a projeção numa base comum de baixa dimensão descarta direções importantes. Os autores chamam a este fenómeno interferência entre subespaços.
O erro de projeção de cada tarefa é determinado pelo alinhamento dos ângulos principais. O alinhamento dos ângulos principais mostra até que ponto o subespaço da tarefa coincide com o subespaço comum. Conclusão: a fusão uniforme cria o risco de perder direções importantes para tarefas específicas.
Funcionamento do GRAM: grupos definidos pelos ângulos principais
GRAM (Group-wise Rank-Aware Model Merging) utiliza a geometria dos ângulos principais dos vetores das tarefas. O método funciona em três etapas:
- Calcular os ângulos principais entre os vetores das tarefas.
- Determinar, com base nesses ângulos, quais as tarefas que devem ser agrupadas.
- Executar uma fusão padrão baseada em SVD dentro de cada grupo.
Na etapa de fusão, o método utiliza apenas pesos ajustados por fine-tuning. Não requer acesso aos dados originais. Segundo os autores, o agrupamento de tarefas geometricamente compatíveis reduz de forma demonstrável o erro de projeção dentro de cada grupo.
Critério prático: o GRAM é adequado quando os dados não podem ser transferidos e as tarefas podem ocupar subespaços desalinhados. O método permite dividir as tarefas em grupos compatíveis antes da fusão.
O que muda com K=2
O cenário em que se adiciona apenas um modelo (K=2) demonstra o efeito do GRAM. Neste caso, o método reduz significativamente a interferência entre subespaços. Nos testes, supera de forma consistente os métodos de fusão anteriores.
As avaliações abrangem três áreas:
- compreensão da linguagem — GLUE with Flan-T5;
- visão computacional — 8-task CLIP;
- ajuste de instruções médicas — Qwen2-7B-Instruct with four English/Chinese medical LoRAs.
Conclusão: a vantagem já se manifesta na fusão de dois modelos. Para o cenário mínimo de adicionar um modelo ajustado por fine-tuning, o GRAM oferece uma opção testada para reduzir a interferência.
Critérios de seleção
A escolha entre a fusão uniforme e a abordagem por grupos depende das condições da tarefa. Abaixo estão os critérios decorrentes da descrição do GRAM.
| Critério | O que considerar |
|---|---|
| Acesso aos dados | Na fusão, apenas os pesos ajustados por fine-tuning estão disponíveis. |
| Geometria das tarefas | As tarefas podem ocupar subespaços desalinhados. |
| Risco de interferência | A projeção numa base comum pode descartar direções importantes. |
| Método de fusão | O agrupamento de tarefas compatíveis reduz o erro de projeção dentro do grupo. |
| Cenário testado | K=2: adicionar um modelo a um modelo existente. |
Conclusão prática: se os dados permanecerem locais e as tarefas forem heterogéneas quanto à geometria dos subespaços, a fusão por grupos reduz o risco de perder direções. A fusão uniforme de todas as tarefas não tem em conta esse risco.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
Avaliação de agentes de programação no desenvolvimento XR interativo: resultados do GenXR-Bench
Foi publicado o GenXR-Bench, um conjunto de 112 tarefas especializadas para avaliar de ponta a ponta agentes de programação no desenvolvimento interativo de XR: desde o aprimoramento de funcionalidades e a correção de defeitos até a criação de aplicações com verificação do comportamento em dispositivos de consumo. Entre os dez modelos testados, o melhor resultado foi de 50,9% no Pass@1; entre as falhas recorrentes estão o processamento de eventos assíncronos de sensores, a ancoragem de objetos no espaço real e a compreensão das interações em contextos físicos.
5 novembro 2026
Da recompensa escalar à fronteira de Pareto: síntese de RTL com aprendizagem por reforço multiobjetivo
É proposto um método para treinar um modelo de linguagem a gerar não apenas um esquema, mas um conjunto de candidatos RTL com diferentes compromissos entre área, latência e consumo de energia; a recompensa é calculada com base na contribuição de cada variante para o hipervolume da fronteira de Pareto. No RTLLM v2, o hipervolume relativo aumentou 13,3 p.p. em relação à versão de base sem otimização de PPA e 14,4 p.p. em relação ao treinamento por reforço com um único objetivo.
5 novembro 2026
Os LLM médicos sabem que as recomendações foram revistas, mas muitas vezes respondem de acordo com as regras anteriores
Um estudo da ChronoEvo sobre 1709 alterações às recomendações clínicas mostra que, no modelo principal, 90,8% das respostas assinalavam a novidade, mas apenas 58,5% a aplicavam na íntegra, e a diferença de 32,3 pontos percentuais persistia em 14 modelos. Mesmo aumentar a visibilidade das atualizações não trouxe um aumento significativo da incorporação integral das novas regras nas recomendações clínicas.
4 novembro 2026