DSPA ajusta as respostas do modelo de linguagem de acordo com as preferências durante a geração

26 setembro 202613 visualizações

O método associa as características do prompt às direções SAE e aplica-as às representações ativas dos tokens, sem voltar a treinar o modelo base. Os testes com Gemma-2 e Qwen3 mostraram uma melhoria nos resultados do MT-Bench; com um pequeno volume de dados de preferência, o DSPA requer até 4,47 vezes menos computação para o alinhamento do que o pipeline RAHF-SCIT.

DSPA ajusta as respostas do modelo de linguagem de acordo com as preferências durante a geração

Índice

O que é DSPA
Como o DSPA altera a geração
O que mostraram as experiências
Que sinais utiliza o método
Quando considerar o DSPA

O que é DSPA

DSPA (Dynamic SAE Steering for Preference Alignment) é um método de alinhamento de preferências na fase de inferência. Não atualiza os pesos do modelo de base, mas utiliza dados de preferências para controlar a geração.

Para isso, o método precisa de triplos de preferência. Com base neles, o DSPA constrói um mapa que associa as características do prompt às características de controlo da geração.

Como o DSPA altera a geração

Durante a descodificação, o método modifica apenas os latentes ativos para o token atual. Não afeta os restantes latentes.

Etapas principais:

O DSPA recebe triplos de preferência.
Constrói um mapa de diferença condicional entre as características do prompt e as de controlo.
Durante a descodificação, modifica os latentes ativos para o token.

O que mostraram as experiências

Com Gemma-2-2B/9B e Qwen3-8B, o método melhorou os resultados no MT-Bench. No AlpacaEval, o DSPA demonstrou ser competitivo e, em tarefas de escolha múltipla, manteve a precisão.

Com dados de preferências limitados, o método manteve-se robusto e conseguiu competir com o pipeline de duas etapas RAHF-SCIT. Para o alinhamento, o DSPA necessitou de até 4.47× menos FLOPs.

O trabalho foi aceite na Conferência Principal da EMNLP 2026. Os resultados dizem respeito aos modelos e às tarefas indicados.

Que sinais utiliza o método

Uma auditoria às características SAE modificadas mostrou que as direções de preferência estão sobretudo associadas a sinais discursivos e estilísticos.

O trabalho também apresenta uma teoria que aperfeiçoa a estimativa do mapa de diferença condicional. Esta descreve as condições em que a ablação top-k é justificada.

Quando considerar o DSPA

O método pode ser uma opção para tarefas em que é necessário alinhar preferências sem atualizar os pesos do modelo de base. Para funcionar, precisa de triplos de preferência.

Um critério prático consiste em comparar a tarefa com os resultados no MT-Bench, no AlpacaEval e em tarefas de escolha múltipla. Ao comparar com o RAHF-SCIT, os FLOPs na fase de alinhamento são considerados separadamente.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais

Notícias

Pesos ativos em vez de uma matriz completa: descodificação INT8 de um modelo de spikes na CPU

O artigo descreve uma implementação em C++ para um modelo de linguagem com gating binário por spikes: as projeções esparsas são processadas em INT8, e os cálculos consideram apenas os pesos ativos. No teste com uma única thread, a versão inicial em INT8 atingiu 23,31 tokens/s, contra 9,82 com FP32, e reduziu a memória ocupada pelos pesos de 3355,2 para 1087,4 MiB; a passagem das projeções densas para INT4 reduziu a taxa de transferência da descodificação.

27 setembro 2026

Notícias

Controlo da simetria de modelos 3D através de um espaço latente voxelizado

O artigo apresenta uma abordagem que impõe simetria rotacional, espelhada ou poliédrica por meio da transformação de latentes voxelizados e do alinhamento das previsões do modelo nas etapas de geração — sem retreinar os seus componentes principais. Testada em 266 objetos, reduziu as violações da simetria especificada em comparação com várias alternativas, mantendo a qualidade da reconstrução ao nível do modelo original.

26 setembro 2026

Notícias

Arquitetura de suporte com milhões de diálogos: separação entre pesquisa, ações e geração

Usando um serviço de reserva de alojamento como exemplo, os autores analisam a transição de um modelo único para um orquestrador limitado de operações tipadas e um gerador baseado em contexto verificado; os efeitos da arquitetura são avaliados separadamente das alterações concomitantes. Em diálogos reproduzidos, aumentou a precisão na escolha das reservas, desapareceram os erros nas ações estruturadas e diminuíram as escaladas; a otimização também reduziu a latência e os custos de manutenção do modelo, enquanto o volume de transferências de diálogos para operadores em produção não se alterou significativamente.

26 setembro 2026