Camada de classificação sobre o SpeechLLM: onde supera a geração de rótulos no reconhecimento de emoções
Com base nos conjuntos de dados IEMOCAP e MELD, comparam-se a geração de rótulos emocionais e um classificador linear aplicado às representações ocultas de uma SpeechLLM compacta. O ganho de desempenho do classificador não é universal: depende do corpus e de serem usadas transcrições de referência ou resultados de ASR.
Duas abordagens para o reconhecimento de emoções
O artigo compara a geração de um token de etiqueta por uma LLM com a classificação discriminativa usando uma cabeça linear sobre os estados ocultos da LLM. A abordagem generativa baseia-se nas representações de saída já existentes da LLM. A abordagem discriminativa acrescenta à modelo uma cabeça de classificação separada.
| Critério | Geração de token de etiqueta | Classificação discriminativa |
|---|---|---|
| Papel da LLM | Fornece representações de saída para a etiqueta | Fornece estados ocultos para a cabeça |
| Mecanismo de decisão | A LLM gera um token de etiqueta | Uma cabeça linear classifica o estado oculto |
| O que é utilizado | Saída pronta do modelo | Estados ocultos da LLM |
Na prática, a diferença é que a geração utiliza a saída pronta do modelo, enquanto a cabeça lê os estados ocultos.
Condições de comparação
As comparações foram realizadas nos conjuntos de dados IEMOCAP e MELD. Foi utilizada uma SpeechLLM compacta: um codificador Whisper-medium congelado e uma LLM de 3B. Para cada comparação, foram usadas transcrições de referência e transcrições ASR. A comparação abrange duas fontes de texto, pelo que o efeito da cabeça foi verificado separadamente para cada uma. Critério de avaliação: comparar os resultados apenas dentro do mesmo conjunto de dados e da mesma fonte de transcrição.
Onde a cabeça de classificação supera a geração de etiquetas
A cabeça de classificação melhorou o Macro F1 em 10 das 14 configurações. No IEMOCAP, melhorou todas as configurações com transcrições ASR e atingiu 76.97% de Macro F1. No mesmo conjunto, o modo apenas com fala também apresentou um aumento significativo. No MELD, a cabeça foi útil quando se utilizou apenas fala, mas não com transcrições ASR. Conclusão: o ganho depende do conjunto de dados e da fonte de transcrição. Não há uma superioridade universal em relação à geração de etiquetas.
Porque não se devem extrapolar conclusões das transcrições de referência
No MELD, as transcrições ASR têm um WER de 32.38%. Em 4 das 6 configurações com texto, o efeito da cabeça muda de sinal entre as transcrições de referência e as ASR. Por isso, as conclusões obtidas com transcrições de referência não se mantêm necessariamente com ASR. Critério prático: testar a cabeça na fonte de texto que será utilizada.
O que revelam os tokens mais próximos do vocabulário
No IEMOCAP e no MELD, os tokens do vocabulário da LLM mais próximos dos vetores de classe aprendidos eram, na sua maioria, palavras relacionadas com emoções. Não eram nomes explícitos de emoções. Isto mostra que o nome explícito de uma emoção não coincide necessariamente com o token do vocabulário mais próximo. Critério de verificação: observar quais os tokens próximos do vetor da classe, e não apenas o nome da etiqueta.
Critério de escolha
A escolha da abordagem baseia-se em dois fatores: o conjunto de dados e a fonte de transcrição.
- Para transcrições ASR, testar a cabeça com ASR, e não com o texto de referência.
- Para o modo apenas com fala, ter em conta o ganho no IEMOCAP e no MELD.
- Para transcrições de referência, não extrapolar a conclusão para ASR.
- Para interpretar as classes, observar os tokens do vocabulário da LLM mais próximos.
Critério final: a cabeça supera a geração de etiquetas quando os testes no conjunto de dados e na fonte de transcrição de destino mostram um ganho.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
Os LLM médicos sabem que as recomendações foram revistas, mas muitas vezes respondem de acordo com as regras anteriores
Um estudo da ChronoEvo sobre 1709 alterações às recomendações clínicas mostra que, no modelo principal, 90,8% das respostas assinalavam a novidade, mas apenas 58,5% a aplicavam na íntegra, e a diferença de 32,3 pontos percentuais persistia em 14 modelos. Mesmo aumentar a visibilidade das atualizações não trouxe um aumento significativo da incorporação integral das novas regras nas recomendações clínicas.
4 novembro 2026
Modelo de mundo para agentes em LLMs proprietários: correção nos pontos de risco
É proposto o PAWM — um preditor externo que não duplica a observação passo a passo, mas é acionado quando há probabilidade de falha e afasta o agente de uma ação errada. Após SFT em cenários sintéticos e co-treinamento GRPO, o método apresentou um aumento de 24,3% no ScienceWorld e de 7,7% no WebArena-Lite para o Claude Sonnet 4.5.
4 novembro 2026
Das pontuações individuais aos conjuntos admissíveis: decodificação global sob restrições DDI
O artigo compara a seleção global exata de um conjunto compatível de medicamentos, implementada através de programação linear inteira mista, com vários esquemas locais de resolução de conflitos de DDI, usando pontuações FLAME fixas no MIMIC-III. Na amostra de teste, a abordagem global apresenta uma vantagem pequena, mas consistente, em termos de Jaccard, que aumenta quando as restrições são mais rigorosas e atinge +0.0064 em relação ao método de base local mais forte.
4 novembro 2026