TeachBack: o ajuste bidirecional de preferências ensina o modelo-mentor a investigar a tarefa, em vez de repetir a resposta de referência
É proposto o método TeachBack, que, durante a autodestilação com a sua própria política, leva o professor a desenvolver uma estratégia para resolver novamente o problema, em vez de se apoiar numa solução de referência privilegiada. Em tarefas de raciocínio matemático e lógico, demonstra-se um aumento consistente da qualidade do aluno em relação aos esquemas OPSD conhecidos.
Porque é que um Teacher preciso não garante uma supervisão útil
A destilação própria on-policy (OPSD) permite que um modelo de linguagem aprenda com um Teacher. O Teacher baseia-se no mesmo modelo, mas tem acesso a informação privilegiada. Um exemplo dessa informação é a solução de referência. O acesso a essa informação permite ao Teacher gerar trajetórias muito precisas.
No entanto, a precisão das trajetórias não garante que sejam adequadas para o Student. O acesso à solução completa pode levar a raciocínios abreviados. A causa desses raciocínios é a solução de referência. Neles, faltam exploração, verificação e autocorreção. Estes elementos são necessários para resolver tarefas sem informação privilegiada.
Características de uma trajetória adequada para treinar o Student:
- explora a tarefa;
- inclui a verificação dos passos intermédios;
- demonstra autocorreção;
- não reproduz um raciocínio abreviado com base na solução de referência.
Critério prático: avaliar a supervisão pela estrutura do raciocínio, e não apenas pela correção da resposta.
Como o TeachBack altera o comportamento do Teacher
O TeachBack é uma framework de aprendizagem bidirecional por preferências para OPSD. Ensina o Student com a ajuda do Teacher. Também molda a forma como o Teacher deve ensinar.
A framework regula o comportamento do Teacher de duas formas:
- regula o comprimento do sufixo do raciocínio com base na solução de referência no prompt;
- altera o estilo do prompt.
Com uma precisão comparável, o Teacher começa a explorar a tarefa e a resolvê-la de novo. O Teacher passa a depender menos da solução de referência.
Critério prático: verificar se o Teacher reproduz a exploração e a verificação. Um raciocínio abreviado com base na solução de referência não é adequado para treinar o Student sem informação privilegiada.
Mecânica das preferências bidirecionais
A cada atualização de rollout, a política partilhada gera duas trajetórias. A primeira é a trajetória privilegiada do Teacher. A segunda é a trajetória do Student, que só tem acesso ao enunciado da tarefa.
A função de preferência por pares utiliza as trajetórias privilegiadas do Teacher para melhorar o treino do Student. A preferência inversa utiliza o comportamento do Student. Esse comportamento molda a supervisão futura do Teacher em condições privilegiadas.
| Direção | Base da preferência | O que é melhorado |
|---|---|---|
| Preferência direta | Trajetórias privilegiadas do Teacher | Treino do Student |
| Preferência inversa | Comportamento do Student | Supervisão futura do Teacher em condições privilegiadas |
Critério prático: a existência de uma preferência inversa que utilize o comportamento do Student.
O que mostram as experiências
As experiências avaliam o TeachBack em tarefas de raciocínio. Resultados:
- tarefas — raciocínio matemático e lógico;
- base de comparação — métodos OPSD existentes e métodos de base relacionados;
- efeito — melhoria consistente dos resultados do Student.
Critério prático de seleção: tarefas de raciocínio em que o Student resolve a tarefa sem a solução de referência.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
Avaliação de agentes de programação no desenvolvimento XR interativo: resultados do GenXR-Bench
Foi publicado o GenXR-Bench, um conjunto de 112 tarefas especializadas para avaliar de ponta a ponta agentes de programação no desenvolvimento interativo de XR: desde o aprimoramento de funcionalidades e a correção de defeitos até a criação de aplicações com verificação do comportamento em dispositivos de consumo. Entre os dez modelos testados, o melhor resultado foi de 50,9% no Pass@1; entre as falhas recorrentes estão o processamento de eventos assíncronos de sensores, a ancoragem de objetos no espaço real e a compreensão das interações em contextos físicos.
5 novembro 2026
Da recompensa escalar à fronteira de Pareto: síntese de RTL com aprendizagem por reforço multiobjetivo
É proposto um método para treinar um modelo de linguagem a gerar não apenas um esquema, mas um conjunto de candidatos RTL com diferentes compromissos entre área, latência e consumo de energia; a recompensa é calculada com base na contribuição de cada variante para o hipervolume da fronteira de Pareto. No RTLLM v2, o hipervolume relativo aumentou 13,3 p.p. em relação à versão de base sem otimização de PPA e 14,4 p.p. em relação ao treinamento por reforço com um único objetivo.
5 novembro 2026
Os LLM médicos sabem que as recomendações foram revistas, mas muitas vezes respondem de acordo com as regras anteriores
Um estudo da ChronoEvo sobre 1709 alterações às recomendações clínicas mostra que, no modelo principal, 90,8% das respostas assinalavam a novidade, mas apenas 58,5% a aplicavam na íntegra, e a diferença de 32,3 pontos percentuais persistia em 14 modelos. Mesmo aumentar a visibilidade das atualizações não trouxe um aumento significativo da incorporação integral das novas regras nas recomendações clínicas.
4 novembro 2026