TeachBack: el ajuste bidireccional de preferencias enseña al modelo tutor a explorar la tarea en lugar de repetir la respuesta de referencia
Se propone el método TeachBack, que durante la autodestilación sobre su propia política desarrolla en el profesor una estrategia para volver a resolver el problema, en lugar de apoyarse en una solución de referencia privilegiada. En tareas de razonamiento matemático y lógico, el alumno muestra una mejora sostenida de la calidad frente a los esquemas OPSD conocidos.
Por qué un Teacher preciso no garantiza una supervisión útil
La destilación propia on-policy (OPSD) permite que un modelo de lenguaje aprenda de un Teacher. El Teacher se basa en el mismo modelo. Sin embargo, tiene acceso a información privilegiada. Un ejemplo de esa información es la solución de referencia. El acceso a ella permite al Teacher generar trayectorias muy precisas.
Sin embargo, la precisión de las trayectorias no garantiza que sean adecuadas para el Student. El acceso a la solución completa puede dar lugar a razonamientos abreviados. La causa de estos razonamientos es la solución de referencia. En ellos faltan la exploración, la verificación y la autocorrección. Estos elementos son necesarios para resolver tareas sin información privilegiada.
Señales de que una trayectoria es adecuada para entrenar al Student:
- explora el problema;
- incluye la verificación de los pasos intermedios;
- muestra autocorrección;
- no reproduce un razonamiento abreviado basado en la solución de referencia.
Criterio práctico: evaluar la supervisión por la estructura del razonamiento, no solo por la corrección de la respuesta.
Cómo TeachBack cambia el comportamiento del Teacher
TeachBack es un marco de aprendizaje bidireccional basado en preferencias para OPSD. Enseña al Student a partir del Teacher. También determina cómo debe enseñar el Teacher.
El marco regula el comportamiento del Teacher de dos maneras:
- regula la longitud del sufijo de razonamiento basado en la solución de referencia en el prompt;
- cambia el estilo del prompt.
Con una precisión comparable, el Teacher empieza a explorar la tarea y a resolverla de nuevo. El Teacher depende menos de la solución de referencia.
Criterio práctico: comprobar si el Teacher reproduce la búsqueda y la verificación. Un razonamiento abreviado basado en la solución de referencia no sirve para entrenar al Student sin información privilegiada.
Mecánica de las preferencias bidireccionales
En cada actualización del rollout, la política compartida genera dos trayectorias. La primera es la trayectoria privilegiada del Teacher. La segunda es la trayectoria del Student, que solo tiene acceso al enunciado de la tarea.
La función de preferencias por pares utiliza las trayectorias privilegiadas del Teacher para mejorar el entrenamiento del Student. La preferencia inversa utiliza el comportamiento del Student. Esta determina la futura supervisión del Teacher en condiciones privilegiadas.
| Dirección | Base de la preferencia | Qué mejora |
|---|---|---|
| Preferencia directa | Trayectorias privilegiadas del Teacher | Entrenamiento del Student |
| Preferencia inversa | Comportamiento del Student | Futura supervisión del Teacher en condiciones privilegiadas |
Criterio práctico: que haya una preferencia inversa que utilice el comportamiento del Student.
Qué muestran los experimentos
Los experimentos evalúan TeachBack en tareas de razonamiento. Resultados:
- tareas: razonamiento matemático y lógico;
- base de comparación: métodos OPSD existentes y métodos de referencia relacionados;
- efecto: mejora estable de los resultados del Student.
Criterio práctico de selección: tareas de razonamiento en las que el Student resuelve el problema sin una solución de referencia.
Preguntas frecuentes
Material similar
Todos los materiales
Evaluación de agentes de programación en el desarrollo interactivo de XR: resultados de GenXR-Bench
Se ha publicado GenXR-Bench, un conjunto de 112 tareas expertas para evaluar de forma integral agentes de programación en el desarrollo interactivo de XR: desde la mejora de funciones y la corrección de defectos hasta la creación de aplicaciones con verificación del comportamiento en dispositivos de consumo. Entre los diez modelos probados, el mejor resultado fue un 50,9 % en Pass@1; los fallos recurrentes incluyeron la gestión de eventos asíncronos de sensores, el anclaje de objetos al espacio real y la comprensión de las interacciones en un contexto físico.
5 noviembre 2026
De la recompensa escalar al frente de Pareto: síntesis RTL de LLM mediante aprendizaje por refuerzo multiobjetivo
Se propone un método para entrenar un modelo de lenguaje para que genere no un solo diseño, sino un conjunto de candidatos RTL con distintos compromisos entre área, latencia y consumo energético; la recompensa se basa en la contribución de cada variante al hipervolumen del frente de Pareto. En RTLLM v2, el hipervolumen relativo aumentó 13,3 puntos porcentuales frente a la versión base sin optimización PPA y 14,4 puntos porcentuales frente al entrenamiento por refuerzo con un único objetivo.
5 noviembre 2026
Los LLM médicos se enteran de que se han revisado las recomendaciones, pero a menudo responden según las pautas anteriores
El estudio de ChronoEvo sobre 1709 cambios en las guías clínicas muestra que, en el modelo principal, el 90,8 % de las respuestas detectaba la novedad, pero solo el 58,5 % la aplicaba por completo; la brecha de 32,3 puntos porcentuales se mantuvo en 14 modelos. Ni siquiera aumentar la visibilidad de las actualizaciones produjo una mejora significativa en la incorporación completa de las nuevas reglas a las recomendaciones clínicas.
4 noviembre 2026