Exactamente dos números suelen aparecer en el informe sobre la calidad de la evaluación automática: en qué medida los veredictos del modelo coinciden con los humanos y en qué medida son robustos frente a cambios menores, como reordenar las opciones o reformular el prompt. Un nuevo trabajo sostiene que esto no es suficiente, y propone mirar al juez de otra manera.
La concordancia responde a la pregunta equivocada
La concordancia y la robustez frente a perturbaciones superficiales tienen que ver con la fiabilidad (reliability). Un instrumento de medición fiable produce un resultado estable, pero la estabilidad por sí sola no dice nada sobre si mide la magnitud correcta. Un termómetro que siempre marca 20 grados es excepcionalmente fiable y completamente inútil.
Los autores del artículo «A Judge Should Know What Changed: Construct Validity for LLM-as-a-Judge Evaluation» (Jianlin Chen, Wenhui Chen, Ziyao Lin, Chi Man Vong; arXiv:2608.24419, cs.AI, presentado el 25 de agosto de 2026; 39 páginas, 10 figuras, 11 tablas) trasladan la conversación al plano de la validez de constructo: ¿corresponde la evaluación al concepto que supuestamente mide? Para un juez LLM esto significa algo simple: el juez debe reaccionar al significado, no a la forma.
Un perfil de dos dimensiones
En lugar de una sola métrica, se propone un perfil de dos probabilidades.
S — invariancia. Con qué frecuencia el veredicto permanece igual si la edición preserva el significado: se reordenaron los párrafos, se cambió el estilo, se eliminó el relleno. Un buen juez aquí no debe alterarse.
R — sensibilidad al constructo. Con qué frecuencia el veredicto cambia si la edición es mínima pero afecta el significado: se añadió una salvedad, se debilitó una afirmación, se restringió el alcance. Un buen juez aquí está obligado a reaccionar.
La afirmación clave del artículo: S y R son independientes, y ningún resumen escalar conserva todas las comparaciones relevantes. En términos simples, no se pueden promediar dos números y obtener uno honesto: un juez con S alto y R bajo y un juez con S bajo y R alto pueden dar la misma «puntuación media», siendo instrumentos fundamentalmente distintos.
Cómo se verificó
El diseño experimental es notablemente más riguroso de lo habitual para este tipo de trabajos.
- 7 jueces y 4 dominios, es decir, no se evaluó un solo modelo ni un solo tipo de tarea.
- 7 tipos de intervenciones que modifican el constructo frente a 5 controles que solo afectan el registro y no cambian el significado.
- La dirección de la edición —si modifica el constructo o no— la determinaron anotadores humanos, no un etiquetado por defecto.
- La generación, la verificación y el juicio se asignaron a familias de modelos no solapadas. Este es un detalle importante: el juez no evalúa texto generado por él mismo ni verifica ediciones que él mismo ideó.
El último punto merece atención aparte. Cuando el generador, el verificador y el juez son el mismo modelo, una alta concordancia puede ser un artefacto de sesgos compartidos y no un indicio de calidad.
La invariancia es casi perfecta, la sensibilidad no
Aquí empieza lo más interesante. Con un umbral de invariancia acordado de S ≥ 0.90, los jueces mostraron en promedio S = 0.945. La cifra a la que normalmente se aspira al reportar.
La sensibilidad, sin embargo, es R = 0.319. Interpretación aproximada: en aproximadamente dos de cada tres casos, el juez no notó una edición que cambia el significado. Un resultado formalmente impecable en invariancia coexiste con una respuesta muy débil al contenido.
Escala y fuerza no son lo mismo
La baja sensibilidad está distribuida de forma desigual. Cuando la edición cambia la escala de la afirmación, la respuesta es mayor: R_scope = 0.383. Cuando cambia la fuerza, es más débil: R_strength = 0.262. La diferencia es de +0.121, y su signo es el mismo para los siete jueces.
Es decir, no se trata de una dispersión aleatoria entre modelos, sino de una característica sistemática. Los jueces captan mejor la ampliación y la restricción del alcance que el desplazamiento en la escala de certeza —«probablemente» frente a «con certeza», «puede ayudar» frente a «ayuda». Para la práctica, esto es una mala noticia: precisamente esas gradaciones son las que más a menudo hay que distinguir.
Las etiquetas humanas también deben verificarse
Una historia aparte son los cinco conjuntos públicos de etiquetas que se usan como referencia. Los predictores que se basan exclusivamente en rasgos superficiales del texto reproducen, en modo por pares, el 55–67% de las etiquetas. En el caso de MT-Bench, una heurística superficial coincidió con el 67.4% de los votos humanos.
La conclusión que se impone es incómoda. Si una regla simple, que no entiende nada del contenido, reproduce dos tercios de las decisiones humanas, entonces esas etiquetas separan mal el significado de la forma, y hay que validar no solo al juez, sino también al propio conjunto con el que se lo verifica.
Qué hacer al respecto
Los autores no proponen reemplazar a los jueces LLM por otra cosa: proponen cambiar el reporte y el procedimiento de verificación.
Reporte conjunto. S y R se publican juntos, no se reducen a un solo número. Quien lee el informe ve de inmediato dónde falla el juez.
Auditoría del conjunto de validación. Antes de confiar en la concordancia con las etiquetas humanas, conviene verificar hasta qué punto esas etiquetas son predecibles sin comprender el texto. Si son muy predecibles, la confianza en ellas está inflada.
Separación de roles. Que la generación, la verificación y el juicio correspondan a distintas familias de modelos reduce el riesgo de que una alta invariancia sea consecuencia de puntos ciegos compartidos.
La idea principal
Una alta concordancia tiene que ver con la estabilidad, no con la corrección. Un juez que emite su veredicto con la misma seguridad antes y después de una edición de significado no es «robusto», sino desatento. Mientras en los informes haya una sola cifra, es imposible distinguir estos dos casos, y precisamente por eso un perfil de dos dimensiones no parece una complicación, sino una honestidad mínimamente necesaria.
