Cuando el juez es parcial: los agentes autoaprendices dejan de eliminar habilidades inútiles
Imagina un agente que amplía por sí mismo su biblioteca de habilidades: prueba nuevos enfoques, conserva los exitosos y descarta los inútiles. Para que esto funcione, se necesita un mecanismo que impida que la biblioteca se llene de basura. En el diseño moderno de estos agentes, ese papel lo desempeña el skill retirement — una restricción estructural que garantiza que el arsenal de habilidades no empeore que «no tener habilidades en absoluto». Pero, como demostró un reciente trabajo de un grupo de investigadores, esta garantía tiene una vulnerabilidad oculta: se apoya en una evaluación honesta de la calidad. Y si la evaluación la realiza un juez LLM, la honestidad no está garantizada.
Por qué el retirement es importante
Un agente que inventa constantemente nuevas habilidades tiene un problema natural: parte de ellas resulta no solo inútil, sino perjudicial — interfiere con la realización de tareas básicas. Sin restricciones, la biblioteca crece indefinidamente y la calidad cae. El skill retirement es como un jardinero que arranca las malas hierbas a tiempo. El mecanismo se basa en que la contribución de cada habilidad se puede medir: si una habilidad no aporta beneficio, se elimina.
Pero, ¿cómo medir la contribución cuando no existe una respuesta de referencia? En muchas tareas prácticas — redacción de informes, análisis de texto, elaboración de planes — no existe una solución correcta. Por eso, en lugar de una verificación objetiva, hay que recurrir a un juez LLM. Y aquí es exactamente donde reside la raíz del problema.
Un juez con prejuicios: sabotaje silencioso
Los autores del artículo «The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents» (Zhang, Cui, Wang, Li, Qiu, Zhu, He — trabajo presentado en el COLM 2026 Workshop on Agent Behavior) analizaron qué ocurre si el juez se equivoca sistemáticamente. Identificaron un tipo importante de error — el false-pass: cuando el juez deja pasar un resultado fallido como exitoso. Parecería un pequeño sesgo — qué más da, el juez es demasiado indulgente. En realidad, esto produce un efecto inesperado: un juez sesgado no solo añade ruido a las evaluaciones, sino que desactiva por completo el mecanismo de retirement.
Para la pureza del experimento, los investigadores separaron la influencia del sesgo en sí del ruido ordinario. Resultó que el ruido simétrico (el juez se equivoca con la misma frecuencia en ambas direcciones) no interfiere con el retirement. Pero el sesgo asimétrico hacia los falsos éxitos lo rompe todo.
Un umbral abrupto que no se puede sortear
Lo más intrigante es cómo ocurre exactamente el fallo. No es gradual. Mientras la proporción de false-pass no supere aproximadamente 0,45 — es decir, el juez deja pasar menos de la mitad de los fallos — el mecanismo funciona. Pero basta cruzar ese umbral, y el retirement basado en la contribución deja de funcionar por completo. Ningún aumento del volumen de datos ni del número de iteraciones ayuda: el umbral no se puede cruzar de vuelta simplemente recopilando más ejemplos.
Los investigadores lo verificaron en diferentes condiciones: en un entorno de generación de informes sin referencia (con validación cruzada en la generación de código) y en otros dominios, con diferentes frecuencias de fallos. El fallo del mecanismo se reproduce en todas partes. La única excepción son los verificadores casi perfectos, donde la proporción de errores se acerca a cero, pero eso es un caso raro para los jueces LLM reales.
Un detalle importante: distinguen entre el retirement real (eliminación de habilidades realmente inútiles) y el «cap-eviction» (desplazamiento de habilidades antiguas por nuevas por razones formales). Se desactiva precisamente el primero, y es un efecto universal, no un artefacto de un entorno concreto.
Degradación «silenciosa»: por qué el problema no se ve
Si el mecanismo está roto, cabría esperar que las métricas mostraran inmediatamente un deterioro. Pero no. Los autores descubrieron que en algunos modos la calidad de la evaluación se mantiene estable a pesar del retirement desactivado. La degradación solo se manifiesta donde esa misma corrupción del juez agota adicionalmente la síntesis de nuevas habilidades. Si la síntesis funciona, el panorama general parece normal.
El curador desactivado es «silencioso»: ningún indicador agregado delata su ausencia. Exteriormente, el agente sigue funcionando, sigue generando informes, pero su biblioteca se va llenando lentamente de basura y su potencial de crecimiento disminuye. Esto hace que el problema sea especialmente peligroso: es imposible detectarlo en las pruebas habituales.
Cómo verificar al juez antes del despliegue
Los autores proponen una forma barata y práctica de auditoría: la inyección de defectos. La idea es simple: antes del despliegue, el operador introduce deliberadamente en la biblioteca una habilidad sabidamente inútil (o le presenta al juez un resultado sabidamente malo) y observa cómo reacciona el juez. Si el juez la rechaza — todo está en orden. Si la deja pasar — significa que el sistema está al otro lado del umbral, y es muy probable que el retirement ya no funcione.
Esta prueba no requiere infraestructura compleja y lleva poco tiempo. No muestra solo un error puntual, sino en qué lado del umbral se encuentra el juez — y, por tanto, se puede tomar una decisión antes de que el agente empiece a acumular habilidades inútiles en modo de producción.
En lugar de una conclusión
Esta investigación trata sobre la seguridad del comportamiento, no sobre el rendimiento. No promete que los agentes serán más rápidos o más precisos. Habla de otra cosa: incluso un mecanismo de protección conservador, como el skill retirement, puede ser desactivado silenciosamente por un juez sesgado, y el sistema seguirá pareciendo saludable. La buena noticia es que este proceso se puede diagnosticar con una prueba simple antes de que cause daños reales. Para todos los que diseñan agentes autoaprendices, esta es una razón para reflexionar: ¿hasta qué punto es honesto su juez — y qué ocurrirá si de repente se vuelve demasiado indulgente?
