Corto y hasta el punto
¿Puede un modelo de lenguaje moderno reemplazar a un revisor en vivo en una conferencia de aprendizaje automático? Los investigadores probaron esto en materiales ICLR reales, uno de los lugares más prestigiosos del campo. En un documento publicado en arXiv (número 2608.03659), Abraham Camelo-Guerrero y Jairo Díaz-Rodriguez compararon cómo tres modelos conocidos manejan la evaluación de las presentaciones científicas contra las decisiones humanas.
La conclusión es doble: los algoritmos hacen un trabajo decente de separar los papeles "aceptados" de los rechazados, pero se pierden completamente distinciones más finas, como la diferencia entre una presentación oral y un cartel. Al mismo tiempo, cada modelo muestra su propia firma: uno da puntajes generosos, otro es demasiado estricto con papeles fuertes. Los revisores de máquinas también se centran en debilidades completamente diferentes que los expertos humanos.
En resumen, es posible utilizar LLMs como un filtro áspero, pero confiar plenamente en ellos con la decisión final es prematuro por ahora. A continuación, derribamos los detalles del experimento y sus hallazgos.
Cómo se establece el experimento
Datos y condiciones
Los autores tomaron 300 presentaciones al ICLR 2026 y equilibraron la muestra en tres categorías: presentaciones orales, carteles y documentos rechazados, cien de cada uno. Este enfoque garantiza que los modelos no están simplemente adivinando sino que se ven obligados a distinguir las tres clases.
Cada modelo: GPT-5.4, Gemini 3.1 Pro Preview, y Claude Opus 4.6 — recibieron el mismo conjunto de instrucciones y escala de puntuación. Un detalle importante: la información sobre la decisión humana fue eliminada de los textos de presentación con antelación. Esto es necesario para prevenir la fuga de respuesta y para probar honestamente la capacidad del modelo para hacer un juicio independiente.
Metodología de comparación
Los investigadores examinaron los resultados desde tres ángulos. En primer lugar, comprobaron la exactitud de las predicciones de los modelos en las decisiones finales, tanto en un sentido amplio (aceptado o no) como en detalle (oral vs. poster). En segundo lugar, estudiaron cómo los modelos utilizan la escala de recomendación: por ejemplo, si inflan las puntuaciones. En tercer lugar, compararon qué debilidades en los papeles son encontradas por humanos y cuáles por algoritmos.
Lo que mostraron los resultados
Distinguiendo los destinos de las presentaciones
Las noticias alentadoras: los tres LLM distinguen con confianza los documentos aceptados de los rechazados. Esto significa que los exámenes de modelos llevan una señal útil incluso sin capacitación en datos específicos de conferencias. Sin embargo, el éxito termina allí.
Ninguno de los modelos logró reproducir la distinción entre oral y póster que era obvia en los juicios humanos. Para los algoritmos, los papeles aceptados parecían un grupo homogéneo, aunque hay una jerarquía notable entre una presentación oral y un póster. Esta es una brecha importante: los criterios de calidad finos que distinguen la investigación sobresaliente de un trabajo meramente bueno todavía no son capturados por las máquinas.
Diferencias entre proveedores de modelos
El comportamiento de los modelos resultó estar fuertemente ligado al desarrollador. Gemini 3.1 Pro Preview actuó como un clásico "leniente" revisor: sus puntuaciones fueron consistentemente por encima de la media. Interesantemente, GPT-5.4 y Claude Opus 4.6 estaban mucho más cerca de los humanos cuando se trataba de documentos rechazados y de carteles, pero Al mismo tiempo mostró mayor rigor hacia las presentaciones orales.
Este sesgo puede ser interpretado de diferentes maneras. Tal vez los modelos "nitpick" papeles fuertes debido a expectativas elevadas: es más fácil encontrar un lugar vulnerable en un buen texto que en un obviamente débil. O tal vez la arquitectura de atención simplemente no sabe cómo escalar elogios: por ello, no hay gran diferencia entre "bueno" y "excelente".
Divergencias tópicas
La parte más curiosa es a lo que los revisores de máquinas prestan atención. Los tres modelos a menudo apuntaban a la falta de experimentos comparativos básicos, una crítica clásica del trabajo científico. Los expertos humanos, mientras tanto, muchas veces plantearon cuestiones de eficiencia computacional: cuántos recursos requiere el método propuesto, qué práctico es.
Esto no es sólo una diferencia de estilo. Refleja la diferencia de prioridades. Los humanos piensan en la aplicación del mundo real, sobre el costo de entrenamiento y despliegue, mientras que los modelos evalúan el texto más como un documento formal. Así que si usas un LLM para un cheque preliminar de un papel, deberías estar preparado que algunos comentarios importantes simplemente nunca te alcanzarán.
Conclusiones
La lección principal de este estudio: la precisión de un modelo en el nivel "aceptado/rechazado" todavía no indica su competencia en evaluación detallada. La capacidad de distinguir obviamente papeles débiles del resto es un filtro bastante grueso que no reemplaza la revisión reflexiva.
La aplicación práctica se sugiere a sí misma: los LLM pueden ser utilizados como asistentes primarios que imprimen de masas claramente sumisión inadecuada o marcan evidentes defectos formales. Pero las decisiones sobre el destino de los papeles sólidos deben permanecer con los humanos —si sólo porque la escala humana de valores (prioridad de la eficiencia, evaluación de la novedad, contexto de campo) todavía difiere notablemente de la máquina.
A largo plazo, podría tener sentido calibrar modelos para comunidades específicas e incluso para revisores específicos. Pero hasta que eso suceda, confiar en la revisión automatizada en la comunicación científica es al menos prematuro.
