Curto e directo
Um modelo de linguagem moderna pode substituir um revisor ao vivo em uma conferência de aprendizado de máquina? Pesquisadores testaram isso em materiais reais da ICLR — um dos locais mais prestigiados do campo. Em um artigo publicado sobre arXiv (número 2608.0359), Abraham Camelo-Guerrero e Jairo Diaz-Rodriguez compararam como três modelos bem conhecidos lidam com a avaliação de submissões científicas contra decisões humanas.
A conclusão é dupla: os algoritmos fazem um trabalho decente de separar artigos "aceitados" dos rejeitados, mas eles perdem completamente distinções mais finas, como a diferença entre uma apresentação oral e um cartaz. Ao mesmo tempo, cada modelo mostra sua própria assinatura: um dá pontuações generosas, outro é excessivamente rigoroso com papéis fortes. Os revisores de máquinas também se concentram em fraquezas completamente diferentes dos especialistas humanos.
Em suma, usar LLMs como um filtro áspero é possível, mas confiar totalmente a eles com a decisão final é prematuro por enquanto. Abaixo, nós quebramos os detalhes da experiência e suas descobertas.
Como se configura a experiência
Dados e condições
Os autores tomaram 300 submissões à ICLR 2026 e balancearam a amostra em três categorias: apresentações orais, cartazes e artigos rejeitados – cem de cada. Esta abordagem garante que os modelos não são simplesmente suposições, mas são realmente forçados a distinguir todas as três classes.
Cada modelo — GPT-5.4, Gemini 3.1 Pro Preview, e Claude Opus 4.6 — receberam o mesmo conjunto de instruções e escala de classificação. Um detalhe importante: as informações sobre a decisão humana foram retiradas dos textos de submissão com antecedência. Isso é necessário para evitar fuga de resposta e para testar honestamente a capacidade do modelo de fazer um julgamento independente.
Método de comparação
Os pesquisadores analisaram os resultados de três ângulos. Primeiro, eles verificam como as previsões dos modelos correspondem com precisão às decisões finais — tanto em sentido amplo (aceito ou não) como em detalhes (oral vs. cartaz). Em segundo lugar, estudaram como os modelos utilizam a escala de recomendação: por exemplo, se inflam os escores. Terceiro, compararam quais fraquezas nos artigos são encontradas por humanos e quais por algoritmos.
O que os resultados mostraram
Distinguindo os destinos das submissões
A notícia encorajadora: todos os três LLMs distinguem confiantemente os artigos aceitos dos rejeitados. Isto significa que as revisões do modelo carregam um sinal útil mesmo sem treinamento em dados específicos da conferência. No entanto, o sucesso termina aí.
Nenhum dos modelos conseguiu reproduzir a distinção entre oral e cartaz que era evidente nos julgamentos humanos. Para os algoritmos, os artigos aceitos pareciam um grupo homogêneo, embora haja uma hierarquia perceptível entre uma apresentação oral e um cartaz. Esta é uma lacuna importante: os critérios de qualidade fina que distinguem a investigação excepcional do trabalho meramente bom ainda não são capturados pelas máquinas.
Diferenças entre os fornecedores de modelos
O comportamento dos modelos acabou sendo fortemente ligado ao desenvolvedor. Gemini 3.1 Pro Preview agiu como um revisor clássico "leniente": suas pontuações foram consistentemente acima da média. Interessante. GPT-5.4 e Claude Opus 4.6 estavam muito mais próximos dos humanos quando se tratava de papéis rejeitados e cartazes, mas ao mesmo tempo, mostrou maior rigor em relação às submissões orais.
Esse viés pode ser interpretado de diferentes maneiras. Talvez os modelos "nitpick" documentos fortes por causa de expectativas elevadas: é mais fácil encontrar um ponto vulnerável em um bom texto do que em um obviamente fraco. Ou talvez a arquitetura de atenção simplesmente não saiba escalar elogios: para isso, não há grande diferença entre "bom" e "excelente".
Diferenças tópicas
A parte mais curiosa é a que os revisores da máquina prestam atenção. Todos os três modelos frequentemente apontavam para a falta de experiências comparativas básicas — uma crítica clássica ao trabalho científico. Os especialistas humanos, entretanto, levantaram muito mais questões de eficiência computacional: quantos recursos o método proposto requer, como é prático.
Isto não é apenas uma diferença de estilo. Reflecte uma diferença de prioridades. Os humanos pensam na aplicação do mundo real, no custo do treinamento e implantação, enquanto os modelos avaliam o texto mais como documento formal. Portanto, se você usar um LLM para uma verificação preliminar de um artigo, você deve estar preparado para que alguns comentários importantes simplesmente nunca chegar a você.
Conclusões
A principal lição deste estudo: a acurácia de um modelo no nível "aceito/rejeitado" ainda não indica sua competência na avaliação detalhada. A capacidade de distinguir papéis obviamente fracos do resto é um filtro bastante grosseiro que não substitui revisão pensativa.
A aplicação prática sugere-se: LLMs podem ser usados como assistentes primários que filtrar massa claramente inadequada submissões ou sinaliza falhas formais óbvias. Mas as decisões sobre o destino de documentos sólidos devem permanecer com os seres humanos — se apenas porque a escala humana de valores (prioridade de eficiência, avaliação de novidade, contexto de campo) ainda difere visivelmente da da da máquina.
A longo prazo, pode fazer sentido calibrar modelos para comunidades específicas e até mesmo para revisores específicos. Mas até que isso aconteça, contar com revisão automatizada na comunicação científica é pelo menos prematuro.
