Por que os modelos mentem com tanta confiança
Os grandes modelos de linguagem modernos impressionam pela capacidade de responder às mais diversas perguntas. Mas por trás dessa confiança, muitas vezes se esconde um defeito sério: o modelo pode gerar uma resposta bonita e coerente com base em fatos inventados. Uma das principais causas é a chamada dessincronização de conhecimento: na fase de pré-treinamento, o modelo absorve enormes volumes de dados, e na fase de ajuste fino para tarefas específicas, ele é "programado" com novas instruções. Como resultado, o modelo nem sempre entende onde termina o que ele realmente sabe e começa a área de desconhecimento.
Pesquisadores da equipe de Joosung Lee e colegas propuseram uma abordagem que ajuda os modelos a dizerem honestamente "não sei" quando a resposta realmente ultrapassa os limites de sua competência. O trabalho foi aceito como Findings of EMNLP 2026 e disponibilizado no arXiv.
Avaliação do conhecimento no nível de cada exemplo específico
A principal dificuldade é entender se o modelo sabe a resposta para uma pergunta específica, e não para um "tema" como um todo. O modelo pode ser excelente em uma área e completamente perdido em outra adjacente. Por isso, os autores propõem avaliar o conhecimento individualmente para cada solicitação.
Para isso, utiliza-se a inferência com múltiplas amostragens: o modelo é consultado várias vezes com a mesma pergunta e, em seguida, analisa-se o quão estáveis e consistentes são suas respostas. Se as respostas se reproduzem com alto grau de confiança e coincidem entre si — o modelo provavelmente realmente "conhece" o assunto. Se as respostas mudam de forma caótica ou o modelo dá versões diferentes — isso é um sinal de que não há conhecimento.
Essa abordagem fornece um indicador mais confiável e granular do que a confiança comum do modelo em uma única geração. Ela se torna a base para o treinamento posterior.
Ajuste fino levando em conta o que o modelo já sabe
O indicador de conhecimento obtido não é usado como uma avaliação externa, mas como um sinal de controle para o ajuste fino. A ideia é que o modelo precisa ser treinado de maneiras diferentes em exemplos diferentes:
- Se o modelo sabe a resposta — o sinal de treinamento é reforçado para consolidar o comportamento correto e não perder as habilidades já existentes.
- Se o modelo não sabe a resposta — o sinal é escalado de outra forma, e o modelo é adicionalmente incentivado a dar uma resposta explícita "não sei", em vez de gerar texto aleatório ou semifactual.
Essa abordagem ajuda a evitar a situação em que o ajuste fino com novos dados "apaga" os limites de conhecimento do modelo e o faz responder a tudo, incluindo o que ele não domina. Em vez disso, o modelo aprende a reconhecer solicitações que ultrapassam sua área de competência e a comunicar isso honestamente.
Como medir que o modelo se tornou mais honesto
Simplesmente reduzir o número de alucinações não é suficiente — é importante que o modelo não comece a recusar em massa responder a perguntas que ele realmente sabe. Por isso, os pesquisadores propuseram métricas especiais para avaliar a incerteza. Elas avaliam não apenas a precisão em perguntas "da base de conhecimento", mas também a capacidade do modelo de distinguir exemplos conhecidos de desconhecidos.
O principal resultado dos experimentos: o método proposto permite que o modelo expresse explicitamente a incerteza quando o conhecimento é insuficiente e, ao mesmo tempo, não perca precisão nas perguntas que ele consegue responder. A distinção precisa entre o conhecido e o desconhecido melhora consistentemente o desempenho final — ou seja, o modelo se torna mais cuidadoso e confiável.
Conclusão
Saber dizer "não sei" não é uma fraqueza, mas uma parte necessária do uso seguro de LLMs. O método de ajuste fino ponderado por conhecimento lembra: para combater alucinações, não é necessário "decorar" ainda mais fatos. Basta ensinar o modelo a avaliar honestamente seus próprios limites e não ultrapassá-los. Essa abordagem torna os modelos mais úteis em cenários reais, onde é melhor receber uma recusa honesta do que uma desinformação confiante.
