Por que a confiança falsa dos LLMs não é apenas um bug
Os modelos de linguagem modernos aprenderam a expressar ideias de forma fluida e convincente. Mas por trás dessa persuasão, muitas vezes se esconde o que os especialistas chamam de alucinações: o modelo produz conteúdo que soa plausível, mas é totalmente inventado. Para o usuário, isso parece um texto uniforme e confiante — e é exatamente por isso que o problema é perigoso.
A maioria dos detectores de alucinação convencionais funciona de forma grosseira. Eles avaliam a resposta inteira ou frases individuais, informando algo como "aqui, parece haver um erro". Mas para entender em qual ponto exato o modelo "inventou um fato", é necessária uma verificação mais refinada — no nível de tokens individuais. Somente a detecção pós-token permite localizar o fragmento falso e intervir cirurgicamente na geração, sem tocar no restante do texto.
Modelos MoE acidentalmente dão a chave para a pista
Em arquiteturas do tipo Mixture-of-Experts (MoE), funciona um princípio curioso: em uma única passagem direta, apenas um subconjunto esparso de "especialistas" é ativado, e não a rede inteira. A escolha de quem chamar é feita pelo mecanismo de roteamento. E é exatamente nesse momento que surgem sinais internos que simplesmente não existem em arquiteturas densas:
- entropia do roteador — o quão "inseguro" o modelo está sobre a qual especialista recorrer;
- divergência entre especialistas — o quão fortemente seus resultados intermediários diferem;
- padrões de uso dos especialistas — quais especialistas são acionados com mais frequência.
Antes, esses sinais quase não eram usados para buscar alucinações. Os pesquisadores João Fonseca, Rodrigo Rodrigues e Paolo Romano, no artigo arXiv:2608.17687, mostraram que isso era um desperdício: indicadores ocultos são capazes de revelar os momentos em que o modelo começa a inventar. O trabalho foi apresentado no arXiv em 18 de agosto de 2026.
InnerExpert: um detector que olha para dentro do modelo
O método InnerExpert, proposto pelos autores, combina dois tipos de dados: sinais específicos de MoE no nível de roteamento e representações internas padrão do transformer. Tudo isso é reunido em vetores compactos de características para cada token. Em seguida, um classificador leve processa esses vetores e determina se o token é uma alucinação.
A característica-chave é o aprendizado automático. Os rótulos para treinar o detector são criados pelo pipeline LLM-as-a-judge, em que um modelo de linguagem avalia a saída de outro. Nenhuma anotação manual é necessária. Isso significa que o detector pode ser rapidamente adaptado a novas versões de modelos generativos, simplesmente executando o pipeline novamente.
O que os testes mostraram
Os experimentos cobriram cinco conjuntos de dados e duas arquiteturas MoE diferentes. Nos testes, o InnerExpert superou consistentemente os detectores existentes. Os melhores resultados alcançaram 0,91 AUROC no nível de resposta inteira e 0,76 AUROC no nível de tokens individuais. Além disso, para isso basta uma única passagem direta — não é necessário executar modelos de verificação adicionais ou gerações repetidas.
O alto resultado no nível de resposta é útil para filtragem grosseira. Mas o indicador verdadeiramente valioso é o de nível de token: ele permite encontrar com precisão trechos falsos do texto e, por exemplo, reescrevê-los ou destacá-los para o usuário. Isso já não é "há um erro em algum lugar", mas um local específico na resposta.
Por que isso é importante
As alucinações continuam sendo uma das principais barreiras para a adoção de LLMs na medicina, no direito, nas finanças e em outras áreas sensíveis a erros. A possibilidade de olhar para os sinais internos do modelo e ver suas "dúvidas" antecipadamente é mais um passo prático rumo à geração transparente. Os indicadores ocultos não eliminam o problema completamente, mas fornecem uma ferramenta funcional que já está disponível.
É particularmente interessante que o diagnóstico de alucinações tenha nascido das próprias características da arquitetura. Os modelos MoE foram criados para velocidade e eficiência, e sua estrutura interna acabou sendo inesperadamente útil para o controle de qualidade. Pesquisas futuras certamente irão ainda mais fundo — em direção a sinais mais sutis dentro dos especialistas e dos mecanismos de roteamento.
