Por que as avaliações de preferências de LLMs não devem ser levadas ao pé da letra
Os modelos de linguagem modernos conseguem raciocinar de forma convincente sobre os mais diversos assuntos, por isso são cada vez mais usados como "especialistas" para avaliar preferências do consumidor. Por exemplo, perguntam ao ChatGPT quanto uma pessoa estaria disposta a pagar por um voo com bagagem ou o quão importante é para ela a proximidade do metrô. A ideia parece tentadora: se o modelo conhece bem o gosto humano, com base em suas respostas é possível selecionar automaticamente produtos, preços e serviços. Mas como verificar se essas avaliações realmente refletem preferências estáveis, e não palavras aleatórias?
Um grupo de pesquisadores decidiu testar isso de um ponto de vista científico. Em vez de apenas observar se as respostas parecem lógicas à primeira vista, eles se fizeram uma pergunta mais rigorosa: é possível descrever as respostas do modelo por uma única função de utilidade? A função de utilidade é uma forma matemática de ordenar preferências: se ela existe, todas as respostas devem ser consistentes entre si. Por exemplo, se você diz que está disposto a pagar 500 a mais por uma hora a menos de deslocamento e depois escolhe uma opção que é mais demorada e ainda mais cara — isso já é uma contradição.
Metodologia: como medir a inconsistência
Os autores desenvolveram testes estatísticos que permitem quantificar o quanto as respostas do modelo se desviam da função de utilidade mais bem ajustada. Se os desvios forem pequenos, o modelo é quase consistente em suas preferências. Se forem grandes, os julgamentos são aleatórios ou situacionais, e não podem ser reduzidos a uma única escala.
Os experimentos foram realizados em três tipos de cenários: escolha de voo, aluguel de apartamento e reserva de hotel. São casos práticos em que a avaliação da disposição a pagar é especialmente importante para os negócios. Seis modelos de linguagem diferentes participaram dos testes — o que torna a amostra ainda mais representativa.
Resultados: contradições em toda parte
Descobriu-se que todos os seis modelos dão respostas consistentemente contraditórias. Ou seja, se você fizer perguntas semelhantes com formulações diferentes, eles provavelmente escolherão opções que não combinam entre si. Por exemplo, o modelo poderia indicar que a presença de estacionamento é extremamente importante, mas, ao comparar dois apartamentos específicos, recusar-se a pagar mais por ele, embora antes tenha declarado sua disposição.
Essas divergências são difíceis de explicar como mero erro. Os pesquisadores destacam que isso é, antes, uma propriedade sistêmica: os grandes modelos de linguagem não têm "gostos" fixos; cada resposta é gerada do zero, com base no contexto e em padrões probabilísticos. Portanto, eles podem ser usados para ideias preliminares, mas não para modelar com precisão preferências individuais.
Por que isso é importante para a prática
Os resultados obtidos atingem diretamente várias ideias populares. Na economia comportamental e no marketing, fala-se cada vez mais em usar LLMs para personalização automática: suponha que o modelo aprendeu as preferências do usuário por meio de suas consultas e agora pode selecionar as melhores ofertas. Mas se os julgamentos do próprio modelo são internamente contraditórios, qualquer algoritmo de otimização baseado neles falhará.
Além disso, esse problema também afeta as próprias metodologias de pesquisa. Se um pesquisador usa LLMs para avaliar utilidade em pesquisas, ele primeiro precisa garantir que o modelo não esteja dando respostas aleatórias. Caso contrário, os resultados dessa pesquisa serão não confiáveis.
A boa notícia é que os autores não apenas apontaram o problema, mas também propuseram ferramentas para diagnosticá-lo — testes e métricas de desvio. Elas já podem ser usadas para verificar novos modelos ou no aprimoramento dos existentes. Talvez, com o tempo, surjam métodos de treinamento específicos que aumentem a autoconsistência dos julgamentos. Mas, por enquanto, é cedo para confiar nos LLMs como uma fonte confiável de informações sobre o que as pessoas realmente querem.
