Grandes modelos de linguagem estão cada vez mais assumindo papéis de interlocutores, assistentes e "executores" automáticos. Quanto mais responsabilidade lhes delegamos, mais importante é entender antecipadamente o estilo de atuação do modelo: onde ele tende a ceder, onde insiste em sua posição e onde simplesmente produz uma resposta plausível. Na prática, a "personalidade" de um LLM é frequentemente medida com questionários psicológicos clássicos, como o Big Five Inventory (BFI). Mas essa transferência de uma metodologia de humanos para redes neurais falha.
Por que o BFI não é adequado para avaliar LLMs
A abordagem do BFI parece lógica: em humanos, mede-se abertura à experiência, conscienciosidade, extroversão, amabilidade e neuroticismo — por que não aplicar as mesmas escalas a um modelo? O problema é que o BFI e questionários semelhantes foram criados para humanos e pressupõem a capacidade de autoavaliação. Uma rede neural não reflete sobre si mesma como um humano: ela seleciona o texto mais plausível com base nos dados de treinamento. Portanto, o resultado depende fortemente de detalhes "aleatórios": a formulação da pergunta, a ordem das afirmações, uma pequena alteração no prompt do sistema.
Disso decorre a primeira limitação — baixa confiabilidade. Execute o mesmo modelo no mesmo teste com alterações mínimas — e você pode obter "personalidades" diferentes. Tal avaliação é pouco útil para decisões de engenharia: não se pode levar a sério uma caracterização que muda com um par de sinônimos.
O segundo problema é mais profundo. As construções psicológicas do BFI descrevem humanos, não sistemas computacionais. O modelo não tem personalidade no sentido humano, embora padrões estáveis possam ser observados em seu comportamento. O questionário clássico tenta capturar algo concebido para humanos, e é exatamente por isso que prevê mal como um LLM se comportará em uma solicitação real: a validade de tal instrumento para previsão é limitada.
CSI: um questionário projetado para modelos, não para humanos
Em vez de adaptar infinitamente questionários humanos, os autores do novo trabalho propõem reconstruir a ferramenta do zero. O Core Sentiment Inventory (CSI) foi projetado especificamente para avaliar traços de personalidade de LLMs. A ideia-chave é afastar-se de respostas diretas de "concordo / discordo". O CSI reconstrói o perfil por meio de sinais indiretos, ou seja, essencialmente pela forma como o modelo escolhe comportamentos em situações dadas. Essa avaliação implícita provoca menos respostas "desejáveis" no modelo e permite observar padrões mais naturais.
A metodologia cobre inicialmente dois idiomas — inglês e chinês. Isso é fundamental: o contexto linguístico e cultural altera o comportamento do modelo, e um questionário bilíngue permite rastrear isso, em vez de produzir um retrato médio. Como resultado, o CSI não gera apenas algumas pontuações, mas um retrato psicológico do modelo: uma descrição de quais traços se manifestam mais fortemente e sob quais condições.
O que os experimentos mostraram
Nos experimentos, os autores compararam o CSI com abordagens existentes para avaliar a personalidade de LLMs. Segundo seus dados, a nova metodologia funciona em três níveis:
- Sensibilidade a nuances. O CSI capta diferenças sutis no comportamento dos modelos, incluindo diferenças entre idiomas e tipos de contexto. Os perfis não suavizam o comportamento até uma média, mas preservam detalhes importantes.
- Confiabilidade. Os resultados do CSI mostraram-se visivelmente mais consistentes e estáveis do que os das ferramentas atuais. Pequenas mudanças nas condições afetam menos o quadro final.
- Capacidade preditiva. A correlação entre as avaliações do CSI e as saídas reais dos modelos excedeu 0,85. Essa é uma relação forte: se o CSI indica que o modelo tende a se comportar de determinada maneira, o comportamento real provavelmente coincidirá com a previsão.
Esse conjunto de propriedades é raro: alguns métodos distinguem bem o comportamento, mas são instáveis; outros são estáveis, mas dizem pouco sobre as ações reais do modelo. O CSI tenta combinar ambas as qualidades.
Por que isso é útil na prática
Um perfil de personalidade estável de LLMs é útil não apenas como objeto de pesquisa. É uma ferramenta de controle de qualidade: é possível determinar antecipadamente qual estilo de comunicação se espera de um assistente e garantir que o modelo não "quebre" quando a formulação da tarefa muda. O CSI também permite comparar modelos entre si por características comportamentais, e não apenas por benchmarks de conhecimento.
Por fim, esse quadro para avaliar a "personalidade" é importante para o desenvolvimento responsável de IA. Quanto mais precisamente entendemos quais padrões comportamentais estão incorporados no modelo, mais cedo podemos notar tendências indesejáveis — antes que se manifestem em um produto real. Os autores disponibilizaram o código da metodologia, portanto os resultados podem ser reproduzidos e verificados em seus próprios modelos.
