Los grandes modelos de lenguaje asumen cada vez más los roles de interlocutores, asistentes y «ejecutores» automáticos. Cuanta más responsabilidad les delegamos, más importante resulta comprender de antemano el estilo con el que actúa el modelo: dónde tiende a ceder, dónde a insistir en su postura y dónde simplemente a ofrecer una respuesta verosímil. En la práctica, la «personalidad» de los LLM suele intentar medirse con cuestionarios psicológicos clásicos, como el Big Five Inventory (BFI). Pero trasladar esta metodología de las personas a las redes neuronales falla.
Por qué el BFI no sirve para evaluar LLM
El enfoque del BFI parece lógico: en las personas se miden apertura a la experiencia, responsabilidad, extraversión, amabilidad y neuroticismo; ¿por qué no pasar al modelo por las mismas escalas? El problema es que el BFI y cuestionarios similares están diseñados para humanos y presuponen capacidad de autoinforme. Una red neuronal no reflexiona sobre sí misma como una persona: selecciona el texto más verosímil a partir de los datos de entrenamiento. Por eso el resultado depende en gran medida de detalles «casuales»: la redacción de la pregunta, el orden de los enunciados, un pequeño cambio en el prompt del sistema.
De ahí se deriva la primera limitación: la baja fiabilidad. Pase el mismo modelo por la misma prueba con ajustes mínimos y podrá obtener «personalidades» distintas. Esta evaluación resulta poco útil para tomar decisiones de ingeniería: no se puede confiar seriamente en una caracterización que cambia por un par de sinónimos.
El segundo problema es más profundo. Las construcciones psicológicas del BFI describen a la persona, no a un sistema computacional. El modelo no tiene personalidad en el sentido humano, aunque en su comportamiento puedan rastrearse patrones estables. El cuestionario clásico intenta fijar algo concebido para humanos y, precisamente por eso, predice mal cómo se comportará el LLM ante una solicitud real: la validez de esta herramienta para la predicción resulta limitada.
CSI: un cuestionario diseñado para modelos, no para personas
En lugar de adaptar sin fin los cuestionarios humanos, los autores del nuevo trabajo proponen reconstruir la herramienta desde cero. El Core Sentiment Inventory (CSI) se diseñó específicamente para evaluar los rasgos de personalidad de los LLM. La idea clave es alejarse de las respuestas directas de «de acuerdo / en desacuerdo». El CSI reconstruye el perfil a partir de señales indirectas, es decir, de cómo el modelo elige comportarse en situaciones dadas. Esta evaluación implícita provoca menos respuestas «deseables» en el modelo y permite observar patrones más naturales.
La metodología cubre inicialmente dos idiomas: inglés y chino. Esto es fundamental: el contexto lingüístico y cultural cambia el comportamiento del modelo, y un cuestionario bilingüe permite rastrear ese cambio en lugar de ofrecer un retrato promedio. Como resultado, el CSI no solo genera unas cuantas puntuaciones, sino un retrato psicológico del modelo: una descripción de qué rasgos se manifiestan con más fuerza y bajo qué condiciones.
Qué mostraron los experimentos
En los experimentos, los autores compararon el CSI con los enfoques existentes para evaluar la personalidad de los LLM. Según sus datos, la nueva metodología funciona en tres niveles a la vez:
- Sensibilidad a los matices. El CSI capta diferencias sutiles en el comportamiento de los modelos, incluidas las diferencias entre idiomas y tipos de contexto. Los perfiles no suavizan el comportamiento hasta la media, sino que conservan detalles importantes.
- Fiabilidad. Los resultados del CSI resultaron notablemente más coherentes y estables que los de las herramientas actuales. Los pequeños cambios en las condiciones afectan menos al panorama final.
- Capacidad predictiva. La correlación entre las puntuaciones del CSI y las salidas reales de los modelos superó el 0.85. Es una relación fuerte: si el CSI indica que el modelo tiende a comportarse de determinada manera, el comportamiento real coincidirá con la predicción con alta probabilidad.
Este conjunto de propiedades es poco frecuente: unos métodos discriminan bien el comportamiento, pero son inestables; otros son estables, pero dicen poco sobre las acciones reales del modelo. El CSI intenta combinar ambas cualidades.
Para qué sirve esto en la práctica
Un perfil de personalidad estable del LLM no solo es útil como objeto de investigación. Es una herramienta de control de calidad: permite determinar de antemano qué estilo de comunicación se necesita de un asistente y comprobar que el modelo no «se rompe» al cambiar la redacción de la tarea. El CSI también permite comparar modelos entre sí por características de comportamiento, y no solo por benchmarks de conocimiento.
Por último, este marco para evaluar la «personalidad» es importante para el desarrollo responsable de la IA. Cuanto mejor comprendamos qué patrones de comportamiento están fijados en el modelo, antes podremos detectar tendencias no deseadas, antes de que se manifiesten en un producto real. Los autores han publicado el código de la metodología, por lo que los resultados pueden reproducirse y verificarse en modelos propios.
