LLM multimodales multiagente en matemáticas: cómo verificar el proceso de razonamiento y la robustez ante distorsiones

18 noviembre 20260 vistas

Se presenta MAMath-Bench, un conjunto de 1003 problemas de 11 áreas de las matemáticas con materiales textuales, gráficos y de audio; además de la respuesta final, registra los pasos de control y la reacción del sistema ante cambios adversariales en el curso del razonamiento. Los resultados muestran que la cooperación entre varios LLM no necesariamente mejora la precisión, puede aumentar la redundancia de las justificaciones y que las perturbaciones estructurales sutiles siguen siendo una fuente importante de vulnerabilidad.

LLM multimodales multiagente en matemáticas: cómo verificar el proceso de razonamiento y la robustez ante distorsiones

Qué evalúa el benchmark

MAMath-Bench es un benchmark para evaluar el razonamiento matemático multimodal de sistemas multiagente. Incluye 1 003 tareas de 11 categorías matemáticas. Las tareas abarcan varios niveles de dificultad y tres modalidades: texto, imágenes y audio.

El benchmark contiene anotaciones detalladas de los hitos de control. La evaluación se realiza en tres dimensiones:

  • corrección de la solución;
  • fiabilidad del proceso de razonamiento;
  • resistencia a perturbaciones adversariales de la cadena de razonamiento.

Criterio práctico: elegir una evaluación que diferencie entre la corrección de la respuesta, la fiabilidad del proceso y la resistencia a las perturbaciones. La respuesta final no basta para realizar esta comprobación.

Revisión del proceso de resolución

Las anotaciones de los hitos de control sirven de referencia para revisar los pasos intermedios. La evaluación de la fiabilidad del proceso de razonamiento se distingue de la corrección de la respuesta final. Esto permite comparar sistemas no solo por el resultado.

Qué revisar durante el proceso de resolución:

  • la presencia de los hitos de control indicados en las anotaciones;
  • la correspondencia entre los pasos intermedios y esos hitos;
  • la fiabilidad del proceso de razonamiento como dimensión independiente.

Criterio de revisión: registrar en qué punto exacto la solución se desvía de los hitos de control. La respuesta final por sí sola no muestra la calidad del proceso de resolución.

Sistemas multiagente: precisión, cobertura y redundancia

La evaluación muestra tres efectos distintos de la colaboración entre varios agentes. La precisión de la respuesta final no siempre aumenta en comparación con LLM individuales potentes. La cobertura del razonamiento intermedio puede mejorar considerablemente. El aumento de la cobertura puede ir acompañado de un aumento de la redundancia del razonamiento.

Qué compararQué muestra la evaluaciónConclusión práctica
Precisión de la respuesta finalLa colaboración entre varios agentes no siempre aumenta la precisión en comparación con LLM individuales potentesNo considerar que un sistema multiagente garantice una respuesta correcta
Cobertura del razonamiento intermedioLa colaboración puede mejorar considerablemente la coberturaComparar la mejora de la cobertura con otras dimensiones
Redundancia del razonamientoEl aumento de la cobertura puede ir acompañado de un aumento de la redundanciaTener en cuenta el aumento de la redundancia al evaluar la cobertura

Criterio de selección: no considerar que un sistema multiagente garantice la precisión. Compararlo con un LLM individual potente en cuanto a la respuesta final, la cobertura y la redundancia.

Resistencia a las distorsiones adversariales

La evaluación incluye la resistencia a perturbaciones adversariales de la cadena de razonamiento. Los sistemas actuales siguen siendo vulnerables a errores de razonamiento adversariales, especialmente a los relacionados con perturbaciones estructurales sutiles.

Qué comprobar:

  • la reacción del sistema ante perturbaciones adversariales de la cadena de razonamiento;
  • los errores de razonamiento ante perturbaciones estructurales sutiles;
  • la conservación de la fiabilidad del proceso, no solo de la respuesta final.

Criterio de resistencia: poner a prueba el sistema con perturbaciones adversariales de la cadena de razonamiento. La resistencia a estas perturbaciones forma parte de la evaluación, junto con la corrección de la respuesta.

Preguntas frecuentes

LLM multimodales multiagente en matemáticas: cómo verificar el proceso de razonamiento y la robustez ante distorsiones