Diversidad en la entrada, no en el razonamiento: comparación de métodos de aumento de datos en tiempo de prueba para LLMs
El estudio compara fuentes de variabilidad en la inferencia de LLM —parafrasear la consulta, modificar la escritura y transformar imágenes— con el mismo número de llamadas. En seis benchmarks, preservar el significado produjo la mayor mejora en la precisión, mientras que el ruido a nivel de caracteres y las perturbaciones simultáneas en dos modalidades resultaron menos útiles.

Dos fuentes de diversidad: la entrada y el razonamiento
Test-Time Augmentation (TTA) combina predicciones de versiones transformadas de los datos de entrada. La diversidad se genera al parafrasear la pregunta, cambiar la escritura o transformar las imágenes adjuntas. La autoconsistencia funciona de otra manera: cambia solo la ruta de razonamiento y reutiliza una entrada fija.

| Método | Fuente de diversidad |
|---|---|
| TTA | versiones transformadas de los datos de entrada |
| Autoconsistencia | ruta de razonamiento con una entrada fija |
TTA comprueba la robustez ante cambios en la entrada. La autoconsistencia comprueba la robustez del razonamiento con una sola entrada. La elección depende de qué fuente de diversidad necesita la tarea.
Por qué igualar el número de llamadas de inferencia cambia la conclusión
Los autores compararon variantes en seis benchmarks. El número de llamadas de inferencia fue el mismo. Esta condición permite separar el efecto de la fuente de diversidad del efecto de realizar cálculos adicionales.
- seis benchmarks;
- igual número de llamadas;
- comparación de fuentes, no de volumen.
Los autores informan de que la fuente de diversidad importa más que su cantidad. Conclusión para elegir: conviene comparar los métodos con el mismo número de llamadas. De lo contrario, se puede atribuir el aumento de precisión a la fuente y no a las llamadas adicionales.
Parafraseo: mejora y pico temprano
Parafrasear la entrada sin alterar el sentido produjo el mayor aumento de precisión. La mejora fue de +1,80 puntos porcentuales con respecto a una sola llamada. La precisión máxima se alcanzó con el menor número de muestras.
Para los modelos de nivel medio, como Claude Haiku, cambiar la formulación de la pregunta resultó más eficaz para aprovechar una llamada de inferencia que cambiar la ruta de razonamiento.
Conclusión práctica: si la transformación conserva el sentido, el parafraseo es la primera opción para TTA. Ofrece tanto una mejora como un pico temprano.
Ruido carácter por carácter: muchas discrepancias, poca utilidad
El ruido carácter por carácter provocó más discrepancias entre las respuestas: 37,8 % frente a 27,4 %. El aumento de precisión fue menor. Una gran variación entre respuestas no implica que la agregación sea útil.
Las discrepancias causadas por alterar el sentido son erróneas. No aportan una señal útil para la agregación.
Conclusión práctica: evaluar la precisión, no solo la proporción de discrepancias. El ruido carácter por carácter no sustituye a las transformaciones que conservan el sentido.
Doble perturbación: cuando la combinación pierde
La perturbación simultánea de dos modalidades dio un resultado inferior al nivel de referencia de una sola llamada. Combinar transformaciones no garantiza una mejora.
- perturbación simultánea de dos modalidades;
- resultado inferior al nivel de referencia de una sola llamada;
- evaluación por separado de la combinación.
Conclusión práctica: conviene combinar modalidades solo después de compararlas por separado. De lo contrario, TTA puede quedar por debajo de una sola llamada.
Elección práctica del método
Los criterios de elección se basan en la fuente de diversidad, la conservación del sentido y la igualdad en el número de llamadas.
| Tarea | Método |
|---|---|
| Comprobar la robustez ante la formulación | TTA con parafraseo |
| Comprobar la robustez del razonamiento con la misma entrada | autoconsistencia |
| Evaluar la sensibilidad a la escritura | TTA con ruido carácter por carácter |
| Combinar modalidades | solo después de una comparación por separado |
Criterio práctico: elegir la fuente de diversidad en función de la tarea. Para aumentar la precisión con TTA, el parafraseo ofrece el mayor efecto medido. Para comprobar el razonamiento con la misma entrada, sigue siendo útil la autoconsistencia.
Preguntas frecuentes
Material similar
Todos los materiales
Verificar candidatos cuesta más que generarlos: señuelos contra la búsqueda de vulnerabilidades con LLM
El trabajo analiza la asimetría de costes en la búsqueda agéntica de defectos: generar candidatos es barato, pero confirmarlos mediante análisis de alcanzabilidad, ejecución y PoC requiere la mayor parte del presupuesto, por lo que la verificación puede convertirse en un objetivo de defensa por sí misma. La propuesta RedHerring —señuelos adaptados al repositorio con un certificado oculto— redujo entre un 38,7 y un 60,4 % el número de vulnerabilidades reales encontradas con el mismo coste en 33 proyectos de OSS-Fuzz; incluso tras advertir al agente, la reducción se mantuvo en el 37,2 %.
9 noviembre 2026
Verificación de alucinaciones de LLM mediante una vista SQL de las fuentes, sin reentrenamiento
El estudio evalúa si un LLM puede aprovechar una habilidad simbólica básica —crear una base de datos SQL a partir de documentos fuente— para fundamentar sus respuestas en las fuentes sin supervisión al detectar alucinaciones. En RAGTruth y DiaHalu, este flujo de trabajo neuro-simbólico resulta más preciso que la predicción directa y comparable a los métodos más avanzados, sin requerir un ajuste fino al dominio.
9 noviembre 2026
MathAdv: qué oculta la precisión final de las demostraciones de máquinas
Un conjunto diagnóstico de tareas de 13 áreas de matemáticas de nivel universitario y de posgrado evalúa los sistemas de demostración automática en Lean 4 no solo por el resultado final, sino también por su dominio de la materia, la calidad de sus razonamientos informales y su robustez ante reformulaciones de los enunciados. El análisis por componentes muestra que traducir un problema a un formato formal sigue siendo el principal obstáculo, y que el éxito depende en gran medida del área matemática y de cómo se plantee el problema.
9 noviembre 2026