La diversité à l’entrée, pas dans le raisonnement : comparaison des méthodes d’augmentation des tests pour les LLM

8 novembre 202617 vues

Ce travail compare les sources de variation lors de l’inférence des LLM — reformulation de la requête, modification de l’orthographe et transformations d’images — à nombre d’appels égal. Sur six benchmarks, la préservation du sens a entraîné la meilleure amélioration de la précision, tandis que le bruit au niveau des caractères et les perturbations simultanées de deux modalités se sont avérés moins utiles.

La diversité à l’entrée, pas dans le raisonnement : comparaison des méthodes d’augmentation des tests pour les LLM

Deux sources de diversité : l’entrée et le raisonnement

Test-Time Augmentation (TTA) combine les prédictions obtenues à partir de versions transformées des données d’entrée. La diversité est créée en reformulant la question, en modifiant l’orthographe ou en transformant les images associées. La self-consistency fonctionne autrement : elle ne modifie que le cheminement du raisonnement et réutilise une entrée fixe.

MéthodeSource de diversité
TTAversions transformées des données d’entrée
Self-consistencycheminement du raisonnement avec une entrée fixe

La TTA teste la robustesse aux modifications de l’entrée. La self-consistency teste la robustesse du raisonnement avec une seule entrée. Le choix dépend de la source de diversité nécessaire à la tâche.

Pourquoi le nombre égal d’appels d’inférence change la conclusion

Les auteurs ont comparé différentes variantes sur six benchmarks. Le nombre d’appels d’inférence était identique. Cette condition permet de distinguer l’effet de la source de diversité de celui de calculs supplémentaires.

  • six benchmarks ;
  • nombre d’appels égal ;
  • comparaison des sources, et non du volume.

Les auteurs indiquent que la source de diversité compte davantage que sa quantité. Pour faire un choix, il faut donc comparer les méthodes avec un nombre d’appels égal. Sinon, l’augmentation de la précision peut être attribuée à la source de diversité plutôt qu’aux appels supplémentaires.

Reformulation : gain et pic précoce

La reformulation de l’entrée tout en préservant le sens a apporté le gain de précision le plus important. Le gain s’est élevé à +1,80 point de pourcentage par rapport à un seul appel. La précision maximale a été atteinte avec le plus petit nombre d’échantillons.

Pour les modèles de niveau intermédiaire, comme Claude Haiku, modifier la formulation de la question s’est révélé être une utilisation plus efficace d’un appel d’inférence que modifier le cheminement du raisonnement.

Conclusion pratique : si la transformation préserve le sens, la reformulation est la première option à envisager pour la TTA. Elle apporte à la fois un gain et un pic précoce.

Bruit caractère par caractère : beaucoup de divergences, peu d’intérêt

Le bruit caractère par caractère a entraîné davantage de divergences entre les réponses : 37,8 % contre 27,4 %. Le gain de précision s’est avéré plus faible. Une forte variation des réponses n’est pas nécessairement utile pour l’agrégation.

Les divergences causées par une altération du sens sont erronées. Elles ne fournissent aucun signal utile pour l’agrégation.

Conclusion pratique : évaluer la précision, pas seulement le taux de divergences. Le bruit caractère par caractère ne remplace pas les transformations qui préservent le sens.

Double perturbation : quand la combinaison est moins performante

La perturbation simultanée de deux modalités a donné un résultat inférieur au niveau de référence d’un seul appel. La combinaison de transformations ne garantit pas de gain.

  • perturbation simultanée de deux modalités ;
  • résultat inférieur au niveau de référence d’un seul appel ;
  • vérification distincte de la combinaison.

Conclusion pratique : ne combiner les modalités qu’après les avoir comparées séparément. Sinon, la TTA peut donner un résultat inférieur à celui d’un seul appel.

Choisir une méthode dans la pratique

Les critères de choix reposent sur la source de diversité, la préservation du sens et un nombre égal d’appels.

TâcheMéthode
Tester la robustesse à la formulationTTA avec reformulation
Tester la robustesse du raisonnement avec la même entréeself-consistency
Évaluer la sensibilité à l’orthographeTTA avec du bruit caractère par caractère
Combiner des modalitésuniquement après une comparaison distincte

Critère pratique : choisir la source de diversité en fonction de la tâche. Pour améliorer la précision avec la TTA, la reformulation produit le plus grand effet mesuré. Pour tester le raisonnement avec la même entrée, la self-consistency reste adaptée.

Foire aux questions

Matériaux connexes

Tous matériaux
La validation des candidats coûte plus cher que leur génération : des leurres contre la recherche de vulnérabilités par les LLM
Nouvelles

La validation des candidats coûte plus cher que leur génération : des leurres contre la recherche de vulnérabilités par les LLM

Cette étude analyse l’asymétrie des coûts de la recherche agentique de défauts : la génération de variantes est peu coûteuse, tandis que leur confirmation au moyen d’une analyse d’accessibilité, de l’exécution et d’un PoC mobilise l’essentiel du budget ; la vérification peut donc devenir une cible de défense à part entière. RedHerring, qui propose des leurres adaptés au dépôt et assortis d’un certificat secret, a réduit de 38,7 à 60,4 % le nombre de véritables vulnérabilités détectées, à coût égal, dans 33 projets OSS-Fuzz ; même après avoir averti l’agent, la baisse restait de 37,2 %.

9 novembre 2026
Vérification des hallucinations des LLM via une vue SQL des sources, sans réentraînement
Nouvelles

Vérification des hallucinations des LLM via une vue SQL des sources, sans réentraînement

Ce travail évalue si un LLM peut mobiliser une compétence symbolique élémentaire — la création d’une base SQL à partir des documents sources — afin d’ancrer les réponses dans leurs sources sans supervision pour détecter les hallucinations. Sur RAGTruth et DiaHalu, ce pipeline neuro-symbolique se révèle plus précis que la prédiction directe et comparable aux méthodes de pointe, sans nécessiter de réglage fin spécifique au domaine.

9 novembre 2026
MathAdv : ce que cache la précision finale des preuves automatiques
Nouvelles

MathAdv : ce que cache la précision finale des preuves automatiques

Un ensemble de tâches diagnostiques couvrant 13 domaines des mathématiques universitaires et de troisième cycle évalue les systèmes de démonstration automatique dans Lean 4 non seulement sur le résultat final, mais aussi sur leur maîtrise des sujets, la qualité de leurs raisonnements informels et leur robustesse face aux reformulations des énoncés. L’analyse par composante montre que la formalisation des problèmes reste le principal obstacle et que la réussite dépend fortement du domaine mathématique et de la manière dont le problème est formulé.

9 novembre 2026
La diversité à l’entrée, pas dans le raisonnement : comparaison des méthodes d’augmentation des tests pour les LLM