SEATauBench : évaluation des agents d’IA dans cinq langues d’Asie du Sud-Est

25 septembre 202615 vues

Les auteurs évaluent trois modèles en faisant varier successivement la langue du dialogue, la configuration des outils et le domaine des tâches. Les résultats montrent que le transfert depuis l’anglais se maintient lorsque la langue de communication change, mais se dégrade nettement lorsque les outils et le contexte sont localisés ; les tests en anglais reflètent donc mal les performances des agents dans la région.

SEATauBench : évaluation des agents d’IA dans cinq langues d’Asie du Sud-Est

Sommaire

Ce qu’est SEATauBench
Quelles conditions changent lors de l’évaluation
Ce que montrent les résultats
À quoi sert le benchmark
Publication et versions

Ce qu’est SEATauBench

SEATauBench est le premier système d’évaluation axé sur les agents pour l’IA souveraine en Asie du Sud-Est. Il adapte Tau2-Bench à cinq langues : le chinois (mandarin), le vietnamien, le thaï, l’indonésien et le philippin.

Ce benchmark est conçu pour évaluer les agents dans les contextes linguistiques et thématiques de la région. Le critère pratique pour déterminer s’il convient est la correspondance entre les langues évaluées et le public cible.

Quelles conditions changent lors de l’évaluation

Les chercheurs localisent progressivement le contexte de travail de l’agent. Ils modifient trois éléments :

la langue d’interaction entre l’utilisateur et l’agent ;
les spécifications des outils ;
les domaines thématiques des tâches.

Cette conception permet de tester non seulement le changement de langue du dialogue. Elle couvre également les changements d’outils et de thèmes des tâches.

Ce que montrent les résultats

L’étude a évalué trois modèles. Les auteurs ont comparé l’évolution des capacités des agents selon différents niveaux de localisation.

Conditions d’évaluation	Résultat
Seule la langue du dialogue change	Les capacités en anglais sont assez bien transférées
Un contexte supplémentaire est localisé	La qualité et la robustesse diminuent fortement
Le domaine thématique est entièrement adapté	Les pertes les plus importantes sont observées

Les auteurs soulignent qu’une évaluation menée uniquement en anglais ne prédit que dans une mesure limitée les capacités des agents dans les langues d’Asie du Sud-Est. Les résultats des tests en anglais ne remplacent donc pas une évaluation dans des conditions localisées.

À quoi sert le benchmark

SEATauBench est présenté comme un benchmark diagnostique et un pipeline d’adaptation réutilisable. Il est conçu pour créer des agents multilingues fiables.

Lors du choix d’une évaluation, l’étendue de la localisation est importante : langue du dialogue, spécifications des outils et domaines thématiques. Tester uniquement le changement de langue ne reflète pas les résultats d’une adaptation complète du contexte.

Publication et versions

L’article a été publié dans EMNLP Findings 2026. La version v1 a été soumise le 27 juin 2026, et la dernière révision, v2, a été publiée le 5 septembre 2026.

Identifiant de l’article : arXiv:2606.28715.

Foire aux questions

Matériaux connexes

Tous matériaux

Nouvelles

Poids actifs plutôt que matrice complète : décodage INT8 d’un modèle à neurones impulsionnels sur CPU

L’article décrit une implémentation en C++ pour un modèle de langage avec un mécanisme de gating binaire par spikes : les projections clairsemées sont traitées en INT8, et les calculs ne prennent en compte que les poids actifs. Lors d’un test à un seul thread, la première version INT8 a atteint 23,31 tokens/s, contre 9,82 pour FP32, et réduit la mémoire occupée par les poids de 3 355,2 à 1 087,4 Mio ; le passage des projections denses à INT4 a diminué le débit de décodage.

27 septembre 2026

Nouvelles

Contrôle de la symétrie des modèles 3D via un espace latent voxelisé

L’article présente une approche qui impose une symétrie de rotation, miroir ou polyédrique en transformant les latents voxelisés et en alignant les prédictions du modèle aux étapes de génération, sans réentraîner ses composants principaux. Testée sur 266 objets, elle a réduit les violations de la symétrie imposée par rapport à plusieurs autres méthodes, tout en préservant la qualité de reconstruction du modèle d’origine.

26 septembre 2026

Nouvelles

Architecture de l’assistance à partir de millions de dialogues : séparer la recherche, les actions et la génération

À partir de l’exemple d’un service de réservation de logements, les auteurs analysent le passage d’un modèle unique à un orchestrateur limité d’opérations typées et à un générateur s’appuyant sur un contexte vérifié ; les effets de l’architecture sont évalués séparément des changements connexes. Dans les dialogues rejoués, la précision du choix de réservation a augmenté, les erreurs dans les actions structurées ont disparu et les escalades ont diminué ; l’optimisation a également réduit la latence et les coûts d’utilisation du modèle, tandis que le volume de transferts de dialogues aux opérateurs en production n’a pas sensiblement changé.

26 septembre 2026