Dialectes : nous comprenons, mais ne reproduisons pas
Les grands modèles de langage modernes gèrent plutôt bien la compréhension de l'anglais dialectal — ils peuvent déchiffrer une question ou une commande formulée dans une variante régionale de la langue. Mais dès qu'on demande au modèle de répondre dans le même style, il bascule presque toujours vers l'anglais standard, le plus souvent orienté vers la norme américaine. Il en résulte un fossé curieux : le modèle entend le dialecte, l'interprète parfaitement, mais s'exprime dans une langue « littéraire ». Dans la littérature de recherche, ce phénomène est appelé robustness-generation gap — l'écart entre la robustesse face à une entrée non standard et la capacité à la reproduire dans sa propre génération.
C'est précisément cet écart que les auteurs de l'étude DiaLLM, récemment publiée sur arXiv (2607.07669), ont décidé d'examiner. Ils se sont demandé : peut-on apprendre à des modèles de langage ouverts non seulement à comprendre les dialectes, mais aussi à les parler activement — et si oui, quelles méthodes d'apprentissage donnent les meilleurs résultats.
Ce que propose DiaLLM
Les chercheurs n'ont pas affiné le modèle sur un seul dialecte. Au lieu de cela, ils ont pris trois familles de LLM ouverts et ont poursuivi leur pré-entraînement sur le International Corpus of English. Ce corpus contient des textes dans de nombreuses variantes nationales et régionales — de l'australien à l'indien.
Ensuite, l'apprentissage s'est divisé en deux directions : le paradigme implicite, où le modèle assimile lui-même les particularités du dialecte à partir d'exemples, et le paradigme explicite, où le modèle est explicitement entraîné à choisir des formulations dialectales. Chaque direction était en outre combinée à l'une des trois stratégies d'alignement. Le résultat est une sorte de matrice d'expériences permettant d'évaluer séparément la contribution de chaque étape d'apprentissage.
Selon les auteurs, il s'agit de la première comparaison contrôlée de ces composants pour les variantes australienne, indienne et septentrionale de l'anglais. Personne n'avait auparavant testé ces méthodes sur une base expérimentale unifiée.
Ce que les expériences ont montré
La conclusion principale est que la capacité à comprendre un dialecte et la capacité à le générer ne sont effectivement pas directement liées. L'une ne découle pas de l'autre : un modèle peut parfaitement traiter des constructions dialectales tout en répondant obstinément en langue standard.
Autre point curieux. Les résultats des modèles sur les benchmarks automatiques étaient principalement déterminés par le pré-entraînement continu et le supervised fine-tuning (SFT). L'influence de l'alignement sur les métriques de test s'est révélée presque imperceptible. Mais cela ne signifie pas que l'alignement est inutile : il modifiait fortement le style des réponses, simplement les benchmarks standards ne sont pas sensibles à de tels changements. En somme, si l'on évalue les modèles uniquement sur les chiffres, on pourrait conclure à tort que toutes les méthodes sont équivalentes.
Pourquoi la génération de dialectes est une tâche difficile
Les auteurs ont comparé séparément l'adaptation explicite à une variante linguistique spécifique et un alignement plus large, non lié au dialecte. L'approche explicite produisait effectivement des textes que les classificateurs automatiques comme les humains identifiaient avec assurance comme dialectaux. Ces réponses obtenaient des scores plus élevés par rapport à l'alignement large.
Mais ici, une nuance inattendue est apparue. La méthode qui optimisait le plus agressivement la « récompense dialectale », c'est-à-dire qui encourageait le plus activement le modèle pour les tournures dialectales, n'a finalement pas plu aux évaluateurs humains. Le critère formel intégré à l'algorithme ne coïncidait pas avec la perception humaine d'une parole dialectale de qualité. Une analyse linguistique supplémentaire a confirmé : il existe un écart entre l'optimisation formelle et la qualité réelle, particulièrement visible chez deux des trois familles de modèles.
Ainsi, aucune des trois stratégies d'alignement n'a montré une supériorité sans réserve. Il n'existe pas de recette simple du type « affine le modèle sur un dialecte et obtiens un assistant qui le parle ». Pour combler l'écart, il faut des conceptions de récompenses plus subtiles — ne se réduisant pas à une seule pénalité pour écart par rapport à la norme — et des ressources dialectales de meilleure qualité pour l'apprentissage.
Conclusions et perspectives
Le travail de DiaLLM est précieux car il offre un aperçu systématique de la manière dont les différentes étapes d'apprentissage influencent la génération dialectale. Pour les praticiens, cela signifie : si vous voulez qu'un assistant communique en anglais australien ou indien, un simple pré-entraînement continu ne suffit pas. Un alignement réfléchi sera nécessaire, et son résultat doit être vérifié non seulement par des benchmarks automatiques, mais aussi avec la participation de locuteurs natifs du dialecte.
La bonne nouvelle : les auteurs prévoient de publier le code, les points de contrôle et les ensembles de données avec les préférences humaines. Cela permettra à d'autres équipes de poursuivre les expériences et d'essayer des méthodes d'apprentissage par renforcement plus complexes.
En attendant, la conclusion principale semble presque paradoxale : les grands modèles de langage deviennent de plus en plus performants pour comprendre les dialectes, mais leur capacité à les parler reste un problème non résolu, que l'on ne peut pas régler en augmentant simplement le volume des données d'entraînement.
