La place des modèles de diffusion discrète
Les modèles de diffusion par débruitage discret (DDM) opèrent sur des données discrètes. Ils constituent une alternative à la modélisation autorégressive (AR). Au lieu de prolonger la séquence pas à pas, le modèle génère en parallèle et affine le résultat de manière itérative et globale.
La principale différence avec la diffusion continue réside dans la structure de l'espace d'états. Dans le cas continu, l'espace est fixé. Dans le cas discret, il est construit, et c'est de cette construction que dépend la génération.
| Approche | Mode de génération |
|---|---|
| Modélisation autorégressive | Génération séquentielle |
| Diffusion continue | Affinage itératif à espace d'états fixé |
| Diffusion discrète | Génération parallèle et affinage global itératif |
Le critère de choix est simple. On recourt aux DDM là où l'on a besoin d'une génération parallèle et d'une amélioration globale du résultat. Mais la qualité d'une telle génération n'est pas déterminée par le seul modèle.
Espace d'états : trois composantes
Le cadre unifié envisage la diffusion discrète à travers la construction de l'espace d'états discret sous-jacent. Cette construction comprend trois éléments.
- Le schéma de tokenisation détermine en quelles unités les données sont découpées.
- La topologie du vocabulaire détermine comment ces unités sont mises en relation entre elles.
- Les alphabets structurels de domaine définissent les unités et les liens spécifiques au domaine.
Ces trois décisions ne se réduisent pas à des réglages appliqués à un modèle prêt à l'emploi. Elles définissent l'espace même dans lequel s'effectue la diffusion. C'est pourquoi la tokenisation et la génération sont envisagées dans un même cadre, et non séparément.
Critère pratique : on décrit d'abord l'espace d'états, puis on choisit la formulation du modèle.
Un cadre unifié et trois formulations
Les formulations existantes de la diffusion discrète apparaissent comme différentes instanciations d'un même espace de solutions. Le cadre en distingue trois.
- Transition-matrix — formulation par matrice de transitions.
- Masking / absorbing-state — formulation par masquage et état absorbant.
- Score / ratio-based — formulation par score et rapports.
Le cadre montre qu'il ne s'agit pas de théories concurrentes, mais de variantes d'une même construction. La différence entre elles réside dans le mode d'écriture, et le point commun dans l'espace de solutions auquel elles se rattachent.
Critère : comparer les formulations n'a de sens qu'au sein d'un même cadre. Le choix entre elles est secondaire par rapport à la manière dont l'espace d'états est structuré.
Compromis transversaux
Axes selon lesquels les décisions sont liées
Le cadre met en évidence des compromis communs selon plusieurs axes à la fois :
- objectifs d'apprentissage ;
- algorithmes d'inférence ;
- comportement lors de la mise à l'échelle ;
- optimisation système ;
- protocoles d'évaluation.
Les axes sont liés entre eux. Une décision sur l'objectif d'apprentissage limite le choix de l'algorithme d'inférence. L'optimisation système et les protocoles d'évaluation dépendent du même choix.
Comment s'en servir
La comparaison des variantes s'effectue sur tous les axes à la fois. Un gain sur un axe ne dispense pas de vérifier les autres. Le cadre esquisse également des directions de recherche futures.
Ordre des décisions
- Décrire l'espace d'états : schéma de tokenisation, topologie du vocabulaire, alphabet structurel de domaine.
- Choisir une formulation au sein du cadre : matrice de transitions, masquage, score/ratio.
- Définir l'objectif d'apprentissage et l'algorithme d'inférence adaptés à cette construction.
- Vérifier la décision selon les axes : mise à l'échelle, optimisation système, protocoles d'évaluation.
Critère de choix : si la construction de l'espace d'états n'est pas décrite, on ne peut justifier ni la formulation ni le schéma d'inférence. Le cadre est décrit dans le travail « Discrete Diffusion Models: A Unified Framework from Tokenization to Generation » (arXiv:2607.13431, v2 du 25 août 2026).
