离散扩散模型:一个通用框架,其中状态空间的设计决定了生成过程
作者提出通过构建离散状态空间的视角来审视这类模型——即分词方案、词表拓扑与领域字母表。矩阵转移、状态掩码以及基于评分的方法,最终都是同一设计空间的特例,这揭示了在训练目标、推理算法、扩展性、系统优化与评估协议中存在的共同权衡。

离散扩散模型的位置
离散去噪扩散模型(DDM)处理的是离散数据。它们是自回归建模(AR)的替代方案。模型不是逐步延续序列,而是并行生成并迭代地、全局地细化结果。
与连续扩散的主要区别在于状态空间的构造方式。在连续情形下,空间是固定的。在离散情形下,空间是被构造出来的,而生成效果取决于这一构造。
| 方法 | 生成模式 |
|---|---|
| 自回归建模 | 顺序生成 |
| 连续扩散 | 在固定状态空间下迭代细化 |
| 离散扩散 | 并行生成与迭代式全局细化 |

选择标准很简单。在需要并行生成和全局精修结果的地方,就采用 DDM。但这种生成的质量不仅取决于模型本身。
状态空间:三个组成部分
统一框架通过底层离散状态空间的构造来审视离散扩散。这一构造包含三个要素。
- 分词方案决定数据被拆分成哪些单元。
- 词表拓扑决定这些单元之间如何相互关联。
- 领域结构字母表规定特定于该领域的单元与关联。

这三个决策并非在现成模型之上的设置项。它们规定了扩散所进行的那一空间本身。因此,分词与生成被放在同一个框架中考察,而不是分开来看。
实践标准:先描述状态空间,再选择模型表述。
统一框架与三种表述
现有的离散扩散表述,其实是同一个解空间的不同实例。框架中有三种。
- Transition-matrix——通过转移矩阵的表述。
- Masking / absorbing-state——通过掩码与吸收态的表述。
- Score / ratio-based——通过 score 与比值的表述。
框架表明,这些并非相互竞争的理论,而是同一构造的不同变体。它们之间的差异在于书写方式,共同点则在于它们所属的解空间。
标准:比较不同表述,应当在同一框架内进行。它们之间的选择,相对于状态空间如何构造而言是次要的。
贯穿性的权衡
各项决策相互关联的轴线
框架揭示出在多个轴线上同时存在的共同权衡:
- 训练目标;
- 推理算法;
- 扩展时的行为;
- 系统优化;
- 评估协议。

各轴线之间相互关联。训练目标的决策会限制推理算法的选择。系统优化和评估协议也取决于同一选择。
如何使用
对各个变体的比较要同时沿所有轴线进行。在某一轴线上的优势,并不能免除对其余轴线的检验。框架还指出了后续研究的方向。
决策顺序
- 描述状态空间:分词方案、词表拓扑、领域结构字母表。
- 在框架内选择表述:转移矩阵、掩码、score/ratio。
- 针对这一构造设定训练目标和推理算法。
- 沿各轴线检验方案:扩展、系统优化、评估协议。
选择标准:如果状态空间的构造未被描述,就无法论证表述和推理方案的合理性。该框架在论文《Discrete Diffusion Models: A Unified Framework from Tokenization to Generation》(arXiv:2607.13431,2026 年 8 月 25 日 v2)中有所阐述。
常问问题
相关材料
所有材料
通过 SQL 视图检查 LLM 幻觉,无需微调
这项研究考察了 LLM 能否运用一项基础的符号技能——根据源文档构建 SQL 数据库——在幻觉检测中实现无监督的来源归因。在 RAGTruth 和 DiaHalu 上,这种神经符号流程比直接预测更准确,且性能可与先进方法相媲美,无需针对特定领域进行微调。
9 十一月 2026
MathAdv:机器证明的最终准确率隐藏着什么
这套涵盖大学及研究生阶段 13 个数学分支的诊断性任务集,不仅根据最终结果评估 Lean 4 中的机器证明系统,还考察其学科知识、非正式推理质量以及对题目改写的适应能力。分项分析显示,将题目转化为形式化表达仍然是主要障碍,而成功与否在很大程度上取决于数学领域和题目的表述方式。
9 十一月 2026
AffordanceWAM:可供性作为场景预测与机械臂控制之间的桥梁
该工作介绍了一种生成模型,可同时预测未来的 RGB 观测、标量场、可供性热图和机器人的连续动作指令;该模型利用人类视频扩展交互多样性,无需动作标注或动作重定向。在 RoboCasa、CALVIN ABC→D 和真实任务中,该方法相比仅使用 RGB 数据和仅使用机器人数据的基线均取得了稳定提升。
9 十一月 2026