Место дискретных диффузионных моделей
Дискретные денойзинг-диффузионные модели (DDM) работают с дискретными данными. Они выступают альтернативой авторегрессионному моделированию (AR). Вместо пошагового продолжения последовательности модель генерирует параллельно и уточняет результат итеративно и глобально.
Главное отличие от непрерывной диффузии — устройство пространства состояний. В непрерывном случае пространство фиксировано. В дискретном случае оно конструируется, и от этой конструкции зависит генерация.
| Подход | Режим генерации |
|---|---|
| Авторегрессионное моделирование | Последовательная генерация |
| Непрерывная диффузия | Итеративное уточнение при фиксированном пространстве состояний |
| Дискретная диффузия | Параллельная генерация и итеративное глобальное уточнение |
Критерий выбора простой. DDM берут там, где нужны параллельная генерация и глобальная доработка результата. Но качество такой генерации определяется не только самой моделью.
Пространство состояний: три составляющие
Единый каркас смотрит на дискретную диффузию через конструкцию лежащего в основе дискретного пространства состояний. В конструкцию входят три элемента.
- Схема токенизации определяет, на какие единицы разбиваются данные.
- Топология словаря определяет, как эти единицы соотносятся между собой.
- Доменные структурные алфавиты задают единицы и связи, специфичные для предметной области.
Эти три решения не сводятся к настройкам поверх готовой модели. Они задают само пространство, по которому идёт диффузия. Поэтому токенизация и генерация рассматриваются в одном каркасе, а не по отдельности.
Практический критерий: сначала описывают пространство состояний, затем выбирают формулировку модели.
Единый каркас и три формулировки
Существующие формулировки дискретной диффузии оказываются разными инстанциациями одного пространства решений. В каркасе их три.
- Transition-matrix — формулировка через матрицу переходов.
- Masking / absorbing-state — формулировка через маскирование и поглощающее состояние.
- Score / ratio-based — формулировка через score и отношения.
Каркас показывает, что это не конкурирующие теории, а варианты одной конструкции. Различие между ними лежит в способе записи, а общее — в пространстве решений, к которому они относятся.
Критерий: сравнивать формулировки имеет смысл внутри одного каркаса. Выбор между ними вторичен по отношению к тому, как устроено пространство состояний.
Сквозные компромиссы
Оси, по которым связаны решения
Каркас выявляет общие компромиссы сразу по нескольким осям:
- цели обучения;
- алгоритмы инференса;
- поведение при масштабировании;
- системная оптимизация;
- протоколы оценки.
Оси связаны между собой. Решение по цели обучения ограничивает выбор алгоритма инференса. Системная оптимизация и протоколы оценки зависят от того же выбора.
Как этим пользоваться
Сравнение вариантов ведут по всем осям сразу. Выигрыш по одной оси не отменяет проверки остальных. Каркас также намечает направления дальнейших исследований.
Порядок решений
- Описать пространство состояний: схему токенизации, топологию словаря, доменный структурный алфавит.
- Выбрать формулировку внутри каркаса: переходная матрица, маскирование, score/ratio.
- Задать цель обучения и алгоритм инференса под эту конструкцию.
- Проверить решение по осям: масштабирование, системная оптимизация, протоколы оценки.
Критерий выбора: если конструкция пространства состояний не описана, обосновать формулировку и схему инференса нельзя. Каркас описан в работе «Discrete Diffusion Models: A Unified Framework from Tokenization to Generation» (arXiv:2607.13431, v2 от 25 августа 2026 года).
