Активные веса вместо полной матрицы: INT8-декодирование спайковой модели на CPU
В статье описана C++-реализация для языковой модели с бинарным спайковым гейтингом: разрежённые проекции обрабатываются в INT8, а вычисления учитывают только активные веса. В однопоточном тесте ранняя INT8-версия обеспечила 23,31 токена/с против 9,82 у FP32 и сократила память под веса с 3355,2 до 1087,4 МиБ; переход плотных проекций на INT4 уменьшил пропускную способность декодирования.

Как спайки меняют обработку весов
В статье «Spike-Aware INT8 Execution for Spiking Language Models on Commodity CPUs» Ting Liu описывает декодирование спайковой языковой модели на CPU.
- Двоичные спайковые активации позволяют читать только активные столбцы весов.
- Умножения заменяются суммами весов.

Практический смысл подхода — не обрабатывать столбцы, которые не активировались. Выигрыш зависит от разреженности активаций, а не только от формата весов.
Как устроен INT8-путь
Реализацию на C++ проверили на спайк-гейтированной языковой модели с 874M параметрами. Она использует разные режимы для разреженных и плотных проекций.
- В разреженных проекциях хранятся веса INT8 в формате column-major.
- Накопление выполняется в целых числах, масштаб применяется один раз для каждого выходного канала.
- В плотных проекциях сохраняются доступ row-major и активации FP32.
Это смешанная схема, а не перевод всех операций модели в INT8. Критерий выбора — готовность сохранять FP32 в плотных проекциях ради разреженного INT8-пути.
Какие показатели скорости и хранения приведены
Ранний чекпойнт сравнили на одном потоке. В этой проверке INT8 показал более высокую пропускную способность декодирования и меньший объём хранения весов.
| Ранний чекпойнт, один поток | Скорость декодирования | Хранение весов |
|---|---|---|
| FP32 | 9.82 tokens/s | 3355.2 MiB |
| INT8 | 23.31 tokens/s | 1087.4 MiB |
Для финального чекпойнта указаны отдельные результаты на AMD Ryzen 7 5800X. Условия отличаются от сравнения раннего чекпойнта.
| Режим финального чекпойнта INT8 | Показатель |
|---|---|
| Декодирование, один поток | 22.63 tokens/s |
| Декодирование, четыре потока | 47.90 tokens/s |
| Prefill последовательности в 512 токенов, восемь потоков | 94.68 tokens/s |
Эти показатели нельзя напрямую сводить в одну таблицу сравнения: они относятся к разным чекпойнтам и режимам. Для оценки пропускной способности важны и версия чекпойнта, и число потоков.
Что меняет вариант с INT4
Вариант с INT4 для плотных проекций сокращает объём хранения ещё на 17.4%. Пропускная способность декодирования при этом снижается на 46.6%.
В исправленной версии статьи отозваны недействительные результаты для чистого INT4. Поэтому приведённый компромисс относится к INT4 в плотных проекциях, а не к полностью INT4-модели.
Критерий выбора — приоритет хранения над скоростью декодирования. Результаты чистого INT4 нельзя использовать как подтверждение производительности.
Что известно об энергопотреблении
В отдельном исследовании выходной головы на ARM для двух конфигураций проверки кандидатов зафиксировали более высокие показатели энергии на усечённом окне декодирования.
Исправленная версия статьи также добавляет численную валидацию и исследование энергопотребления по wall-power на ARM. Данных из CPU-тестов по скорости недостаточно, чтобы делать вывод об экономии энергии.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Проверка галлюцинаций LLM через SQL-представление источников без дообучения
Работа проверяет, способна ли LLM задействовать базовый символический навык — сборку SQL-базы по исходным документам — для привязки к источнику без учителя при детекции галлюцинаций. На RAGTruth и DiaHalu такой нейросимволический конвейер оказывается точнее прямого предсказания и сопоставим с передовыми методами, не требуя тонкой настройки под предметную область.
9 ноября 2026
MathAdv: что скрывает итоговая точность машинных доказательств
Диагностический набор задач по 13 университетским и аспирантским разделам математики оценивает системы машинного доказательства в Lean 4 не только по итоговому результату, но и по владению предметом, качеству неформальных рассуждений и устойчивости к переформулировкам условий. Покомпонентный разбор показывает, что перевод задачи в формальный вид по-прежнему остаётся главным препятствием, а успех сильно зависит от области математики и от способа постановки задачи.
9 ноября 2026
AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором
Работа описывает генеративную модель, которая одновременно прогнозирует будущие RGB-наблюдения, скалярные поля и тепловые карты аффордансов и непрерывные команды робота, используя человеческие видео для расширения разнообразия взаимодействий без аннотаций действий и ретаргетинга. На RoboCasa, CALVIN ABC→D и реальных задачах подход даёт устойчивый выигрыш относительно базовых линий только на RGB и только на роботных данных.
9 ноября 2026