Почему чистые данные скрывают разницу между вариантами KAN
Литература по эффективным вариантам сети Колмогорова–Арнольда охватывает Chebyshev, вейвлетные и радиально-базисные версии оригинальной KAN. Бенчмарки в этих работах построены на чистых данных. Такой выбор маскирует крупное различие в возможностях архитектур.
Работа arXiv:2608.14773 выносит это различие на первый план. Первая версия появилась 14 августа 2026 года, вторая — 25 августа 2026 года. Объём — 22 страницы, 20 рисунков и 8 таблиц. Тематика — машинное обучение и искусственный интеллект.
Практический критерий: сравнение вариантов KAN только на чистых данных не даёт оснований для выбора. Для оценки нужен протокол с зашумлёнными данными.
Насколько вырастает ошибка при шуме
Метрика — тестовый MSE, который измеряют против чистой эталонной функции. Обучение идёт на данных, испорченных шумом с sigma = 0,1. Показатель роста описывает, во сколько раз ошибка выросла относительно чистого случая.
| Вариант архитектуры | Рост тестового MSE при sigma = 0,1 |
|---|---|
| ChebyKAN | 10,6x |
| Оригинальная KAN | 7,9x |
| Стандартный MLP | 1,7x |
| ER-KAN | 1,4x |
Вывод: ER-KAN даёт наименьший рост ошибки среди проверенных вариантов. Стандартный MLP тоже держится заметно лучше, чем ChebyKAN и оригинальная KAN.
Три решения, которые дают ER-KAN устойчивость
ER-KAN собран из трёх приёмов, нацеленных на шумный режим при дефиците данных.
- Общие гауссовы RBF-базисы на всех рёбрах слоя. Дают локальность и экономную параметризацию.
- Curriculum noise injection во время обучения. Модель явно учится устойчивости к шуму.
- Entropy-weighted adaptive regularisation. Мешает переобучению при малом числе примеров.
Итог: сеть на 595 параметров совпадает по точности с MLP при умеренном шуме. При росте шума она деградирует гораздо мягче.
Протокол проверки и его отрицательный результат
Эксперименты построены на нескольких наборах условий.
- Восемь аналитических функций, число примеров N из набора 50, 200 и 500.
- Уровни шума sigma из набора 0,03 и 0,1.
- PINN для затухающего гармонического осциллятора: ER-KAN даёт в 4,2 раза меньший solution MSE, чем MLP.
- PINN для уравнения Бюргерса: все модели не сходятся.
Автор сообщает о неудаче на уравнении Бюргерса открыто. Это ограничение метода, а не скрытый дефект отчёта. Выводы по осциллятору не переносятся автоматически на другие уравнения.
Noise degradation ratio как отдельная метрика
Автор вводит noise degradation ratio — простое дополнение к существующим измерениям. Метрика показывает, во сколько раз ошибка на шумных данных больше ошибки на чистых. Автор рекомендует сделать её обязательным элементом отчётности в статьях об эффективных вариантах KAN.
Практическая ценность метрики — сравнение архитектур по устойчивости, а не только по точности. Для литературы, где бенчмарки держались на чистых данных, это меняет критерий оценки.
Практический критерий выбора
- Зашумлённые данные и мало примеров. ER-KAN даёт наименьший рост ошибки среди проверенных вариантов.
- Умеренный шум. Сеть на 595 параметров совпадает по точности с MLP.
- Нужна простая база для сравнения. Стандартный MLP деградирует слабее, чем ChebyKAN и оригинальная KAN.
- PINN для затухающего осциллятора. ER-KAN показывает меньший solution MSE, чем MLP.
- PINN для уравнения Бюргерса. Ни одна из проверенных моделей не сошлась.
Выбор опирается на уровень шума и объём выборки, а не на результаты на чистых данных. Отчёт без noise degradation ratio неполон для задач, где шум присутствует.
