Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0

15 ноября 20261 просмотров

Представлена компактная базовая модель для табличных задач, предсказывающая новые наблюдения по размеченной опорной таблице без дообучения параметров. Адаптивный выбор экспертов с учётом набора данных и признаковых представлений даёт конкурентоспособные результаты, особенно при малом контексте и высокой размерности.

Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0

Табличное обучение в контексте: суть режима

Модель предсказывает невиденные наблюдения по размеченной таблице поддержки. Модель не обновляет параметры под конкретную задачу. Статья описывает OrionMoE-Small-v1.0 — компактную табличную базовую модель для обучения в контексте.

Ключевые элементы режима:

  • вход — размеченная таблица поддержки;
  • цель — предсказать невиденные наблюдения;
  • адаптация — без обновления параметров под конкретную задачу;
  • режим — обучение в контексте.

Практический критерий: задача допускает предсказание по размеченной таблице поддержки. Градиентная адаптация под задачу не нужна.

Архитектура: dual-axis transformer и разреженные эксперты

В основе OrionMoE-Small-v1.0 лежит архитектура dual-axis transformer. Модель сочетает представления, учитывающие распределение данных, с разреженными вычислениями смеси экспертов. Эти вычисления обусловлены набором данных. Выбор активируемых экспертов учитывает представления отдельных ячеек и контекст всего набора.

Устройство модели:

  • архитектура — dual-axis transformer;
  • представления — с учётом распределения данных;
  • вычисления — разреженная смесь экспертов, обусловленная набором данных;
  • выбор экспертов — по представлениям ячеек и контексту набора;
  • распределение вычислений — адаптивное между неоднородными табличными задачами;
  • вычислительный путь — общий для разных задач.

Практический критерий: неоднородные табличные задачи требуют адаптивного распределения вычислений. Модель сохраняет общий вычислительный путь для разных задач.

Обучение: синтетические задачи классификации

Модель прошла предварительное обучение исключительно на синтетических задачах классификации. В основе этих задач лежит структурированное причинное априорное распределение. Для последующих задач модель выполняет предсказания без градиентной адаптации. Аннотация приводит название OrionMoE-Small-v1.0.

Авторы статьи: Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu. Авторы подали статью 14 октября 2026 года. Последняя редакция вышла 18 октября 2026 года. Версия статьи — v2.

Что известно об обучении:

  • данные — исключительно синтетические задачи классификации;
  • основа — структурированное причинное априорное распределение;
  • последующие задачи — без градиентной адаптации.

Практический критерий: источник описывает предобучение только на синтетических задачах классификации. Для других типов задач факты не приводят данных.

Результаты и критерии применения

OrionMoE-Small-v1.0 показала конкурентоспособные результаты на нескольких табличных бенчмарках. Сравнение шло с существенно более крупными базовыми моделями. Анализ отметил особенно сильные результаты на наборах данных с малым контекстом и высокой размерностью. Дополнительный анализ показал благоприятные относительные результаты при дисбалансе классов.

СценарийЧто показал анализ
Сравнение с существенно более крупными базовыми моделямиконкурентоспособные результаты
Малый контекст и высокая размерностьособенно сильные результаты
Дисбаланс классовблагоприятные относительные результаты
Композиция признакованализ выделил важность

Практический критерий: малый контекст и высокая размерность — условия с особенно сильными результатами. Дисбаланс классов и композиция признаков — отдельные пункты анализа.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Локальный поиск ковариатных сдвигов для профилей с ненадёжными прогнозами
Новости

Локальный поиск ковариатных сдвигов для профилей с ненадёжными прогнозами

Статья описывает диагностический конвейер, который сначала выделяет интерпретируемые группы пациентов с пониженной уверенностью модели, а затем проверяет внутри этих групп наличие вредного ковариатного сдвига. В экспериментах на MIMIC-IV с тремя клиническими задачами и тремя искусственными подгрупповыми сдвигами подход помог локализовать возрастной сдвиг, слабо заметный при агрегированной оценке.

15 ноября 2026
FedPix: передача сжатых изображений с клиента для уменьшения утечки в федеративном обучении
Новости

FedPix: передача сжатых изображений с клиента для уменьшения утечки в федеративном обучении

Статья рассматривает, какую информацию клиенту разрешать отправлять на сервер, и предлагает обучать передачу компактных визуально проверяемых изображений вместо модельных весов или промежуточных представлений. На BloodMNIST, CIFAR-10, FashionMNIST и MNIST подход показывает низкий PSNR при реконструкции и сокращает клиентское время до 96,0% при точности 65,63–99,18%.

15 ноября 2026
MaRK: контекстная модуляция рекуррентных параметров в предобученных SSM
Новости

MaRK: контекстная модуляция рекуррентных параметров в предобученных SSM

Предложен подход, который подстраивает рекуррентный оператор замороженной модели пространства состояний под контекст через низкоранговые изменения параметров, влияя на ядро «вход—выход» на каждом шаге генерации. Сравнение трёх геометрий адаптеров показывает преимущество полиномов Чебышёва по ошибке валидации, а ограниченная параметризация допускает аналитическую проверку устойчивости.

14 ноября 2026
OrionMoE-Small-v1.0: табличное обучение в контексте