LightCRS: компактная мультидоменная схема диалоговых рекомендаций без отдельной VLM на категорию

16 ноября 20262 просмотров

Авторы представляют систему, где товарные мультимодальные признаки считаются офлайн замороженными энкодерами, а в диалоге их обрабатывает общий для всех доменов модуль на 5,3 млн параметров с cross-attention, зависящим от запроса. На бенчмарке из 25 доменов подход улучшает средние метрики ранжирования, заметно снижает задержку и показывает, что совместное обучение даёт прирост относительно отдельных однодоменных моделей.

LightCRS: компактная мультидоменная схема диалоговых рекомендаций без отдельной VLM на категорию

Задача: диалоговые рекомендации без отдельной VLM на домен

LightCRS — лёгкая система мультимодальных диалоговых рекомендаций для нескольких доменов. Работу подготовили He Ma, Lan You, Qiyang Wu и Chen Liu. Препринт arXiv:2610.26948 подан 18 Oct 2026.

Ключевые признаки:

  • Диалоговый режим работы.
  • Мультимодальные данные о товарах.
  • Несколько доменов в одной системе.
  • Лёгкая архитектура без отдельной VLM на категорию.

Система решает задачу выбора товара в диалоге. Пользователь ищет рекомендацию в нескольких доменах. Практический критерий: смотреть на схемы, которые поддерживают несколько доменов и не требуют отдельной VLM на каждую категорию.

Архитектура: офлайн-энкодеры и общий модуль 5.3M

В LightCRS мультимодальные представления товаров заранее вычисляются офлайн. Для этого используют замороженные энкодеры.

Рантайм-этапы:

  • Компактный модуль с 5.3M параметров объединяет данные диалога.
  • Связь запроса и представлений идёт через query-conditioned cross-attention.
  • Кандидатов совместно сравнивает inter-candidate Transformer.

Параметры модуля общие для всех доменов. Практический критерий: проверять, какие компоненты вынесены в офлайн и сколько параметров остаётся в рантайме. Для мультидоменной схемы важен общий модуль, а не набор отдельных моделей.

Мультидоменность: общие параметры и совместное обучение

LightCRS использует общий набор параметров для всех доменов. Это ключевое отличие от подхода с отдельной моделью на категорию.

Вариант обученияHR@1
Совместное обучение на нескольких доменах+15.2% к однодоменным моделям
Отдельно обученные однодоменные моделиБаза сравнения

Совместное обучение — отдельный фактор. Практический критерий: сравнивать общий мультидоменный модуль с набором однодоменных моделей по HR@1. Эффект совместного обучения нужно измерять, а не предполагать.

Бенчмарк MM-R2A-25: 25 доменов из Reddit и Amazon

Для оценки авторы создали MM-R2A-25.

Состав бенчмарка:

  • 25 доменов.
  • Естественные диалоги с Reddit, где пользователи ищут рекомендации.
  • Товарные листинги Amazon.

LightCRS оценивают на этом наборе. Бенчмарк проверяет систему на разных доменах и на естественных диалогах. Он не ограничивается одним типом товаров.

Практический критерий: смотреть, на каких доменах и диалогах оценена система. Мультидоменный бенчмарк полезнее, чем отчёт только по одной категории.

Результаты: HR@1, NDCG@5, MRR и задержка

LightCRS сравнивают с базовыми методами по трём метрикам и задержке.

ПоказательРезультат LightCRS
Средние результаты по HR@1, NDCG@5 и MRRЛучшие
HR@1 к сильнейшему базовому методу+35.4%
Задержка на запросСокращение в 266 раз

Выигрыш по качеству сопровождается кратным снижением задержки в описанном сравнении. Практический критерий: смотреть не только на HR@1, но и на NDCG@5, MRR и задержку. Один показатель не описывает компромисс между качеством и задержкой.

Что проверять при выборе подобной схемы

  • Общие параметры для всех доменов.
  • Офлайн-кодирование мультимодальных представлений замороженными энкодерами.
  • Размер рантайм-модуля: у LightCRS это 5.3M параметров.
  • Совместное сравнение кандидатов через inter-candidate Transformer.
  • Оценка на многодоменных диалогах с метриками HR@1, NDCG@5, MRR и задержкой на запрос.

Практический критерий: требовать опубликованные метрики и условия бенчмарка. Схема с общим компактным модулем интересна, когда доменов много, а рантайм должен оставаться лёгким.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора
Новости

Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора

Предлагается пошаговый модуль, который не отбрасывает отклонённую тактику, а до R раз поручает модели-корректору исправить её с учётом ошибки Lean; при K кандидатах это повышает долю решённых задач. Опыты на LeanDojo и Lean Workbook показывают прирост в основном за счёт неглубоких сбоев исполнения, ценой увеличения времени поиска.

16 ноября 2026
Метод Genesis Steering: активационное управление на данных, использованных при дообучении
Новости

Метод Genesis Steering: активационное управление на данных, использованных при дообучении

Метод выводит вектор управления из контрастных примеров, присутствовавших в данных дообучения, а при их недоступности отбирает вероятные обучающие образцы через membership inference и формирует прокси-набор. Теоретическая часть описывает оптимальное смещение к границе решения и оценку по прокси-данным; эмпирически внутренние данные Tülu-3-8B дают более выраженный эффект, чем внешние наборы, тогда как полезность MIA-прокси на Llama-3.1-8B-Instruct ограничена соотношением сдвигов направления.

16 ноября 2026
Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0
Новости

Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0

Представлена компактная базовая модель для табличных задач, предсказывающая новые наблюдения по размеченной опорной таблице без дообучения параметров. Адаптивный выбор экспертов с учётом набора данных и признаковых представлений даёт конкурентоспособные результаты, особенно при малом контексте и высокой размерности.

15 ноября 2026
LightCRS: мультидоменные диалоговые рекомендации без VLM