FedSocket: обмениваемые модели с обязательной исполнимостью у получателя при мультимодальной гетерогенности

13 ноября 20262 просмотров

Предложен FedSocket — подход, при котором обмениваемая модель обязана быть вычислима на стороне получателя, а разнородные частные модели связывает общий интерфейс предсказаний Q. В статье описаны агрегация с учётом принадлежности, пересылка лишь параметров Q вместе со счётчиками и эксперименты на шести датасетах, демонстрирующие рост точности при недостающих модальностях и преимущество Joint-инференса над независимыми ансамблями.

FedSocket: обмениваемые модели с обязательной исполнимостью у получателя при мультимодальной гетерогенности

Гетерогенность и мультимодальность как ограничение обмена

В мультимодальном федеративном обучении частные модели остаются гетерогенными. У части получателей отсутствует модальность, которую используют другие участники. Обычный обмен моделями не гарантирует, что получатель сможет выполнить полученную модель. FedSocket вводит обязательную исполнимость у получателя как требование к обмениваемой модели.

Ключевые ограничения:

  • частные модели различаются по составу модальностей;
  • получатель может не иметь части модальностей;
  • обмениваемая модель должна исполняться на стороне получателя;
  • разнородные модели нужно связать через общий интерфейс предсказаний.

Вывод: проблема лежит не только в точности. Критерий — исполнимость модели у получателя при мультимодальной гетерогенности.

Обязательная исполнимость и общая Q

FedSocket делает выполнение на стороне получателя обязательным требованием к обмениваемой модели. Общая Q объединяет входы, которые вычисляет получатель, выходы, принадлежащие задаче, и агрегацию с учётом владения. Q связывает гетерогенные частные модели через общий интерфейс предсказаний.

Частные модели обучают локальные копии Q. Обмен включает только параметры Q и счётчики. Такой обмен не передаёт частные модели целиком.

Вывод: механизм ограничивает обмен общим слоем Q и счётчиками, а не полными частными моделями.

Режимы: локальное обучение и Joint inference

В FedSocket возвращённая Q поддерживает локальное обучение и Joint inference. Joint inference сравнивают с независимыми ансамблями при одинаковой вычислительной мощности для инференса. Joint превосходит независимые ансамбли на 11.06 п.п. по точности на UCF-51 и на 4.87 п.п. по среднему двунаправленному Flickr30k R@1. Joint также превосходит Q alone на всех четырёх гетерогенных конечных точках.

СравнениеУсловиеРезультат
Joint против независимых ансамблейОдинаковая вычислительная мощность для инференса+11.06 п.п. точности на UCF-51; +4.87 п.п. среднего двунаправленного Flickr30k R@1
Joint против Q aloneВсе четыре гетерогенные конечные точкиJoint превосходит Q alone

Вывод: для совместного вывода при равной мощности Joint даёт прирост по указанным метрикам. Для локального обучения используется возвращённая Q.

Что показывают эксперименты

На шести наборах данных FedSocket повышает точность получателей с отсутствующей модальностью по сравнению с Local. Прирост составляет 14.44 п.п. на MELD и 15.51 п.п. на UCF-51. Контрольные эксперименты с учителями, вмешательства в путь обмена и факторные эксперименты с компонентами выявляют роли супервизии, обмена и развёртывания.

Структура результатов:

  • шесть наборов данных;
  • получатели с отсутствующей модальностью: +14.44 п.п. на MELD и +15.51 п.п. на UCF-51 против Local;
  • контрольные эксперименты с учителями;
  • вмешательства в путь обмена;
  • факторные эксперименты с компонентами;
  • выявленные роли: супервизия, обмен, развёртывание.

Вывод: прирост относится к получателям с отсутствующей модальностью. Абляции разделяют вклад супервизии, обмена и развёртывания.

Практический критерий выбора

FedSocket применим при выполнении набора условий. Получатель должен исполнять обмениваемую модель. Частные модели должны быть гетерогенными, а связь — идти через общий интерфейс предсказаний. У части получателей может отсутствовать модальность. Нужны локальное обучение и Joint inference. Обмен следует ограничить параметрами Q и счётчиками.

Критерий выбора:

  • обязательная исполнимость модели у получателя;
  • мультимодальная гетерогенность частных моделей;
  • общий интерфейс предсказаний для разнородных моделей;
  • получатели с отсутствующей модальностью;
  • локальное обучение и Joint inference;
  • обмен только параметрами Q и счётчиками.

Вывод: подход ориентирован на сценарии с обязательной исполнимостью у получателя и мультимодальной гетерогенностью. Вне этих условий факты не дают оснований для выбора.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Устойчивость детекторов к перефразированному машинному тексту: что выявили испытания
Исследования

Устойчивость детекторов к перефразированному машинному тексту: что выявили испытания

В материале собраны результаты проверок инструментов, которые переписывают сгенерированные фрагменты под более естественный стиль. После такой обработки обнаруживаемость заметно снижается, а сохраняющиеся ложные срабатывания не позволяют считать вердикт детектора доказательством.

13 ноября 2026
CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков
Новости

CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков

Бенчмарк помещает двух агентов в песочницы с непрерывно меняющимися сервисами и по итогам серии раундов сводит их действия к многомерным оценкам наступательных и оборонительных навыков. На 466 матчах с 12 современными моделями он различил возможности там, где односторонние тесты упираются в потолок, включая планирование на несколько ходов и создание бэкдоров.

13 ноября 2026
Новые команды по ходу синтеза: многодорожечный таймлайн для 3D-движений человека
Новости

Новые команды по ходу синтеза: многодорожечный таймлайн для 3D-движений человека

Предложен метод, который принимает новые текстовые указания уже во время синтеза и позволяет независимо задавать перекрывающиеся интервалы действий. Согласование одновременных движений разных частей тела обеспечивается интервальным кондиционированием и процедурой денойзинга с учётом частей тела; на TimelineMotion и MTT авторы сообщают о лучшем соответствии семантике и временным ограничениям, чем у потоковых базовых решений.

12 ноября 2026
FedSocket: обмениваемые модели с исполнимостью у получателя