FedSocket: обмениваемые модели с обязательной исполнимостью у получателя при мультимодальной гетерогенности
Предложен FedSocket — подход, при котором обмениваемая модель обязана быть вычислима на стороне получателя, а разнородные частные модели связывает общий интерфейс предсказаний Q. В статье описаны агрегация с учётом принадлежности, пересылка лишь параметров Q вместе со счётчиками и эксперименты на шести датасетах, демонстрирующие рост точности при недостающих модальностях и преимущество Joint-инференса над независимыми ансамблями.

Гетерогенность и мультимодальность как ограничение обмена
В мультимодальном федеративном обучении частные модели остаются гетерогенными. У части получателей отсутствует модальность, которую используют другие участники. Обычный обмен моделями не гарантирует, что получатель сможет выполнить полученную модель. FedSocket вводит обязательную исполнимость у получателя как требование к обмениваемой модели.
Ключевые ограничения:
- частные модели различаются по составу модальностей;
- получатель может не иметь части модальностей;
- обмениваемая модель должна исполняться на стороне получателя;
- разнородные модели нужно связать через общий интерфейс предсказаний.
Вывод: проблема лежит не только в точности. Критерий — исполнимость модели у получателя при мультимодальной гетерогенности.
Обязательная исполнимость и общая Q
FedSocket делает выполнение на стороне получателя обязательным требованием к обмениваемой модели. Общая Q объединяет входы, которые вычисляет получатель, выходы, принадлежащие задаче, и агрегацию с учётом владения. Q связывает гетерогенные частные модели через общий интерфейс предсказаний.

Частные модели обучают локальные копии Q. Обмен включает только параметры Q и счётчики. Такой обмен не передаёт частные модели целиком.
Вывод: механизм ограничивает обмен общим слоем Q и счётчиками, а не полными частными моделями.
Режимы: локальное обучение и Joint inference
В FedSocket возвращённая Q поддерживает локальное обучение и Joint inference. Joint inference сравнивают с независимыми ансамблями при одинаковой вычислительной мощности для инференса. Joint превосходит независимые ансамбли на 11.06 п.п. по точности на UCF-51 и на 4.87 п.п. по среднему двунаправленному Flickr30k R@1. Joint также превосходит Q alone на всех четырёх гетерогенных конечных точках.
| Сравнение | Условие | Результат |
|---|---|---|
| Joint против независимых ансамблей | Одинаковая вычислительная мощность для инференса | +11.06 п.п. точности на UCF-51; +4.87 п.п. среднего двунаправленного Flickr30k R@1 |
| Joint против Q alone | Все четыре гетерогенные конечные точки | Joint превосходит Q alone |
Вывод: для совместного вывода при равной мощности Joint даёт прирост по указанным метрикам. Для локального обучения используется возвращённая Q.
Что показывают эксперименты
На шести наборах данных FedSocket повышает точность получателей с отсутствующей модальностью по сравнению с Local. Прирост составляет 14.44 п.п. на MELD и 15.51 п.п. на UCF-51. Контрольные эксперименты с учителями, вмешательства в путь обмена и факторные эксперименты с компонентами выявляют роли супервизии, обмена и развёртывания.
Структура результатов:
- шесть наборов данных;
- получатели с отсутствующей модальностью: +14.44 п.п. на MELD и +15.51 п.п. на UCF-51 против Local;
- контрольные эксперименты с учителями;
- вмешательства в путь обмена;
- факторные эксперименты с компонентами;
- выявленные роли: супервизия, обмен, развёртывание.
Вывод: прирост относится к получателям с отсутствующей модальностью. Абляции разделяют вклад супервизии, обмена и развёртывания.
Практический критерий выбора
FedSocket применим при выполнении набора условий. Получатель должен исполнять обмениваемую модель. Частные модели должны быть гетерогенными, а связь — идти через общий интерфейс предсказаний. У части получателей может отсутствовать модальность. Нужны локальное обучение и Joint inference. Обмен следует ограничить параметрами Q и счётчиками.
Критерий выбора:
- обязательная исполнимость модели у получателя;
- мультимодальная гетерогенность частных моделей;
- общий интерфейс предсказаний для разнородных моделей;
- получатели с отсутствующей модальностью;
- локальное обучение и Joint inference;
- обмен только параметрами Q и счётчиками.
Вывод: подход ориентирован на сценарии с обязательной исполнимостью у получателя и мультимодальной гетерогенностью. Вне этих условий факты не дают оснований для выбора.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Устойчивость детекторов к перефразированному машинному тексту: что выявили испытания
В материале собраны результаты проверок инструментов, которые переписывают сгенерированные фрагменты под более естественный стиль. После такой обработки обнаруживаемость заметно снижается, а сохраняющиеся ложные срабатывания не позволяют считать вердикт детектора доказательством.
13 ноября 2026
CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков
Бенчмарк помещает двух агентов в песочницы с непрерывно меняющимися сервисами и по итогам серии раундов сводит их действия к многомерным оценкам наступательных и оборонительных навыков. На 466 матчах с 12 современными моделями он различил возможности там, где односторонние тесты упираются в потолок, включая планирование на несколько ходов и создание бэкдоров.
13 ноября 2026
Новые команды по ходу синтеза: многодорожечный таймлайн для 3D-движений человека
Предложен метод, который принимает новые текстовые указания уже во время синтеза и позволяет независимо задавать перекрывающиеся интервалы действий. Согласование одновременных движений разных частей тела обеспечивается интервальным кондиционированием и процедурой денойзинга с учётом частей тела; на TimelineMotion и MTT авторы сообщают о лучшем соответствии семантике и временным ограничениям, чем у потоковых базовых решений.
12 ноября 2026