FedSocket : des modèles échangeables dont l’exécution doit être possible chez le destinataire en contexte d’hétérogénéité multimodale

13 novembre 20262 vues

FedSocket est une approche selon laquelle le modèle échangé doit pouvoir être exécuté du côté du destinataire, tandis qu’une interface de prédiction commune Q relie des modèles privés hétérogènes. L’article décrit une agrégation tenant compte de l’appartenance, la transmission des seuls paramètres de Q accompagnés de compteurs, ainsi que des expériences menées sur six jeux de données, qui démontrent une amélioration de la précision en présence de modalités manquantes et la supériorité de l’inférence conjointe par rapport aux ensembles indépendants.

FedSocket : des modèles échangeables dont l’exécution doit être possible chez le destinataire en contexte d’hétérogénéité multimodale

Hétérogénéité et multimodalité comme contraintes de l’échange

Dans l’apprentissage fédéré multimodal, les modèles privés restent hétérogènes. Certains destinataires ne disposent pas d’une modalité utilisée par d’autres participants. Un échange classique de modèles ne garantit pas que le destinataire puisse exécuter le modèle reçu. FedSocket impose que le modèle échangé soit exécutable par le destinataire.

Principales contraintes :

  • les modèles privés diffèrent par leur composition en modalités ;
  • le destinataire peut ne pas disposer de certaines modalités ;
  • le modèle échangé doit pouvoir être exécuté côté destinataire ;
  • les modèles hétérogènes doivent être reliés par une interface de prédiction commune.

Conclusion : le problème ne se limite pas à la précision. Le critère est la capacité du destinataire à exécuter le modèle en présence d’hétérogénéité multimodale.

Exécution obligatoire et Q commune

FedSocket impose que le modèle échangé puisse être exécuté côté destinataire. La Q commune rassemble les entrées calculées par le destinataire, les sorties associées à la tâche et une agrégation tenant compte de la propriété. Q relie les modèles privés hétérogènes par une interface de prédiction commune.

Les modèles privés entraînent des copies locales de Q. L’échange ne comprend que les paramètres de Q et les compteurs. Cet échange ne transmet pas les modèles privés dans leur intégralité.

Conclusion : le mécanisme limite l’échange à la couche Q commune et aux compteurs, plutôt qu’aux modèles privés complets.

Modes : apprentissage local et inférence conjointe

Dans FedSocket, la Q renvoyée prend en charge l’apprentissage local et l’inférence conjointe. L’inférence conjointe est comparée à des ensembles indépendants à puissance de calcul égale pour l’inférence. La méthode conjointe dépasse les ensembles indépendants de 11.06 points de pourcentage en précision sur UCF-51 et de 4.87 points de pourcentage en moyenne du Flickr30k R@1 bidirectionnel. La méthode conjointe dépasse également Q alone sur les quatre points de terminaison hétérogènes.

ComparaisonConditionRésultat
Méthode conjointe contre ensembles indépendantsPuissance de calcul égale pour l’inférence+11.06 points de pourcentage de précision sur UCF-51 ; +4.87 points de pourcentage en moyenne du Flickr30k R@1 bidirectionnel
Méthode conjointe contre Q aloneLes quatre points de terminaison hétérogènesLa méthode conjointe dépasse Q alone

Conclusion : pour l’inférence conjointe à puissance égale, la méthode conjointe apporte un gain sur les métriques indiquées. L’apprentissage local s’appuie sur la Q renvoyée.

Ce que montrent les expériences

Sur six jeux de données, FedSocket améliore la précision des destinataires auxquels il manque une modalité par rapport à Local. Le gain est de 14.44 points de pourcentage sur MELD et de 15.51 points de pourcentage sur UCF-51. Les expériences de contrôle avec des enseignants, les interventions sur le chemin d’échange et les expériences factorielles portant sur les composants mettent en évidence les rôles de la supervision, de l’échange et du déploiement.

Structure des résultats :

  • six jeux de données ;
  • destinataires auxquels il manque une modalité : +14.44 points de pourcentage sur MELD et +15.51 points de pourcentage sur UCF-51 par rapport à Local ;
  • expériences de contrôle avec des enseignants ;
  • interventions sur le chemin d’échange ;
  • expériences factorielles portant sur les composants ;
  • rôles mis en évidence : supervision, échange, déploiement.

Conclusion : le gain concerne les destinataires auxquels il manque une modalité. Les ablations distinguent les contributions de la supervision, de l’échange et du déploiement.

Critères pratiques de sélection

FedSocket s’applique lorsque plusieurs conditions sont réunies. Le destinataire doit pouvoir exécuter le modèle échangé. Les modèles privés doivent être hétérogènes et reliés par une interface de prédiction commune. Certains destinataires peuvent ne pas disposer d’une modalité. L’apprentissage local et l’inférence conjointe sont nécessaires. L’échange doit être limité aux paramètres de Q et aux compteurs.

Critères de sélection :

  • exécution obligatoire du modèle par le destinataire ;
  • hétérogénéité multimodale des modèles privés ;
  • interface de prédiction commune pour les modèles hétérogènes ;
  • destinataires auxquels il manque une modalité ;
  • apprentissage local et inférence conjointe ;
  • échange limité aux paramètres de Q et aux compteurs.

Conclusion : l’approche est conçue pour les scénarios où l’exécution par le destinataire est obligatoire et où les modèles présentent une hétérogénéité multimodale. En dehors de ces conditions, les faits ne permettent pas de justifier ce choix.

Foire aux questions

Matériaux connexes

Tous matériaux
Résistance des détecteurs face aux textes générés automatiquement puis paraphrasés : ce que les tests ont révélé
Recherche

Résistance des détecteurs face aux textes générés automatiquement puis paraphrasés : ce que les tests ont révélé

Cet article rassemble les résultats des tests d’outils qui réécrivent des fragments générés dans un style plus naturel. Après ce traitement, leur détectabilité diminue nettement, et les faux positifs persistants ne permettent pas de considérer le verdict du détecteur comme une preuve.

13 novembre 2026
CyberArena : les matchs en duel entre agents d’IA révèlent les limites des benchmarks de cybersécurité statiques
Nouvelles

CyberArena : les matchs en duel entre agents d’IA révèlent les limites des benchmarks de cybersécurité statiques

Le benchmark place deux agents dans des environnements isolés où les services évoluent en continu, puis agrège leurs actions au fil d’une série de manches en évaluations multidimensionnelles de leurs compétences offensives et défensives. Sur 466 matchs opposant 12 modèles récents, il a mis en évidence des différences de capacités là où les tests unilatéraux atteignent leurs limites, notamment en matière de planification sur plusieurs coups et de création de portes dérobées.

13 novembre 2026
Nouvelles commandes pendant la synthèse : timeline multipiste pour les mouvements humains en 3D
Nouvelles

Nouvelles commandes pendant la synthèse : timeline multipiste pour les mouvements humains en 3D

Une méthode est proposée pour accepter de nouvelles instructions textuelles pendant la synthèse et définir indépendamment des intervalles d’action qui se chevauchent. La coordination des mouvements simultanés de différentes parties du corps est assurée par un conditionnement par intervalles et une procédure de débruitage prenant en compte les parties du corps ; sur TimelineMotion et MTT, les auteurs font état d’une meilleure adéquation à la sémantique et aux contraintes temporelles que les approches de référence en flux.

12 novembre 2026
FedSocket : des modèles échangeables dont l’exécution doit être possible chez le destinataire en contexte d’hétérogénéité multimodale