FedSocket:多模态异构环境下可交换模型须确保接收方可执行

13 十一月 20262 视图

提出了 FedSocket:一种要求交换的模型必须能在接收方一侧计算的方法,并通过统一的预测接口 Q 连接异构的私有模型。文章介绍了基于成员归属的聚合、仅转发 Q 的参数及计数器,并在六个数据集上进行了实验,展示了在模态缺失时准确率的提升,以及 Joint 推理相较于独立集成的优势。

FedSocket:多模态异构环境下可交换模型须确保接收方可执行

异构性与多模态性对交换的限制

在多模态联邦学习中,私有模型仍然存在异构性。部分接收方缺少其他参与方使用的模态。常规模型交换无法保证接收方能够运行收到的模型。FedSocket 将接收方可执行性设为交换模型的强制要求。

关键限制:

  • 私有模型的模态组成各不相同;
  • 接收方可能缺少部分模态;
  • 交换的模型必须能在接收方一侧运行;
  • 需要通过统一的预测接口关联异构模型。

结论:问题不仅在于准确率。衡量标准是多模态异构情况下模型能否在接收方运行。

强制可执行性与统一 Q

FedSocket 将接收方一侧的执行设为交换模型的强制要求。统一 Q 汇集接收方计算的输入、属于任务的输出,以及考虑所有权的聚合。Q 通过统一的预测接口关联异构私有模型。

私有模型会训练 Q 的本地副本。交换内容仅包括 Q 参数和计数器,不会传输完整的私有模型。

结论:该机制将交换限制在统一的 Q 层和计数器,而非完整的私有模型。

模式:本地训练与 Joint inference

在 FedSocket 中,返回的 Q 支持本地训练和 Joint inference。在推理计算能力相同的条件下,研究将 Joint inference 与独立集成进行比较。Joint 在 UCF-51 上的准确率高出 11.06 个百分点,在 Flickr30k 双向平均 R@1 上高出 4.87 个百分点。Joint 在全部四个异构终点上也优于 Q alone。

比较条件结果
Joint 与独立集成对比推理计算能力相同UCF-51 上的准确率提高 11.06 个百分点;Flickr30k 双向平均 R@1 提高 4.87 个百分点
Joint 与 Q alone 对比全部四个异构终点Joint 优于 Q alone

结论:在计算能力相同的情况下进行联合推理,Joint 在所列指标上有所提升。本地训练使用返回的 Q。

实验结果

在六个数据集上,与 Local 相比,FedSocket 提高了缺少某种模态的接收方的准确率。在 MELD 上提高 14.44 个百分点,在 UCF-51 上提高 15.51 个百分点。教师模型对照实验、交换路径干预实验以及组件因子实验揭示了监督、交换和部署各自的作用。

结果结构:

  • 六个数据集;
  • 缺少某种模态的接收方:与 Local 相比,MELD 上提高 14.44 个百分点,UCF-51 上提高 15.51 个百分点;
  • 教师模型对照实验;
  • 交换路径干预实验;
  • 组件因子实验;
  • 揭示的作用:监督、交换、部署。

结论:上述增益针对缺少某种模态的接收方。消融实验分别揭示了监督、交换和部署的贡献。

实际选择标准

FedSocket 适用于满足一组条件的场景。接收方必须能够运行交换的模型。私有模型必须具有异构性,并通过统一的预测接口建立关联。部分接收方可以缺少某种模态。需要支持本地训练和 Joint inference。交换内容应限制为 Q 参数和计数器。

选择标准:

  • 强制要求模型能在接收方运行;
  • 私有模型具有多模态异构性;
  • 为异构模型提供统一的预测接口;
  • 接收方缺少某种模态;
  • 本地训练和 Joint inference;
  • 仅交换 Q 参数和计数器。

结论:该方法面向强制要求接收方可执行且具有多模态异构性的场景。超出这些条件时,现有事实不足以支持选择该方法。

常问问题

FedSocket:多模态异构环境下可交换模型须确保接收方可执行