FedSocket:多模态异构环境下可交换模型须确保接收方可执行
提出了 FedSocket:一种要求交换的模型必须能在接收方一侧计算的方法,并通过统一的预测接口 Q 连接异构的私有模型。文章介绍了基于成员归属的聚合、仅转发 Q 的参数及计数器,并在六个数据集上进行了实验,展示了在模态缺失时准确率的提升,以及 Joint 推理相较于独立集成的优势。

异构性与多模态性对交换的限制
在多模态联邦学习中,私有模型仍然存在异构性。部分接收方缺少其他参与方使用的模态。常规模型交换无法保证接收方能够运行收到的模型。FedSocket 将接收方可执行性设为交换模型的强制要求。
关键限制:
- 私有模型的模态组成各不相同;
- 接收方可能缺少部分模态;
- 交换的模型必须能在接收方一侧运行;
- 需要通过统一的预测接口关联异构模型。
结论:问题不仅在于准确率。衡量标准是多模态异构情况下模型能否在接收方运行。
强制可执行性与统一 Q
FedSocket 将接收方一侧的执行设为交换模型的强制要求。统一 Q 汇集接收方计算的输入、属于任务的输出,以及考虑所有权的聚合。Q 通过统一的预测接口关联异构私有模型。

私有模型会训练 Q 的本地副本。交换内容仅包括 Q 参数和计数器,不会传输完整的私有模型。
结论:该机制将交换限制在统一的 Q 层和计数器,而非完整的私有模型。
模式:本地训练与 Joint inference
在 FedSocket 中,返回的 Q 支持本地训练和 Joint inference。在推理计算能力相同的条件下,研究将 Joint inference 与独立集成进行比较。Joint 在 UCF-51 上的准确率高出 11.06 个百分点,在 Flickr30k 双向平均 R@1 上高出 4.87 个百分点。Joint 在全部四个异构终点上也优于 Q alone。
| 比较 | 条件 | 结果 |
|---|---|---|
| Joint 与独立集成对比 | 推理计算能力相同 | UCF-51 上的准确率提高 11.06 个百分点;Flickr30k 双向平均 R@1 提高 4.87 个百分点 |
| Joint 与 Q alone 对比 | 全部四个异构终点 | Joint 优于 Q alone |
结论:在计算能力相同的情况下进行联合推理,Joint 在所列指标上有所提升。本地训练使用返回的 Q。
实验结果
在六个数据集上,与 Local 相比,FedSocket 提高了缺少某种模态的接收方的准确率。在 MELD 上提高 14.44 个百分点,在 UCF-51 上提高 15.51 个百分点。教师模型对照实验、交换路径干预实验以及组件因子实验揭示了监督、交换和部署各自的作用。
结果结构:
- 六个数据集;
- 缺少某种模态的接收方:与 Local 相比,MELD 上提高 14.44 个百分点,UCF-51 上提高 15.51 个百分点;
- 教师模型对照实验;
- 交换路径干预实验;
- 组件因子实验;
- 揭示的作用:监督、交换、部署。
结论:上述增益针对缺少某种模态的接收方。消融实验分别揭示了监督、交换和部署的贡献。
实际选择标准
FedSocket 适用于满足一组条件的场景。接收方必须能够运行交换的模型。私有模型必须具有异构性,并通过统一的预测接口建立关联。部分接收方可以缺少某种模态。需要支持本地训练和 Joint inference。交换内容应限制为 Q 参数和计数器。
选择标准:
- 强制要求模型能在接收方运行;
- 私有模型具有多模态异构性;
- 为异构模型提供统一的预测接口;
- 接收方缺少某种模态;
- 本地训练和 Joint inference;
- 仅交换 Q 参数和计数器。
结论:该方法面向强制要求接收方可执行且具有多模态异构性的场景。超出这些条件时,现有事实不足以支持选择该方法。
常问问题
相关材料
所有材料
检测器对改写后机器文本的鲁棒性:测试揭示了什么
本文汇总了对可将生成内容片段改写得更自然的工具进行测试的结果。经过处理后,内容被检测出的概率明显降低,而仍然存在的误报意味着不能将检测器的判定视为证据。
13 十一月 2026
CyberArena:AI 智能体对战揭示静态网络安全基准测试的局限性
该基准测试将两个智能体置于服务持续变化的沙盒中,并在多轮对战后将它们的行动汇总为进攻和防御能力的多维评分。在 466 场比赛、12 个现代模型的测试中,它能够区分单边测试达到上限时难以辨别的能力,包括多步规划和后门创建。
13 十一月 2026
合成过程中的新命令:人体 3D 动作的多轨时间线
该方法可在合成过程中接收新的文本指令,并允许独立指定彼此重叠的动作时间段。通过区间条件控制和针对身体部位的去噪流程,该方法能够协调身体不同部位的同步运动;作者报告称,在 TimelineMotion 和 MTT 上,与流式基线方案相比,该方法更符合语义和时间约束。
12 十一月 2026