FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal

13 November 20262 tampilan

Diperkenalkan FedSocket—pendekatan yang mengharuskan model yang dipertukarkan dapat dijalankan di sisi penerima, sementara model-model privat yang heterogen dihubungkan oleh antarmuka prediksi bersama Q. Artikel ini menjelaskan agregasi berbasis keanggotaan, pengiriman hanya parameter Q beserta penghitung, serta eksperimen pada enam dataset yang menunjukkan peningkatan akurasi saat modalitas tidak tersedia dan keunggulan inferensi Joint dibandingkan ensemble independen.

FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal

Heterogenitas dan multimodalitas sebagai batasan pertukaran

Dalam pembelajaran federatif multimodal, model privat tetap heterogen. Sebagian penerima tidak memiliki modalitas yang digunakan oleh peserta lain. Pertukaran model biasa tidak menjamin bahwa penerima dapat menjalankan model yang diterima. FedSocket menetapkan kemampuan model untuk dijalankan di sisi penerima sebagai persyaratan wajib bagi model yang dipertukarkan.

Batasan utama:

  • model privat berbeda dalam komposisi modalitas;
  • penerima mungkin tidak memiliki sebagian modalitas;
  • model yang dipertukarkan harus dapat dijalankan di sisi penerima;
  • model yang beragam perlu dihubungkan melalui antarmuka prediksi bersama.

Kesimpulan: masalahnya bukan hanya pada akurasi. Kriterianya adalah kemampuan model untuk dijalankan di sisi penerima dalam kondisi heterogenitas multimodal.

Kemampuan wajib untuk dijalankan dan Q bersama

FedSocket menjadikan kemampuan untuk dijalankan di sisi penerima sebagai persyaratan wajib bagi model yang dipertukarkan. Q bersama menggabungkan masukan yang dihitung oleh penerima, keluaran yang terkait dengan tugas, dan agregasi yang mempertimbangkan kepemilikan. Q menghubungkan model privat yang heterogen melalui antarmuka prediksi bersama.

Model privat melatih salinan Q lokal. Pertukaran hanya mencakup parameter Q dan penghitung. Pertukaran ini tidak mengirimkan model privat secara utuh.

Kesimpulan: mekanisme ini membatasi pertukaran pada lapisan Q bersama dan penghitung, bukan model privat secara lengkap.

Mode: pelatihan lokal dan Joint inference

Di FedSocket, Q yang dikembalikan mendukung pelatihan lokal dan Joint inference. Joint inference dibandingkan dengan ensemble independen pada daya komputasi yang sama untuk inferensi. Joint mengungguli ensemble independen sebesar 11.06 poin persentase dalam akurasi pada UCF-51 dan sebesar 4.87 poin persentase dalam rata-rata Flickr30k R@1 dua arah. Joint juga mengungguli Q alone pada keempat titik akhir heterogen.

PerbandinganKondisiHasil
Joint vs. ensemble independenDaya komputasi yang sama untuk inferensi+11.06 poin persentase akurasi pada UCF-51; +4.87 poin persentase rata-rata Flickr30k R@1 dua arah
Joint vs. Q aloneKeempat titik akhir heterogenJoint mengungguli Q alone

Kesimpulan: untuk inferensi bersama dengan daya komputasi setara, Joint memberikan peningkatan pada metrik yang disebutkan. Pelatihan lokal menggunakan Q yang dikembalikan.

Apa yang ditunjukkan oleh eksperimen

Pada enam set data, FedSocket meningkatkan akurasi penerima yang tidak memiliki suatu modalitas dibandingkan dengan Local. Peningkatannya sebesar 14.44 poin persentase pada MELD dan 15.51 poin persentase pada UCF-51. Eksperimen kontrol dengan pengajar, intervensi pada jalur pertukaran, dan eksperimen faktorial dengan komponen mengungkap peran supervisi, pertukaran, dan deployment.

Struktur hasil:

  • enam set data;
  • penerima yang tidak memiliki suatu modalitas: +14.44 poin persentase pada MELD dan +15.51 poin persentase pada UCF-51 dibandingkan dengan Local;
  • eksperimen kontrol dengan pengajar;
  • intervensi pada jalur pertukaran;
  • eksperimen faktorial dengan komponen;
  • peran yang terungkap: supervisi, pertukaran, deployment.

Kesimpulan: peningkatan berlaku bagi penerima yang tidak memiliki suatu modalitas. Ablasi memisahkan kontribusi supervisi, pertukaran, dan deployment.

Kriteria praktis untuk memilih

FedSocket dapat diterapkan jika serangkaian kondisi terpenuhi. Penerima harus dapat menjalankan model yang dipertukarkan. Model privat harus heterogen, dan penghubungannya harus menggunakan antarmuka prediksi bersama. Sebagian penerima dapat tidak memiliki suatu modalitas. Pelatihan lokal dan Joint inference diperlukan. Pertukaran harus dibatasi pada parameter Q dan penghitung.

Kriteria pemilihan:

  • kemampuan model untuk dijalankan di sisi penerima sebagai persyaratan wajib;
  • heterogenitas multimodal model privat;
  • antarmuka prediksi bersama untuk model yang beragam;
  • penerima yang tidak memiliki suatu modalitas;
  • pelatihan lokal dan Joint inference;
  • pertukaran hanya parameter Q dan penghitung.

Kesimpulan: pendekatan ini ditujukan untuk skenario yang mensyaratkan kemampuan model untuk dijalankan di sisi penerima dan heterogenitas multimodal. Di luar kondisi tersebut, fakta yang ada tidak memberikan dasar untuk memilihnya.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian
Penelitian

Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian

Artikel ini merangkum hasil pengujian alat yang menulis ulang teks hasil generasi agar terdengar lebih alami. Setelah diproses, kemungkinan terdeteksi menurun secara signifikan, sementara positif palsu yang masih muncul membuat hasil detektor tidak dapat dianggap sebagai bukti.

13 November 2026
CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis
Berita

CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis

Benchmark ini menempatkan dua agen dalam sandbox dengan layanan yang terus berubah, lalu merangkum tindakan mereka dalam serangkaian putaran menjadi skor multidimensi untuk kemampuan menyerang dan bertahan. Dalam 466 pertandingan dengan 12 model mutakhir, benchmark ini membedakan kemampuan yang tak terungkap dalam pengujian satu arah yang sudah mencapai batas atas, termasuk perencanaan beberapa langkah ke depan dan pembuatan backdoor.

13 November 2026
Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D
Berita

Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D

Metode yang diusulkan menerima instruksi teks baru bahkan saat sintesis berlangsung dan memungkinkan penentuan rentang aksi yang saling tumpang tindih secara independen. Koordinasi gerakan serentak pada berbagai bagian tubuh dijamin melalui pengondisian interval dan prosedur denoising yang mempertimbangkan bagian tubuh; pada TimelineMotion dan MTT, penulis melaporkan kesesuaian yang lebih baik terhadap semantik dan batasan waktu dibandingkan solusi streaming dasar.

12 November 2026
FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal