AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator

9 November 202611 tampilan

Karya ini menjelaskan model generatif yang secara bersamaan memprediksi observasi RGB masa depan, medan skalar dan peta panas affordance, serta perintah robot kontinu, dengan memanfaatkan video manusia untuk memperluas keragaman interaksi tanpa anotasi tindakan dan retargeting. Pada RoboCasa, CALVIN ABC→D, dan tugas dunia nyata, pendekatan ini memberikan peningkatan yang konsisten dibandingkan baseline yang hanya menggunakan RGB dan yang hanya menggunakan data robot.

AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator

Apa itu model

Artikel arXiv:2609.22332 memperkenalkan AffordanceWAM — World Action Model generatif yang mempertimbangkan affordance untuk manipulasi robot. Versi pertama diajukan pada 16 Sep 2026. Versi terbaru yang tercantum adalah v3, direvisi pada 18 Oct 2026. Model ini merepresentasikan affordance spasiotemporal yang berpusat pada objek. Model ini menggunakan dua format:

  • Scalar Affordance;
  • Affordance Heatmap.

Representasi ini berada di dalam World masa depan yang dihasilkan. Affordance menghubungkan prediksi visual dengan objek dan area interaksi yang relevan dengan tugas. Affordance berfungsi sebagai landasan bersama untuk interaksi dalam video manusia dan robot. Dengan demikian, affordance menjadi perantara antara prediksi adegan dan kendali manipulator.

Kesimpulan: model menyediakan format eksplisit untuk objek dan area tindakan. Format ini menghubungkan prediksi masa depan dengan kendali.

Arsitektur: dua pakar dan satu tujuan terpadu

AffordanceWAM dibangun di atas Transformer difusi video yang telah dilatih sebelumnya. Model ini menggunakan World Expert dan Action Expert dengan parameterisasi terpisah. Keduanya dihubungkan oleh Masked Joint Self-Attention.

ElemenPeran menurut deskripsi artikel
World Expertpakar dunia dengan parameterisasi terpisah
Action Expertpakar tindakan dengan parameterisasi terpisah
Masked Joint Self-Attentionmenghubungkan World Expert dan Action Expert
Tujuan flow-matching terpadumenyatukan prediksi RGB, affordance, dan tindakan

Model ini secara bersama-sama memprediksi observasi RGB masa depan, bidang Scalar Affordance, Affordance Heatmap, dan tindakan robot kontinu. Semua keluaran ini disatukan oleh satu tujuan flow-matching terpadu. Parameter pakar yang terpisah tidak menghalangi pelatihan bersama. Hubungan keduanya mendukung prediksi dunia dan tindakan secara bersama-sama.

Kesimpulan: arsitektur ini memisahkan parameter dunia dan tindakan. Namun, Masked Joint Self-Attention dan tujuan bersama tetap memungkinkan prediksi secara bersama-sama.

Pelatihan dengan video manusia dan lintasan robot

Pelatihan AffordanceWAM menggunakan video manusia untuk ketiga aliran World masa depan. Lintasan robot juga memberikan supervisi tindakan. Transfer tidak memerlukan label tindakan manusia atau retargeting.

Sumber dataKontribusi untuk pelatihan
Video manusiamelatih ketiga aliran World masa depan
Lintasan robotjuga memberikan supervisi tindakan

Affordance berfungsi sebagai landasan bersama untuk interaksi dalam video manusia dan robot. Karena itu, video manusia dapat digunakan tanpa label tindakan manusia. Para penulis menyebut affordance sebagai antarmuka yang efektif untuk vision-language-action dan transfer keterampilan dari manusia ke robot.

Kesimpulan: affordance menyediakan antarmuka bersama untuk video manusia dan robot. Hal ini menghilangkan kebutuhan akan label tindakan manusia dan retargeting.

Eksperimen: peningkatan kinerja dan ketergantungan pada data

Para penulis menguji AffordanceWAM di RoboCasa, CALVIN ABC→D, dan dalam manipulasi dunia nyata. Eksperimen menunjukkan peningkatan yang konsisten dibandingkan metode dasar. Metode dasar hanya menggunakan RGB atau hanya data robot.

Di RoboCasa, hasil meningkat secara monoton seiring bertambahnya volume video manusia yang dianotasi dengan affordance. Hal ini terjadi saat volume supervisi robot tetap. Efek ini menunjukkan kontribusi affordance terhadap pelatihan.

KondisiHasil menurut artikel
Metode dasar yang hanya menggunakan RGBAffordanceWAM menunjukkan peningkatan yang konsisten
Metode dasar yang hanya menggunakan data robotAffordanceWAM menunjukkan peningkatan yang konsisten
Lebih banyak video manusia dengan affordance saat supervisi robot tetappeningkatan monoton di RoboCasa

Kriteria praktis untuk memilih adalah volume video manusia dengan anotasi affordance. Saat supervisi robot tetap, peningkatan volume ini menghasilkan peningkatan monoton di RoboCasa.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM
Berita

Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM

Karya ini mengulas asimetri biaya dalam pencarian bug oleh agen: menghasilkan kandidat itu murah, sedangkan mengonfirmasinya melalui analisis keterjangkauan, eksekusi, dan PoC membutuhkan sebagian besar anggaran, sehingga verifikasi dapat dijadikan sasaran pertahanan tersendiri. RedHerring yang diusulkan—umpan yang disesuaikan dengan repositori dan dilengkapi sertifikat tertutup—mengurangi jumlah kerentanan nyata yang ditemukan sebesar 38,7–60,4% dengan biaya yang sama di 33 proyek OSS-Fuzz; bahkan setelah agen diperingatkan, penurunannya tetap mencapai 37,2%.

9 November 2026
Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning
Berita

Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning

Penelitian ini menguji apakah LLM dapat memanfaatkan keterampilan simbolik dasar—menyusun basis data SQL dari dokumen sumber—untuk melakukan grounding ke sumber tanpa supervisi dalam deteksi halusinasi. Pada RAGTruth dan DiaHalu, pipeline neuro-simbolik ini lebih akurat daripada prediksi langsung dan sebanding dengan metode mutakhir, tanpa memerlukan fine-tuning khusus domain.

9 November 2026
MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin
Berita

MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin

Kumpulan tugas diagnostik dari 13 bidang matematika tingkat universitas dan pascasarjana ini mengevaluasi sistem pembuktian otomatis di Lean 4 tidak hanya berdasarkan hasil akhir, tetapi juga penguasaan materi, kualitas penalaran informal, dan ketahanan terhadap perumusan ulang soal. Analisis per komponen menunjukkan bahwa menerjemahkan soal ke dalam bentuk formal masih menjadi kendala utama, sementara tingkat keberhasilan sangat bergantung pada bidang matematika dan cara soal dirumuskan.

9 November 2026
AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator