Di Mana Transfer Berakhir: Skala Data, Keragaman Dunia, dan Ukuran Model untuk Agen Game

21 November 20260 tampilan

Pada 120 konfigurasi, diuji apakah manfaat prapelatihan jangka panjang tetap bertahan saat berpindah antarlingkungan virtual dengan grafis, fisika, kontrol, dan tugas yang berbeda. Penambahan korpus membantu di dunia yang sudah dikenal, variasi memperluas transfer ke lingkungan yang mirip, dan peningkatan skala model memperbesar manfaat dari data, tetapi pelatihan di satu dunia memperburuk adaptasi ke dunia yang jauh berbeda; para penulis menyimpulkan bahwa prapelatihan saja tidak cukup untuk menciptakan agen universal.

Di Mana Transfer Berakhir: Skala Data, Keragaman Dunia, dan Ukuran Model untuk Agen Game

Apa yang diuji dan bagaimana transfer diukur

Penelitian ini membahas continued pre-training (CPT) untuk agen berwujud di dunia virtual. Para penulis menguji apakah peningkatan dari penskalaan data, keberagamannya, dan ukuran model dapat ditransfer. Penelitian ini mencakup 120 konfigurasi pelatihan.

FaktorVariasi yang diuji
Ukuran modelempat nilai dari 0.8B hingga 27B
Volume dataenam nilai dari 50 hingga 1,600 jam
Campuran datalima pilihan: dari data satu dunia hingga korpus beragam dari banyak dunia
Evaluasiloss validasi tiga tingkat dan benchmark permainan

Evaluasi dilakukan pada tiga tingkat: dunia yang termasuk dalam pelatihan, dunia yang berkerabat, dan dunia yang belum pernah dilihat. Rancangan ini memisahkan peningkatan di lingkungan yang dikenal dari transfer. Kriteria praktis: sertakan ketiga kelompok dunia dalam validasi. Jika tidak, peningkatan di dunia pelatihan akan menyamarkan kesenjangan di dunia yang jauh.

Volume data: dampak di dunia yang dikenal

Peningkatan volume data meningkatkan kinerja di dunia yang tercakup dalam data pelatihan. Ini adalah efek penskalaan yang terkonfirmasi di wilayah yang dikenal. Untuk dunia yang jauh, para penulis tidak menyederhanakan transfer menjadi sekadar volume data.

Volume data bukan tuas universal untuk segala tujuan. Volume data memberikan peningkatan yang jelas di dunia yang sudah tercakup dalam pelatihan. Untuk dunia baru, perlu diuji secara terpisah seberapa besar kesenjangan yang dapat ditutup oleh volume data.

Kriteria pemilihan:

  • dunia target termasuk dalam pelatihan — tingkatkan volume data;
  • dunia target jauh — jangan hanya mengandalkan volume;
  • komposisi dunia belum jelas — kelompokkan dahulu dunia berdasarkan kedekatannya.

Keberagaman: transfer ke dunia yang berkerabat, tetapi tidak ke dunia yang jauh

Keberagaman data meningkatkan transfer ke dunia yang berkerabat. Di dunia yang jauh, peningkatannya terbatas. Efek ini membedakan keberagaman dari sekadar peningkatan volume.

Tingkat kedekatan duniaEfek keberagaman yang diamatiKesimpulan praktis
Dunia yang berkerabatmeningkatkan transfercampuran yang beragam layak digunakan
Dunia yang jauhpeningkatan terbataskeberagaman saja tidak cukup sebagai solusi

Keberagaman memperluas jangkauan transfer, tetapi tidak menjadikan agen universal. Campuran data berfungsi sebagai jembatan ke dunia yang mirip. Untuk dunia yang jauh, jembatan ini lebih pendek daripada yang dibutuhkan.

Kriteria praktis: nilai kedekatan dunia target dengan dunia pelatihan. Untuk dunia yang berkerabat, keberagaman campuran merupakan alat yang efektif. Untuk dunia yang jauh, keberagaman saja tidak cukup.

Ukuran model: efisiensi data dan risiko generalisasi yang sempit

Peningkatan ukuran model meningkatkan efisiensi pemanfaatan data. Jika dilatih di satu dunia, ukuran model memperburuk generalisasi ke dunia yang jauh. Karena itu, dampak ukuran model bergantung pada komposisi data.

Model yang lebih besar memanfaatkan data yang tersedia dengan lebih baik. Namun, pelatihan yang sempit mempersempit transfer. Peningkatan jumlah parameter yang sama memberikan dampak berbeda, bergantung pada campuran dunia.

Kriteria pemilihan:

  • pelatihan di satu dunia — jangan mengharapkan peningkatan transfer dari ukuran model;
  • data yang beragam — ukuran model meningkatkan pemanfaatan data;
  • pemilihan ukuran — selalu pertimbangkan bersama pemilihan campuran data.

Dua fase pelatihan: antarmuka dan dunia

Para penulis mengamati fase antarmuka awal (early interface phase). Pada fase ini, model memperoleh manfaat luas di berbagai dunia. Selanjutnya, muncul fase dunia yang lebih lanjut (later world phase). Pada fase ini, peningkatan menyempit ke dunia pelatihan dan dunia yang berkerabat.

Fase-fase ini memiliki jangkauan transfer yang berbeda. Fase awal membentuk antarmuka umum untuk berbagai dunia. Fase yang lebih lanjut mengaitkan peningkatan dengan lingkungan yang dikenal dan berdekatan. Ini bukan kesalahan pelatihan, melainkan perubahan cakupan.

Kriteria pemilihan:

  • membutuhkan antarmuka yang luas — fase awal;
  • membutuhkan dunia target — fase yang lebih lanjut;
  • membutuhkan dunia yang jauh — fase awal tidak mempertahankan transfer.

Batasan continued pre-training

Para penulis mencatat keterbatasan pelatihan imitasi dan kesenjangan yang masih ada di dunia yang jauh. Menurut kesimpulan mereka, agen berwujud universal memerlukan tahapan pelatihan yang lebih substansial di luar CPT. CPT memberikan hasil yang kompetitif, tetapi tidak menutup kesenjangan pada semua tingkat transfer.

Model-model dalam penelitian ini kompetitif dengan model khusus untuk dunia 3D permainan dan model frontier. Model-model ini menunjukkan hasil yang lebih baik dalam pengoperasian waktu nyata. Hasil ini tidak menghapus kesenjangan di dunia yang jauh. Hasil ini menunjukkan batas penerapan CPT.

Kriteria pemilihan:

  • agen universal — rencanakan tahapan di luar CPT;
  • dunia yang jauh — jangan menganggap CPT sebagai solusi akhir;
  • dunia yang berdekatan dengan dunia pelatihan — CPT tetap menjadi tahapan yang efektif.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
SpecEvo: menyelaraskan LLM ringan dan canggih untuk menekan biaya pencarian evolusioner
Berita

SpecEvo: menyelaraskan LLM ringan dan canggih untuk menekan biaya pencarian evolusioner

Framework SpecEvo mendistribusikan ulang pencarian evolusioner: kandidat biasa menyempurnakan model berbiaya rendah, sementara model yang lebih kuat hanya dilibatkan pada titik pemeriksaan strategis dengan mengacu pada riwayat keberhasilan dan jalan buntu. Dalam eksperimen pada 176 tugas, pendekatan ini mampu menyamai atau melampaui alternatif yang lebih mahal, sekaligus mengurangi biaya API sebesar 80%.

21 November 2026
Algoritma dan robot di lahan: intervensi terarah dan pemantauan tanaman
Analitik

Algoritma dan robot di lahan: intervensi terarah dan pemantauan tanaman

Artikel ini menunjukkan bagaimana data sensor, fotografi udara, dan platform otomatis memungkinkan deteksi ancaman sejak dini, mengarahkan penanganan hanya ke area bermasalah, dan meningkatkan akurasi perkiraan hasil panen. Artikel ini juga membahas hambatan penerapan—biaya peralatan, keandalan data, pelatihan personel, dan akses konektivitas.

21 November 2026
Fig: intervensi permainan terkontrol untuk menguji perilaku sosial agen AI
Berita

Fig: intervensi permainan terkontrol untuk menguji perilaku sosial agen AI

Fig menerima deskripsi verbal tentang perilaku yang dicari, membaginya menjadi beberapa jenis, lalu mengubah kondisi permainan secara terarah untuk memicu tindakan yang diinginkan dari model. Dalam skenario valid untuk enam pola sosial, intervensi meningkatkan rata-rata proporsi upaya melakukan perilaku sasaran sebesar 10,9% dibandingkan kontrol, dan para penulis mengusulkan agar lingkungan multiagen dipandang sebagai sarana uji yang dapat dikonfigurasi untuk evaluasi yang dapat direproduksi.

21 November 2026
Di Mana Transfer Berakhir: Skala Data, Keragaman Dunia, dan Ukuran Model untuk Agen Game