Apa yang Diubah LocalProp
LocalProp adalah prosedur pelatihan yang memperbarui bobot model secara lokal. Para penulis membandingkannya dengan propagasi gradien end-to-end melalui seluruh model. Proses end-to-end tidak sesuai dengan pembelajaran yang masuk akal secara biologis. Proses ini juga tidak efisien dalam penggunaan memori. Pembelajaran di otak sangat terlokalisasi.
| Kriteria | Propagasi gradien end-to-end | LocalProp |
|---|---|---|
| Pembaruan bobot | Berlangsung melalui seluruh model | Lokal |
| Kewajaran biologis | Tidak sesuai | Mengandalkan pembelajaran yang terlokalisasi di otak |
| Memori | Tidak efisien | Hanya menggunakan sebagian dari memori puncak GPU |
| Kontrol | Tidak ada parameter terpisah | Jumlah blok yang dioptimalkan bersama |
Kesimpulan: LocalProp mengganti proses end-to-end dengan pembaruan lokal. Ini mengurangi beban memori.
Tahapan pelatihan
LocalProp mengikuti skema «pre-training then fine-tuning». Tahapannya disusun secara berurutan.
- Pra-pelatihan pada I-JEPA.
- Pembaruan bobot lokal.
- Pruning.
- Fine-tuning akhir yang singkat.
Kesimpulan: skema ini menggabungkan pra-pelatihan, pembaruan lokal, pruning, dan penyesuaian akhir.
Peran pruning
Pruning meneruskan sinyal pelatihan dari blok atas ke blok bawah. Tahap ini tidak hanya sebatas pemampatan model. Tahap ini menghubungkan blok atas dan bawah selama pelatihan. Kesimpulan: pruning di LocalProp berfungsi sebagai saluran untuk meneruskan sinyal antarblok.
Kompromi akurasi dan memori
Jumlah blok yang dioptimalkan bersama menentukan panjang propagasi gradien. Para penulis menetapkan panjang ini sebagai parameter praktis. Parameter ini mengontrol kompromi antara akurasi dan penggunaan memori.
- Apa yang berubah: panjang propagasi gradien.
- Apa yang dikontrol: keseimbangan antara akurasi dan memori.
- Cara penggunaannya: melalui jumlah blok yang dioptimalkan bersama.
Kesimpulan: pengaturan jumlah blok menyediakan kendali untuk mengatur keseimbangan.
Hasil dan kriteria pemilihan
Para penulis melakukan eksperimen pada beberapa dataset. Di antaranya adalah benchmark berskala besar, termasuk ImageNet. LocalProp mencapai hasil yang baik dengan hanya menggunakan sebagian dari memori puncak GPU. Proporsi pastinya tidak disebutkan dalam teks. Kriteria praktis: LocalProp cocok ketika propagasi balik end-to-end terkendala oleh memori GPU. Jumlah blok yang dioptimalkan bersama memungkinkan pengaturan keseimbangan.
