Penggabungan model berdasarkan kelompok yang kompatibel: GRAM mengurangi interferensi subruang
Metode GRAM menentukan model-model yang telah di-fine-tune mana yang layak digabungkan berdasarkan geometri sudut utama di antara subruangnya, lalu melakukan penggabungan berperingkat rendah di dalam kelompok. Pendekatan ini hanya memerlukan bobot model, mengurangi kehilangan akibat proyeksi, dan menunjukkan keunggulan dalam eksperimen bahasa, visual, dan medis.
Masalah interferensi subruang
Penggabungan beberapa model menjadi satu diperlukan untuk penerapan multitugas. Di bidang yang diatur, misalnya layanan kesehatan, data sering kali tetap berada di lokasi asal. Karena itu, penggabungan hanya dapat dilakukan menggunakan bobot yang telah di-fine-tune.
Metode sebelumnya menerapkan penggabungan yang sama untuk semua tugas. Metode tersebut tidak memperhitungkan hubungan geometris antara subruang yang telah dipelajari. Jika pembaruan tugas menempati subruang yang tidak selaras, proyeksi ke basis umum berperingkat rendah akan membuang arah yang penting. Fenomena ini disebut penulis sebagai interferensi subruang.
Kesalahan proyeksi untuk setiap tugas ditentukan oleh keselarasan sudut utama. Keselarasan sudut utama menunjukkan seberapa sesuai subruang tugas dengan subruang umum. Kesimpulannya: penggabungan yang sama menimbulkan risiko hilangnya arah yang penting bagi tugas tertentu.
Mekanisme GRAM: pengelompokan berdasarkan sudut utama
GRAM (Group-wise Rank-Aware Model Merging) menggunakan geometri sudut utama dari vektor tugas. Metode ini bekerja dalam tiga tahap:
- Menghitung sudut utama antara vektor tugas.
- Menentukan tugas mana yang akan digabungkan berdasarkan sudut tersebut.
- Melakukan penggabungan standar berbasis SVD di dalam setiap kelompok.
Pada tahap penggabungan, metode ini hanya menggunakan bobot yang telah di-fine-tune. Metode ini tidak memerlukan akses ke data sumber. Menurut penulis, pengelompokan tugas yang kompatibel secara geometris terbukti mengurangi kesalahan proyeksi di dalam setiap kelompok.
Kriteria praktis: GRAM cocok digunakan ketika data tidak dapat dipindahkan dan tugas dapat menempati subruang yang tidak selaras. Metode ini menyediakan cara untuk membagi tugas menjadi kelompok yang kompatibel sebelum penggabungan.
Perubahan pada K=2
Skenario yang hanya menambahkan satu model (K=2) menunjukkan efek GRAM. Dalam kasus ini, metode tersebut secara signifikan mengurangi interferensi subruang. Metode ini secara konsisten mengungguli metode penggabungan sebelumnya dalam pengujian.
Pengujian mencakup tiga bidang:
- pemahaman bahasa — GLUE with Flan-T5;
- visi komputer — 8-task CLIP;
- instruction tuning medis — Qwen2-7B-Instruct with four LoRAs medis berbahasa Inggris/Tionghoa.
Kesimpulannya: keunggulan ini sudah terlihat saat menggabungkan dua model. Untuk skenario minimal yang menambahkan satu model yang telah di-fine-tune, GRAM menawarkan cara yang telah teruji untuk mengurangi interferensi.
Kriteria pemilihan
Pilihan antara penggabungan yang sama dan pendekatan berbasis kelompok bergantung pada kondisi tugas. Berikut adalah kriteria yang disimpulkan dari deskripsi GRAM.
| Kriteria | Hal yang perlu dipertimbangkan |
|---|---|
| Akses ke data | Hanya bobot yang telah di-fine-tune yang tersedia saat penggabungan. |
| Geometri tugas | Tugas dapat menempati subruang yang tidak selaras. |
| Risiko interferensi | Proyeksi ke basis umum dapat membuang arah yang penting. |
| Metode penggabungan | Pengelompokan tugas yang kompatibel mengurangi kesalahan proyeksi di dalam kelompok. |
| Skenario yang telah diuji | K=2: menambahkan satu model ke model yang sudah ada. |
Kesimpulan praktis: jika data tetap berada di lokasi asal dan geometri subruang antar tugas beragam, penggabungan berbasis kelompok mengurangi risiko hilangnya arah. Penggabungan yang sama untuk semua tugas tidak memperhitungkan risiko tersebut.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Pengujian agen pemrograman dalam pengembangan XR interaktif: hasil GenXR-Bench
GenXR-Bench telah dirilis—seperangkat 112 tugas ahli untuk mengevaluasi agen coding secara menyeluruh dalam pengembangan XR interaktif: mulai dari menyempurnakan fitur dan memperbaiki bug hingga membuat aplikasi dengan pengujian perilaku pada perangkat konsumen. Dari sepuluh model yang diuji, hasil terbaik adalah 50,9% Pass@1; kegagalan yang berulang meliputi penanganan peristiwa sensor asinkron, penempatan objek di ruang nyata, dan pemahaman interaksi dalam konteks fisik.
5 November 2026
Dari Imbalan Skalar ke Front Pareto: Sintesis RTL LLM dengan Pembelajaran Penguatan Multikriteria
Diusulkan metode untuk melatih model bahasa agar menghasilkan bukan hanya satu skema, melainkan serangkaian kandidat RTL dengan kompromi berbeda antara luas area, latensi, dan konsumsi daya; reward dihitung berdasarkan kontribusi kandidat terhadap hypervolume front Pareto. Pada RTLLM v2, hypervolume relatif meningkat 13,3 poin persentase dibandingkan versi dasar tanpa optimasi PPA dan 14,4 poin persentase dibandingkan pelatihan penguatan dengan satu tujuan.
5 November 2026
LLM Medis Mengetahui Revisi Pedoman, tetapi Sering Menjawab Berdasarkan Pedoman Lama
Studi ChronoEvo terhadap 1709 perubahan rekomendasi klinis menunjukkan: pada model utama, 90,8% jawaban mencatat pembaruan, tetapi hanya 58,5% yang menerapkannya sepenuhnya, sementara kesenjangan sebesar 32,3 poin persentase tetap terlihat pada 14 model. Bahkan peningkatan visibilitas pembaruan tidak menghasilkan peningkatan signifikan dalam penerapan penuh aturan baru ke dalam rekomendasi klinis.
4 November 2026