Ketika model bahasa besar harus menyelesaikan beberapa tugas sekaligus, melakukan fine-tuning untuk setiap tugas secara terpisah itu mahal. Oleh karena itu, fine-tuning yang efisien (PEFT) menjadi pilihan, dan metode standar emasnya adalah LoRA. Namun, LoRA klasik pada dasarnya dirancang untuk satu tugas. Saat mencoba memperluasnya ke skenario multi-tugas, peneliti biasanya menambahkan adaptor dan head terpisah ke dalam arsitektur, dan agar mereka tidak saling mengganggu, mereka menambahkan router yang mendistribusikan permintaan. Solusi semacam itu tampak logis, namun, seperti yang ditunjukkan oleh penelitian terbaru berjudul "From Isolation to Alignment: Unified LoRA for Efficient Multi-Task Learning" (arXiv:2508.05078), hal itu mungkin tidak diperlukan.
Para penulis penelitian — Jinda Liu, Yi Chang, dan Yuan Wu — mengusulkan untuk memikirkan ulang pendekatan itu sendiri. Alih-alih mengisolasi pengetahuan setiap tugas, mereka mengandalkan satu adaptor LoRA dan penyelarasan representasi antar tugas. Metode ini diberi nama Align-LoRA.
Dari Isolasi Pengetahuan menuju Penyatuannya
LoRA multi-tugas yang umum tampak seperti sebuah perangkat rakitan: modulnya sendiri untuk setiap tugas, perutean permintaan yang dinamis, dan sering kali juga "head" terpisah di bagian keluaran. Diasumsikan bahwa isolasi arsitektural melindungi tugas-tugas dari gangguan timbal balik dan membantu mempertahankan pengetahuan khusus. Namun, pendekatan ini memiliki konsekuensi serius — perutean tidak memungkinkan penggabungan bobot menjadi satu model. Akibatnya, inferensi berubah menjadi komputasi bercabang yang mahal: Anda perlu menentukan rute setiap saat dan hanya menjalankan komponen tertentu. Latensi meningkat, dan pengoperasian produksi menjadi lebih rumit.
Para penulis menemukan kontradiksi yang menarik dalam gambaran ini. Versi model yang disederhanakan, dengan beberapa head tetapi tanpa perutean dan tanpa pemisahan kompetensi yang dipaksakan, menunjukkan hasil yang lebih tinggi daripada baseline yang berorientasi pada keberagaman yang rumit. Lebih jauh lagi, head dalam model semacam itu memiliki redundansi tinggi: head-head tersebut hampir tidak berbeda satu sama lain dalam representasi internalnya. Alih-alih menganggap ini sebagai kekurangan, para peneliti memutuskan — redundansi bisa menjadi tanda bahwa tugas-tugas tersebut lebih terkait daripada yang terlihat.
Paradoks LoRA Multi-Tugas
Eksperimen yang bahkan lebih menunjukkan adalah dengan satu adaptor LoRA saja, yang hanya ditingkatkan peringkatnya. Modul yang homogen ini, tanpa head dan percabangan apa pun, hampir mencapai tingkat sistem multi-komponen yang rumit. Ini berarti konstruksi yang kompleks tidak memberikan keunggulan kualitas yang menentukan — tetapi justru menciptakan kompleksitas tambahan selama pelatihan dan penerapan. Satu adaptor dengan dimensi yang sama dengan beberapa adaptor terpisah bekerja tidak lebih buruk, dan terkadang lebih baik.
Paradoks ini mempertanyakan tidak hanya arsitektur tertentu, tetapi juga filosofi "isolasi" itu sendiri. Mungkin, upaya untuk menyebarkan tugas ke berbagai subruang model menghilangkan kemampuan mereka untuk saling memperkuat. Multi-tugas kemudian berubah menjadi serangkaian fine-tuning tugas-tunggal paralel yang tersembunyi dalam satu korpus. Sementara itu, semua biaya overhead untuk memelihara beberapa cabang tetap ada.
Align-LoRA: Penyelarasan alih-alih Pemisahan
Solusi yang diusulkan dalam artikel tersebut tampak elegan. Para penulis mempertahankan LoRA standar: satu adaptor, arsitektur biasa, tanpa perutean. Perubahan utamanya ada pada fungsi kerugian. Metode Align-LoRA menambahkan suku khusus — alignment loss — yang mendorong model untuk membentuk ruang laten bersama untuk semua tugas. Alih-alih secara kaku memisahkan representasi ke berbagai sudut, pelatihan mencari konsistensinya, pola umum, dan fitur yang saling menguntungkan. Tugas tidak lagi bersaing untuk mendapatkan parameter — tugas belajar menggunakan representasi yang sama dalam konteks yang berbeda.
Pada saat yang sama, adaptor itu sendiri tetap sepenuhnya kompatibel dengan prosedur penggabungan bobot standar. Setelah pelatihan, matriks peringkat rendah dijumlahkan dengan bobot asli model besar tanpa lapisan tambahan apa pun. Inferensi dilakukan dengan kecepatan yang sama persis dengan jaringan dasar — nol latensi tambahan. Ini sangat kontras dengan sistem yang dirutekan, yang memerlukan komputasi tambahan di setiap langkah.
Para penulis menekankan bahwa yang terpenting bukanlah bagaimana modul dipisahkan, tetapi seberapa baik representasi diselaraskan. Penyelarasan melalui kerugian bekerja lebih efektif daripada pemisahan arsitektural formal apa pun, karena tidak membatasi model dengan pola yang telah ditentukan sebelumnya. Ruang laten bersama dibentuk untuk kumpulan tugas tertentu, mengekstraksi manfaat maksimal darinya.
Apa yang Ditunjukkan oleh Eksperimen
Analisis teoretis yang dilakukan dalam penelitian ini didukung oleh eksperimen ekstensif. Align-LoRA secara konsisten mengungguli pendekatan yang ada untuk fine-tuning efisien multi-tugas. Kesederhanaan metode tidak menghalanginya untuk menjadi lebih akurat: pada sejumlah tugas, metode ini meningkatkan hasil dibandingkan dengan varian LoRA multi-head klasik dan solusi yang lebih baru yang berorientasi pada keberagaman.
Menariknya, efeknya tidak hanya sebatas meningkatkan peringkat atau jumlah parameter. Eksperimen kontrol menunjukkan: justru kerugian eksplisit pada penyelarasan yang memberikan peningkatan utama. Peringkat besar membantu satu adaptor menyerap lebih banyak pengetahuan, namun alignment loss-lah yang mengubah gudang pengetahuan menjadi representasi multi-tugas yang koheren.
Hasilnya, Align-LoRA cocok dengan paradigma yang sederhana dan praktis: satu adaptor, ruang laten bersama, tanpa perutean sama sekali. Untuk skenario terapan, ini berarti model dapat dengan cepat diadaptasi ke kumpulan tugas baru, tanpa mengorbankan kecepatan inferensi dan tanpa solusi rekayasa yang rumit.
Kesimpulan
Penelitian baru ini tidak hanya mengusulkan metode konkret, tetapi juga memaksa kita untuk meninjau kembali gagasan mapan tentang LoRA multi-tugas. Berdasarkan hasilnya, upaya untuk isolasi arsitektural lebih merupakan kebiasaan rekayasa daripada kebutuhan. Satu adaptor dengan penyelarasan representasi yang tepat bekerja tidak lebih buruk, dan sering kali lebih baik, sambil tetap jauh lebih nyaman digunakan dalam sistem nyata.
Penelitian ini sudah tersedia di arXiv, dan para penulis juga telah memublikasikan kodenya, sehingga hasilnya dapat direproduksi dan diuji pada tugas Anda sendiri. Mungkin Align-LoRA-lah yang akan menjadi solusi sederhana yang membawa fine-tuning efisien multi-tugas dari kategori eksperimen canggih menjadi standar praktik industri.
