Untuk inferensi LLM di dekat pengguna, jarang tersedia server "berat" yang siap pakai. Biasanya ini adalah campuran perangkat Edge, gateway, dan node fog dengan kapasitas memori dan daya komputasi yang berbeda-beda. Men-deploy model seolah-olah selalu muat di satu perangkat berarti menutup mata terhadap kenyataan: model tidak muat, atau bekerja dengan latensi yang tidak dapat diterima, atau sumber daya mahal menjadi menganggur. Framework E2LLM menawarkan jalur yang lebih pragmatis untuk ini.
Mengapa skenario klasik tidak cocok
Pendekatan tradisional untuk melayani LLM sering kali berasumsi bahwa seluruh model berada di satu mesin. Di cloud, ini biasanya berhasil, tetapi di lingkungan Edge/Fog, node lebih lemah dan lebih heterogen. Sebagian perangkat mungkin memiliki memori yang cukup untuk bobot, tetapi tidak mampu melakukan komputasi; yang lain — sebaliknya, cepat, tetapi dengan kapasitas terbatas. Jika mencoba hanya "menyebar" model ke semua perangkat yang tersedia, masalah mulai muncul dengan koordinasi, komunikasi, dan utilisasi.
Sementara itu, dalam praktiknya, tiga hal dibutuhkan secara bersamaan:
- latensi rendah yang dapat diprediksi,
- penggunaan sumber daya yang efisien,
- biaya deployment yang wajar.
Ketiganya saling bertentangan, jadi diperlukan kompromi, bukan optimasi yang berat sebelah. E2LLM dibangun di sekitar kompromi ini.
Replika dan peran: bagaimana E2LLM mengatasi keterbatasan
Ide kunci E2LLM — bukan memecah satu model di antara semua node, melainkan mengelompokkan perangkat menjadi replika. Di dalam setiap replika, salinan lengkap model disimpan, dan kemudian didistribusikan ke anggota grup menggunakan paralelisme model. Kedengarannya seperti pemborosan memori, tetapi pada kenyataannya duplikasi semacam ini meningkatkan toleransi kesalahan dan memungkinkan melayani beberapa permintaan secara paralel.
Selanjutnya, pengetahuan tentang cara kerja inferensi LLM berperan. Ada dua fase dengan profil beban yang berbeda: prefill, ketika model secara aktif memproses token masukan dan membangun cache perhatian, dan decode, ketika model menghasilkan token keluaran. Fase-fase ini membutuhkan sumber daya yang berbeda: prefill sensitif terhadap daya komputasi puncak, decode — terhadap bandwidth memori dan latensi transfer data.
Alih-alih memaksa setiap grup melakukan keduanya, E2LLM menetapkan peran khusus pada replika. Sebagian menjadi replika prefill dan memproses permintaan masuk lebih cepat, sebagian lainnya menjadi replika decoder dan bertanggung jawab atas generasi yang lancar. Pemisahan ini memungkinkan untuk tidak membuang sumber daya pada fase yang "tidak nyaman" untuk perangkat keras tertentu.
Bagaimana grup perangkat terbentuk
Tidak bisa hanya mengambil perangkat pertama yang tersedia dan menyebutnya replika. E2LLM pertama-tama memutuskan node mana yang layak digabungkan. Untuk ini, digunakan algoritma genetika: ia mencoba berbagai varian klaster dan secara bertahap memperbaikinya, dengan berfokus pada performa akhir sistem.
Ketika klaster ditentukan, di dalamnya perlu dipahami bagaimana tepatnya memotong model di antara para peserta. Di sini, pemrograman dinamis berperan: ia mencari strategi partisi yang meminimalkan "bottleneck" dalam transfer data antar perangkat. Dengan kata lain, tingkat atas menangani pemilihan komposisi replika, dan tingkat bawah — pemotongan model yang optimal untuk komposisi perangkat keras tertentu.
Apa artinya ini dalam praktik
Para penulis menguji pendekatan ini dibandingkan dengan solusi dasar Splitwise, yang juga memisahkan prefill dan decode, tetapi kurang fleksibel dalam menangani lingkungan yang heterogen. Eksperimen menunjukkan bahwa E2LLM beradaptasi dengan baik terhadap perubahan beban kerja. Ini terutama terlihat ketika panjang token masukan dan keluaran sangat berbeda: misalnya, permintaan pendek datang, tetapi jawaban panjang diperlukan, lalu beban berubah drastis.
Pada beban tinggi, pendekatan baru ini mengurangi waktu tunggu rata-rata lebih dari 50% dibandingkan dengan Splitwise. Ini berarti pengguna lebih jarang mengantre untuk generasi, dan perangkat Edge/Fog itu sendiri bekerja lebih bermakna, alih-alih mencoba melayani kedua fase inferensi secara sama.
Kesimpulan
E2LLM menunjukkan bahwa untuk menjalankan LLM secara efisien di periferi, yang penting bukan hanya kekuatan perangkat individual, tetapi juga bagaimana perangkat digabungkan dan didistribusikan berdasarkan peran. Duplikasi model lengkap di tingkat replika yang dikombinasikan dengan pemisahan prefill dan decode — ini adalah trade-off yang disengaja: di suatu tempat harus mengorbankan memori, tetapi sebagai gantinya sistem mendapatkan performa yang stabil dan latensi yang lebih rendah.
Kesimpulan utama untuk skenario terapan: di lingkungan yang heterogen, tidak perlu mencoba memasukkan seluruh model ke satu node atau menyebarkannya secara merata ke semua node. Perlu mengumpulkan grup khusus dari perangkat keras yang tersedia dan kemudian memutuskan di dalamnya bagaimana mendistribusikan komputasi. Dengan cara inilah inferensi LLM menjadi benar-benar praktis di luar klaster cloud besar.
