Pendahuluan: mengapa tabel itu sulit
Peramalan tabel adalah salah satu tugas utama dalam pembelajaran mesin. Model bahasa besar telah belajar bekerja dengan teks dan gambar, tetapi tabel tetap menjadi tantangan tersendiri. Untuk menerapkan LLM pada tabel, para peneliti menempuh dua jalur: fine-tuning model khusus (TFM) atau menggunakan in-context learning.
Jalur pertama adalah pembuatan Tabular Foundation Models, misalnya TabPFN. Model semacam ini menunjukkan hasil yang mengesankan, tetapi membutuhkan biaya komputasi yang besar. Melatih ulang model tersebut untuk setiap dataset baru adalah kemewahan yang tidak terjangkau.
Di sinilah few-shot prompting berperan: model diperlihatkan beberapa contoh dari set pelatihan, lalu model memprediksi nilai baru. Cara ini murah dan cepat, tetapi muncul pertanyaan: contoh mana yang sebaiknya dipilih? Pemilihan acak sering kali memberikan hasil yang buruk.
ARASH: pemilihan contoh yang cerdas
Metode ARASH (Adaptive Retrieval And Shot Selection) memecahkan masalah ini. Alih-alih memilih secara acak atau heuristik, metode ini menganalisis lingkungan lokal setiap titik dalam set pelatihan. Idenya adalah memilih shot yang paling mirip dengan kueri saat ini dan sekaligus representatif terhadap data.
Algoritme ini bekerja secara adaptif: untuk setiap kueri baru, pemilihan contoh dilakukan kembali dengan mempertimbangkan konteks lokalnya. Hal ini memungkinkan pengurangan jumlah contoh yang dibutuhkan seminimal mungkin sambil tetap menjaga akurasi.
Apa manfaatnya dalam praktik
Eksperimen menunjukkan hasil yang mengesankan. Saat menggunakan ARASH bersama TabPFN, panjang prompt berkurang 1261,5 kali lipat, dan konsumsi memori berkurang 2,56 kali lipat. Sementara itu, akurasinya tetap sebanding dengan prompt lengkap. Ini berarti model dapat digunakan di lingkungan dengan sumber daya terbatas — di perangkat edge, aplikasi web, dan saat memproses aliran data besar.
Hasil seperti ini dicapai karena ARASH tidak hanya memilih baris yang mirip, tetapi justru baris yang membawa informasi maksimal untuk kueri tertentu. Ini sangat penting ketika set pelatihan besar dan waktu inferensi terbatas.
Kesimpulan
ARASH adalah langkah lain menuju ketersediaan model tabel yang kuat dalam aplikasi nyata. Kombinasi model generatif dan pemilihan contoh yang cerdas membuka jalan menuju few-shot learning yang efisien tanpa kehilangan kualitas.
Ke depannya, perkembangan arah ini dapat diharapkan: mungkin akan muncul metode yang semakin memampatkan prompt atau beradaptasi dengan jenis data lain.
