Bahaya "Rekor" dalam Text-to-SQL
Setiap bulan muncul klaim baru bahwa LLM terbaru hampir menyamai manusia pada tolok ukur SQL. Namun jika dicermati, di balik angka-angka ini tersembunyi kondisi yang sangat berbeda: ada yang menggunakan perintah sederhana tanpa akses basis data, ada yang mengizinkan model menjalankan kueri secara iteratif, dan ada pula yang menanamkan penalaran langsung ke dalam bobot model. Membandingkan hasil seperti ini secara langsung sama saja dengan menempatkan mobil dengan montir di samping mobil otonom yang bisa memperbaiki dirinya sendiri saat melaju.
Para penulis pracetak terbaru di arXiv (2608.15389) menyoroti justru masalah ini. Mereka mengusulkan untuk tidak lagi mengukur "kemajuan" dengan tinggi abstrak di papan peringkat, melainkan pertama-tama mencatat secara jujur seberapa besar otonomi yang dimiliki sistem saat menghasilkan SQL. Tanpa catatan semacam itu, perbandingan apa pun antar karya menjadi tidak stabil: perubahan tolok ukur, model dasar, atau bahkan protokol inferensi yang sedikit berbeda dapat mengubah kesimpulan.
Sumbu Otonomi: dari Petunjuk ke Agen Mandiri
Alih-alih sekadar mengumpulkan semua angka dalam satu tabel, para peneliti mendefinisikan ulang bidang Text-to-SQL itu sendiri sebagai "agregasi papan peringkat". Mereka mengumpulkan metrik yang dilaporkan sendiri oleh penulis sistem, lalu menyusunnya di sepanjang sumbu otonomi inferensi. Hasilnya adalah lima tingkat:
- Constrained generation — model hanya memilih jawaban dari ruang kueri valid yang dibatasi ketat, sering kali dengan pemeriksaan sintaks eksternal.
- In-context generation — SQL dibangun dalam satu kali proses berdasarkan konteks dengan contoh dan deskripsi skema.
- Iterative generation — sistem dapat melakukan beberapa percobaan, menyempurnakan kueri berdasarkan hasil eksekusi atau respons DBMS.
- Agentic generation — model bekerja sebagai agen: ia sendiri mengeksplorasi skema basis data, menjalankan kueri, bereaksi terhadap kesalahan, dan merencanakan langkah berikutnya.
- Reasoning-internalized generation — "penalaran" telah tertanam sebelumnya dalam model, sehingga saat inferensi ia mengeluarkan kueri secara langsung, tanpa orkestrasi eksternal dan langkah perantara.
Skala semacam ini tidak menyatakan bahwa satu tingkat "lebih baik" dari yang lain. Skala ini hanya menetapkan kondisi perbandingan yang adil: sistem dengan penalaran internal tidak dapat dipertentangkan dengan output single-shot tanpa penalaran secara setara, sama seperti sirkuit agen dengan hak menjalankan kueri tidak seharusnya dibandingkan dengan model yang tidak diberi hak tersebut.
Yang penting, untuk setiap sel papan peringkat semacam ini, asal-usul metrik tetap dapat ditelusuri. Ini berarti pembaca selalu dapat memahami konfigurasi mana yang menghasilkan hasil tertentu, alih-alih mencoba menebak dari potongan-potongan bagian eksperimen.
Apa yang Ditunjukkan Eksperimen pada Spider dan di Luarnya
Untuk menghubungkan agregasi metrik dengan realitas, para penulis melakukan studi terarah pada tolok ukur Spider. Mereka membandingkan model terbuka 8B — dengan dan tanpa supervisi CoT — terhadap baseline few-shot berbasis DeepSeek V3 dan GLM-4. Menariknya, yang digunakan adalah protokol few-shot, bukan versi fine-tuning penuh, sehingga perbandingannya cukup bersih.
Dari eksperimen tersebut, muncul empat pola yang penting bagi para praktisi.
Pertama, peningkatan yang diperoleh pada Spider tidak merata saat ditransfer ke BIRD dan Spider 2.0. Sebuah model dapat menunjukkan peningkatan yang impresif pada satu set kueri dan hampir tidak bergerak pada set lainnya. Ini sekali lagi menegaskan: pengejaran buta terhadap skor tunggal pada satu tolok ukur populer menciptakan ilusi kemajuan menyeluruh.
Kedua, otonomi menambah ketahanan, tetapi dengan biaya yang tidak sepele. Sirkuit agen memang lebih baik dalam menangani tugas multi-langkah dan ambigu, namun biaya token dan waktu eksekusi meningkat signifikan. Jika bagi analis interaktif biaya ini sepadan, maka untuk pemrosesan batch biaya tersebut dapat menggerus seluruh keuntungan dari berkurangnya kesalahan.
Ketiga, mode reasoning internalized menempati posisi menengah yang tak terduga. Mode ini berada di antara decoding jawaban "dangkal" tanpa penalaran dan agen yang diorkestrasi secara eksternal. Untuk sejumlah tugas, mode ini memberikan kualitas hampir setara agen, tetapi tanpa perlu membangun sirkuit kompleks dengan alat. Meski demikian, tidak ada "makan siang gratis" universal: penalaran tertanam juga memiliki keterbatasannya sendiri.
Keempat, keuntungan dari supervisi CoT terkonsentrasi pada kueri tingkat Hard dan Extra-Hard. Pada pertanyaan sederhana, perbedaannya hampir tidak terlihat atau bahkan negatif — mengapa model perlu bernalar dengan suara keras ketika jawabannya sudah terlihat jelas? Namun pada tugas kompleks bertingkat banyak, kemampuan mengucapkan langkah-langkah dengan suara keras memberikan keunggulan nyata. Ini adalah sinyal penting bagi mereka yang membangun asisten SQL: daya komputasi tambahan harus difokuskan pada kueri dengan kompleksitas tinggi, bukan dihabiskan untuk kasus sederhana yang umum.
Cara Menggunakan Skala Ini dalam Praktik
Konsekuensi paling berguna dari karya ini — bahkan bukan taksonominya itu sendiri — adalah harness Python publik yang dirilis para penulis bersama pracetak. Harness ini mereproduksi sumbu otonomi dan memungkinkan penambahan metode baru ke papan peringkat tanpa menulis ulang seluruh lingkungan. Jika Anda mengembangkan pendekatan Text-to-SQL lain, cukup tentukan pada tingkat otonomi mana ia bekerja — dan komunitas dapat membandingkan Anda dengan sistem sebelumnya secara setara.
Tentu saja, agregasi yang didasarkan pada metrik yang dilaporkan sendiri tetap perlu dipercaya dengan hati-hati. Tidak semua orang memiliki anggaran untuk mengulangi eksperimen orang lain, tetapi anotasi terpadu sudah merupakan langkah maju yang besar. Sementara itu, saat membaca klaim "state-of-the-art" berikutnya, ingatlah satu pertanyaan sederhana: apa sebenarnya yang dapat dilakukan model selama proses pembuatan kueri? Jika jawaban atas pertanyaan ini tidak ada, maka angka dalam artikel hanyalah angka yang indah tanpa landasan yang kokoh.
