SQL Agen tanpa Ilusi: Skala Otonomi Terpadu dan Perbandingan Tolok Ukur LLM yang Jujur
Para peneliti mengusulkan untuk memandang bidang Text-to-SQL sebagai papan peringkat agregat, di mana hasilnya didistribusikan berdasarkan tingkat otonomi model dalam menghasilkan kueri SQL. Mereka melakukan pengukuran pada Spider dan menunjukkan bahwa keberhasilan tidak selalu terbawa ke tolok ukur lain, dan otonomi memberikan ketahanan, tetapi membutuhkan sumber daya komputasi yang signifikan.








