Optimasi inti GPU biasanya membutuhkan pemahaman mendalam tentang arsitektur perangkat keras dan instruksi tingkat rendah. Model bahasa sejauh ini masih belum stabil dalam menangani hal ini: mereka dapat menghasilkan kode yang tampak masuk akal, tetapi tidak selalu benar dan cepat. PTXBench adalah tolok ukur baru yang mencoba menghadirkan keterukuran dan kejelasan dalam proses ini.
Apa itu PTXBench dan mengapa dibutuhkan
PTXBench adalah standar evaluasi untuk model bahasa besar yang mencoba menggunakan PTX (Parallel Thread Execution) yang spesifik-arsitektur untuk mengoptimalkan inti GPU. PTX adalah representasi perantara instruksi untuk GPU dari NVIDIA, dan pada level inilah seseorang dapat mengontrol register, memori, dan penjadwal secara presisi. Tolok ukur biasa hanya memeriksa kode akhir, tetapi PTXBench melihat lebih dalam: apakah model benar-benar menerapkan instruksi tingkat rendah yang ditargetkan, atau hanya menghasilkan kode yang "mirip C".
Para penulis berfokus pada dua beban kerja klasik: perkalian matriks (GEMM) dan mekanisme attention, yang sangat penting bagi transformer. Pengujian dilakukan pada akselerator terkini — H100 dan B200. Pilihan ini memungkinkan pengujian tidak hanya keterampilan dasar model, tetapi juga kemampuannya untuk beradaptasi dengan arsitektur modern beserta karakteristik spesifiknya.
Apa yang diukur oleh tolok ukur
PTXBench mengevaluasi model berdasarkan tiga parameter kunci:
- Kebenaran fungsional — hasil kerja kernel yang dihasilkan harus sesuai dengan referensi.
- Eksekusi instruksi target — diperiksa apakah instruksi PTX yang seharusnya digunakan model benar-benar muncul saat runtime.
- Percepatan — seberapa cepat kernel yang dihasilkan dibandingkan dengan pustaka frontier, yaitu implementasi siap pakai terbaik.
Pendekatan ini memisahkan tiga masalah yang berbeda. Model dapat menulis kode yang benar, tetapi tidak menggunakan instruksi yang diminta. Atau menggunakannya, tetapi menghasilkan kinerja yang lebih buruk daripada pustaka standar. PTXBench memungkinkan kita melihat pada tahap mana tepatnya kegagalan terjadi.
Hasil: optimasi masih belum merata bagi model
Evaluasi menunjukkan bahwa kemampuan LLM untuk bekerja dengan PTX sangat bergantung pada tugas. Pada kasus sederhana, model menunjukkan hasil yang cukup baik, tetapi proporsi solusi yang berhasil turun drastis pada tugas backward yang kompleks untuk attention. Ini sudah diduga: lintasan mundur membutuhkan penanganan gradien dan memori yang lebih hati-hati.
Temuan penting lainnya: eksekusi instruksi target saja tidak menjamin kecepatan. Model dapat "mengenai" instruksi PTX yang tepat, tetapi memilih strategi paralelisasi atau penempatan sinkronisasi yang buruk. Pada akhirnya, tidak ada satu pun model yang diuji mampu secara konsisten bersaing dengan pustaka frontier di seluruh rangkaian tugas.
Bagaimana model dilatih lanjut dan apa yang berhasil
Untuk memahami apakah keterampilan ini dapat ditingkatkan, para penulis melakukan pelatihan lanjut pada model Qwen3.6-27B menggunakan supervised fine-tuning. Selain itu, mereka menggunakan teknik yang dapat disebut pembelajaran dengan kondisi perbaikan: model belajar tidak hanya menghasilkan kode, tetapi juga memperbaikinya dengan menerima umpan balik tentang langkah-langkah yang salah.
Pendekatan ini memang meningkatkan beberapa tugas, tetapi tidak memberikan kemajuan yang merata. Generalisasi tetap lemah: model dapat menangani satu jenis kernel dengan baik dan gagal pada jenis lainnya. Analisis menunjukkan bahwa bukan hanya ukuran dataset pelatihan yang menentukan. Yang lebih penting adalah cakupannya, keseimbangan antara berbagai skenario, dan kualitas "guru" yang menghasilkan contoh untuk rantai penalaran. Jika data condong ke kasus sederhana, model tidak akan belajar kompleksitas.
Kesimpulan utama
PTXBench memberi komunitas standar pengujian yang dapat diverifikasi untuk melacak kemajuan LLM dalam optimasi inti GPU. Tolok ukur ini tidak hanya memberikan penilaian "cepat/lambat", tetapi menunjukkan pada level mana rencana model gagal: pada sintaksis, pada penerapan instruksi spesifik, atau pada pemilihan strategi. Ini adalah langkah penting menuju optimasi inti otomatis yang prediktif dan praktis.
