Mengapa pendekatan GPT tersendat pada musik simbolik: kompresi hanya bekerja dalam sistem koordinat yang tepat
Tampaknya musik simbolik diciptakan untuk tokenisasi: not bersifat diskret, akord berulang, motif membentuk struktur yang dapat dikenali. Model GPT bekerja sangat baik dengan token yang dapat digunakan kembali, sehingga muncul godaan untuk langsung menerapkan pendekatan bahasa ke partitur not. Namun praktik menunjukkan: tokenisasi musik bukan sekadar memotong urutan, melainkan memilih sistem koordinat di mana model benar-benar mampu melihat pola.
Token bukanlah antarmuka universal
Kesuksesan model bahasa dibangun di atas kosakata token yang terbatas dan dapat digunakan kembali dalam berbagai konteks. Antarmuka ini sangat nyaman sehingga mulai dicoba diterapkan ke bidang lain — dari kode hingga urutan biologis. Namun saat diterapkan di luar bahasa, muncul masalah: tidak ada kriteria tunggal tentang apa yang seharusnya diwakili oleh tokenisasi dan di mana ia harus dihentikan. Yang baik untuk teks bisa jadi tidak berguna atau bahkan merugikan untuk musik.
Penelitian Yi Wang (arXiv:2608.18025) mengusulkan kriteria umum — predictive codelength (panjang kode prediktif). Ini adalah ukuran seberapa baik model mengompresi informasi saat memprediksi elemen berikutnya. Jika tokenisasi membantu mengurangi panjang ini — berarti ia menangkap struktur data yang nyata; jika tidak — ia hanya menciptakan ilusi keteraturan.
Musik membutuhkan koordinat, bukan sekadar kosakata
Musik simbolik secara menipu mirip dengan bahasa: not yang sama, akord yang sama. Namun di balik diskretisasi ini tersembunyi parameter waktu dan nada yang kontinu. Ketika kita memotong musik menjadi token dengan analogi kata, kita secara implisit menetapkan kerangka acuan. Misalnya, tinggi nada dapat dikodekan sebagai nilai absolut — tetapi kemudian model harus menebak sendiri nada dasarnya. Waktu dapat ditetapkan sebagai penghitung bilangan bulat — tetapi kemudian pergeseran dan tempo menjadi tidak dapat dibedakan.
Penulis kerangka Effectiveness–Losslessness Framework membedakan dua batas. Fact–Token Boundary menentukan di mana struktur yang teramati harus masuk ke dalam antarmuka token — misalnya, melalui konstruksi koordinat yang eksplisit. Token–State Boundary menunjukkan di mana tokenisasi harus berhenti: dependensi lainnya harus dihitung sendiri oleh model, dalam keadaan internalnya, bukan diterima dalam bentuk jadi dari tokenizer. Jika terlalu banyak dikompresi, model kehilangan kemampuan menggunakan konteks; jika terlalu sedikit — tenggelam dalam detail yang tidak penting.
Eksperimen: waktu dan nada menentukan
Dalam eksperimen multi-seed terkontrol pada musik simbolik, ternyata penetapan waktu musikal secara eksplisit secara konsisten memperpendek kode prediktif. Artinya, alih-alih menyembunyikan stempel waktu di dalam token, lebih baik menjadikannya koordinat terpisah — sehingga model mulai memprediksi tinggi dan durasi not dengan lebih akurat. Keuntungan tambahan diberikan oleh kanonisasi konteks tonal: membawa semua frasa ke pusat tonal yang seragam. Dan faktorisasi tinggi nada — pemisahan menjadi derajat dan oktaf — juga membantu.
Namun yang juga penting adalah apa yang tidak berhasil. Koordinat tinggi nada tetap berdasarkan lingkaran kwint — teori musik yang indah, dipaksakan tanpa mempertimbangkan konteks — justru memperbesar kode prediktif. Hubungan tinggi nada yang ditetapkan sebelumnya menghalangi model untuk beradaptasi dengan harmoni tertentu. Tokenizer telah memutuskan untuk model bagaimana hubungan antar not tersusun, dan model dibiarkan tanpa pekerjaan.
Kompresi demi kompresi tidak membantu
Kejutan tersendiri — BPE reversibel. Ia memungkinkan pemendekan carrier (pembawa) secara signifikan — yaitu urutan token itu sendiri — tetapi panjang kode prediktif justru meningkat pada setiap seed. Dari sudut pandang penyimpanan data ini adalah kompresor yang hebat, tetapi dari sudut pandang pembelajaran — pembantu yang buruk. Semua karena BPE meruntuhkan fragmen yang berulang, tetapi kehilangan hubungan kontekstual: model menghemat panjang, tetapi menghabiskan upaya untuk mempelajari singkatan artifisial.
Kesimpulan
Pendekatan GPT tersendat pada musik simbolik bukan karena kurangnya daya, melainkan karena pilihan sistem koordinat yang salah. Kompresi hanya bekerja ketika antarmuka token selaras dengan struktur data yang nyata: waktu harus menjadi waktu, nada harus menjadi nada, dan sisanya — menjadi pekerjaan model itu sendiri. Kriteria panjang kode prediktif memungkinkan kita memisahkan tokenisasi yang berguna dari hiasan belaka dan memahami di mana sebenarnya batas antara fakta dan komputasi harus ditarik.
