Deret Waktu Tidak Teratur: Mengapa MSE Sudah Usang?
Peramalan deret waktu tidak teratur adalah tugas yang ditemui di mana-mana: dari transaksi keuangan hingga data sensor medis. Dalam deret seperti ini, observasi tidak datang pada interval yang sama, melainkan secara acak, dengan celah dan pengelompokan. Sekilas mungkin tampak bahwa masalah utamanya adalah membangun model cerdas yang mampu menangani ketidakseragaman data. Namun, seperti yang ditunjukkan oleh penelitian terbaru dari para peneliti di arXiv (preprint 2608.17293), ada masalah yang lebih mendasar: kita hanya salah dalam mengevaluasi kualitas model-model ini.
Kesalahan Pengukuran yang Tak Terlihat
Selama bertahun-tahun, standar de facto untuk mengevaluasi kualitas peramalan adalah mean squared error (MSE). Logikanya sederhana: semakin kecil selisih antara prediksi dan fakta, semakin baik. Namun logika ini runtuh ketika berbicara tentang deret waktu tidak teratur.
Masalahnya terletak pada detail: MSE mengukur kesalahan hanya pada titik waktu di mana terdapat observasi aktual dalam data. Dalam deret tidak teratur, titik-titik ini terdistribusi sangat tidak merata. Hasilnya, metrik akhir sangat bergantung bukan pada seberapa baik model memahami proses, melainkan pada bagaimana titik-titik pengukuran ditempatkan dalam sampel tertentu.
Bayangkan dua dokter yang mengukur tekanan darah pasien. Satu melakukan pengukuran setiap 15 menit, yang lain beberapa kali sehari. Sementara itu, tekanan darah itu sendiri berubah terus-menerus. Jika kita mengevaluasi akurasi prediksi dengan hanya membandingkannya dengan titik-titik pengukuran, hasilnya akan sangat berbeda hanya karena perbedaan frekuensi pengukuran, bukan karena kualitas peramalan yang sebenarnya. Para penulis artikel menyebut ini estimasi bias — model dapat menunjukkan MSE yang sangat baik pada satu set data dan gagal pada set data lain, hanya karena cap waktu dalam data tersebut terdistribusi secara berbeda.
Justru karena itulah MSE dalam konteks ini tidak mengukur "kekuatan prediktif" algoritme, melainkan konfigurasi spesifik cap waktu dalam sampel uji.
CSE: Upaya Melihat Melampaui Cap Waktu
Solusi yang diusulkan dalam penelitian ini disebut Continuous-time Squared Error (CSE). Ide metrik ini elegan: alih-alih membandingkan prediksi dan fakta hanya pada titik-titik observasi diskrit, CSE mencoba mengevaluasi kesalahan model dalam waktu kontinu.
Bagaimana cara kerjanya? Mekanisme kuncinya adalah pembobotan kepentingan (importance weighting). Setiap titik observasi diberi bobot yang berbanding terbalik dengan kepadatan sampel cap waktu di sekitarnya. Jika dalam suatu rentang waktu terdapat sangat banyak pengukuran, setiap pengukuran tertentu memberikan kontribusi yang lebih kecil pada estimasi keseluruhan. Jika pengukuran jarang, bobotnya meningkat. Ini memungkinkan "menghaluskan" pengaruh ketidakseragaman dan mendapatkan estimasi yang jujur tentang bagaimana model berperilaku di seluruh rentang waktu, bukan hanya di area yang padat.
Para penulis tidak berhenti pada penjelasan intuitif — mereka memberikan bukti teoretis. Menurut perhitungan mereka, kesalahan asimtotik estimasi CSE relatif terhadap risiko waktu kontinu yang "sebenarnya" tidak lebih tinggi daripada MSE klasik. Sederhananya, CSE secara matematis dijamin memberikan representasi yang lebih akurat tentang seberapa baik model, dengan volume data yang cukup besar.
Eksperimen dan Realitas
Untuk menguji metrik mereka, para peneliti membuat benchmark sistematis. Ini mencakup data sintetis, semi-sintetis (campuran), dan delapan set data nyata. Pendekatan ini memungkinkan tidak hanya memverifikasi bahwa CSE berfungsi pada contoh yang dimodelkan, di mana hasil sebenarnya diketahui, tetapi juga melihat bagaimana metrik baru berperilaku pada data nyata yang "kotor".
Hasilnya sangat signifikan. CSE memulihkan risiko kontinu (yaitu kesalahan model yang sebenarnya) jauh lebih akurat daripada MSE. Kesimpulan utama para praktisi: berorientasi hanya pada MSE dapat menyesatkan.
Dalam skenario nyata, model yang tampak terbaik menurut MSE sebenarnya bisa kalah dari pesaingnya jika dievaluasi kualitasnya di seluruh rentang waktu. Dan sebaliknya. Temuan ini memaksa kita untuk meninjau ulang hasil banyak penelitian sebelumnya, di mana kesimpulan tentang keunggulan arsitektur tertentu mungkin merupakan artefak metrik, bukan keunggulan algoritme yang sebenarnya.
Apa Artinya Ini dalam Praktik?
Beralih ke CSE bukan sekadar permainan akademis. Ini adalah pergeseran cara berpikir. Bagi para peneliti, ini berarti perlunya meninjau ulang benchmark dan standar perbandingan model. Metrik baru ini memungkinkan memisahkan "gandum" dari "sekam": memahami model mana yang benar-benar memprediksi dinamika proses dengan baik, dan mana yang hanya menyesuaikan diri dengan struktur sampel.
Sementara itu, para pengembang yang menggunakan pustaka peramalan siap pakai harus ingat: peringkat dan indikator yang biasa digunakan bisa menipu. Saat memilih model untuk bekerja dengan data tidak teratur, sebaiknya tidak hanya melihat MSE yang dinyatakan, tetapi juga bagaimana model berperilaku dalam berbagai mode kedatangan data. Mungkin dalam waktu dekat kita akan melihat implementasi CSE di pustaka-pustaka populer — setidaknya, para penulis telah membuka kode implementasi mereka.
Kesimpulannya sederhana: jika Anda bekerja dengan deret waktu tidak teratur, inilah saatnya bertanya pada diri sendiri — apakah metrik yang Anda lihat benar-benar mencerminkan apa yang ingin Anda ukur? Kemungkinan besar, jawabannya adalah tidak.
