Masalah: memori ada, tetapi sulit menemukan kesalahan
Memori persisten dianggap sebagai salah satu bagian terpenting dari agen LLM: justru memori inilah yang memungkinkan agen bekerja antar sesi, mengingat konteks, mengoreksi representasinya, dan beradaptasi dengan pengguna. Namun, sistem memori yang sesungguhnya bukanlah satu komponen, melainkan sebuah pipeline yang terdiri dari beberapa tahap: penerimaan data, pencarian fragmen yang relevan, penyaringan, dan akhirnya penggunaan saat menghasilkan respons. Ketika hasilnya salah, metrik menyeluruh hanya mencatat fakta kegagalan. Metrik tersebut tidak menjelaskan pada tahap mana sesuatu berjalan tidak semestinya — dan hal ini mengubah penyempurnaan memori menjadi penyesuaian parameter secara membabi buta.
Pendekatan evaluasi yang ada justru memperparah masalah. Biasanya pendekatan tersebut melaporkan akurasi rata-rata pada serangkaian pengujian, tetapi tidak mengungkap signifikansi statistik dari perubahan, tidak memeriksa apakah peningkatan pada sebagian segmen terjadi dengan mengorbankan regresi pada segmen lain, dan tidak meninggalkan jejak diagnostik yang dapat digunakan untuk merekonstruksi alur penalaran. Akibatnya, tim dapat menghabiskan berminggu-minggu untuk bereksperimen, tetapi tidak pernah mengetahui intervensi mana yang benar-benar menghasilkan perbaikan dan apakah ada hal lain yang ikut rusak.
Protokol D²ACCI
Untuk mengatasi masalah ini, para peneliti mengusulkan D²ACCI — protokol dua-loop untuk pengembangan memori secara iteratif. Idenya adalah setiap perubahan pada sistem harus melewati "gerbang" diagnostik eksternal: gerbang tersebut memajukan perubahan, menandainya sebagai eksperimental, atau menolaknya sepenuhnya — berdasarkan bukti berpasangan, pemantauan segmen yang dilindungi, dan jejak (trace) yang memungkinkan lokalisasi kegagalan pada tingkat tahap tertentu.
Kebaruan utama protokol ini adalah metrik DCR, yang mengukur "observabilitas bertingkat": sejauh mana kesalahan tetap dapat dilokalisasi dari data yang tersedia. Artinya, yang dievaluasi bukan hanya kualitas respons, tetapi juga apakah dari catatan eksperimen kita dapat memahami di mana tepatnya masalah muncul. Untuk reproduksibilitas, tersedia pula artefak D²ACCI-Eval yang memungkinkan gerbang dijalankan ulang pada data yang sama dan hasilnya diverifikasi.
Cara kerjanya dalam praktik
Protokol ini diterapkan pada sistem memori MemStack. Sistem ini dievaluasi pada tiga benchmark publik sekaligus: akurasi mencapai 93.59% pada LoCoMo, 90.93% pada LongMemEval, dan 57.20% pada PersonaMem-V2. Namun yang jauh lebih menarik bukanlah angka-angkanya, melainkan apa yang berhasil diungkap melalui ablasi berpasangan.
Lima eksperimen menunjukkan bahwa tiga komponen — supplement extraction, session-memory retrieval, dan Forget Guard — memberikan peningkatan yang signifikan secara statistik sebesar +1.9 hingga +3.7 poin persentase (dalam semua kasus p ≤ .003). Perubahan lainnya tidak dapat dibedakan pada metrik agregat. Misalnya, pilihan antara BM25 dan RRF dipertahankan sebagai feature flag yang dapat dikontrol — dan perbedaan ini sama sekali tidak terlihat pada evaluasi biasa, tetapi menjadi jelas pada tingkat jejak.
Mengapa ini mengubah pendekatan pengembangan
Secara terpisah, para penulis melakukan audit diagnostik: mereka membandingkan kesepakatan antar pakar mengenai akar penyebab kegagalan ketika pelabelan ulang dilakukan hanya berdasarkan hasil versus ketika menggunakan jejak yang diperkaya. Opsi kedua secara signifikan meningkatkan konsistensi kesimpulan. Sementara itu, DCR@3 menunjukkan perbedaan yang mencolok: artefak diagnostik mencapai lokalisabilitas 98–100%, sedangkan log yang hanya berisi hasil — 0%.
Kesimpulannya cukup jelas: untuk meningkatkan sistem memori secara andal, diperlukan bukti yang dapat ditelusuri, dibenarkan secara statistik, dan diuji terhadap regresi. Tanpa ini, mustahil membedakan perbaikan sejati dari keberuntungan belaka, atau perbaikan yang berhasil dari masalah yang "berpindah" dari satu tahap pipeline ke tahap lainnya. D²ACCI adalah upaya untuk mengubah diagnostik semacam ini dari proses manual yang memakan waktu menjadi bagian standar dari siklus pengembangan.
