Bagaimana ActionRAG Meninjau Ulang Bukti saat Berdifusi melalui Graf Memori Agen LLM

3 November 20265 tampilan

Arsitektur memori graf diusulkan untuk menyelaraskan entitas secara cermat pada tahap pengindeksan, lalu menilai ulang hubungan berdasarkan struktur lokal saat menerima kueri. Di MemoryAgentBench, metode ini mencapai akurasi rata-rata 55,1 dan peningkatan 5,4 poin persentase dibandingkan baseline retrieval terkuat, dengan biaya sintesis per kueri yang tetap rendah.

Bagaimana ActionRAG Meninjau Ulang Bukti saat Berdifusi melalui Graf Memori Agen LLM

Di mana memori agen mengalami kegagalan

Penulis mengidentifikasi dua jenis kegagalan memori. Yang pertama terkait pengindeksan. Yang kedua terjadi saat pengambilan informasi secara online.

  • Kesalahan pengindeksan dapat memisahkan entitas yang berulang.
  • Kesalahan yang sama juga dapat menggabungkan entitas yang berbeda.
  • Pengambilan informasi secara online dapat menganggap skor kemiripan awal sebagai hasil akhir.
  • Graf di sekitarnya dapat memberikan alasan untuk meninjau kembali skor tersebut.

Kriteria praktis: kemampuan memori meninjau kembali skor awal pada tahap kueri.

Pengindeksan: penyelarasan tipe dan resolusi entitas

Pipeline pengindeksan di ActionRAG menjalankan dua langkah.

  • Menyelaraskan label tipe.
  • Menerapkan resolusi entitas bertingkat.

Langkah-langkah ini merupakan bagian dari pengindeksan yang cermat. Kesalahan pengindeksan tetap menjadi risiko tersendiri. Kriteria praktis: adanya penyelarasan tipe dan resolusi entitas bertingkat.

Pengambilan saat kueri: dua kanal dan graf lokal

Untuk kueri, ActionRAG mengambil entitas dan tripel melalui dua kanal. Data ini membentuk kumpulan bukti awal dan graf lokal yang terbatas.

  • Dua kanal pengambilan menghasilkan entitas dan tripel.
  • Kumpulan bukti awal dibentuk dari data tersebut.
  • Graf lokal yang terbatas dibentuk dari data tersebut.

Kriteria praktis: graf lokal di sekitar kueri, bukan peninjauan ulang seluruh memori.

Difusi bukti dengan perlindungan hubungan langsung

Difusi berbasis kueri yang dinormalisasi berdasarkan penerima menyempurnakan skor tripel. Difusi ini memperhitungkan struktur jalur lokal. Peninjauan ulang mengandalkan perlindungan bukti langsung dan pemulihan hubungan yang hilang.

Tiga mekanisme mendukung peninjauan ulang ini:

  • perlindungan node awal membantu mempertahankan bukti langsung;
  • aliran yang dikenai penalti hub memberi penalti pada aliran melalui hub;
  • materialisasi tripel membantu memulihkan hubungan yang hilang.

Kriteria praktis: mempertahankan bukti langsung selama difusi.

Apa yang ditunjukkan evaluasi di MemoryAgentBench

MemoryAgentBench (MAB) menguji empat hal:

  • akurasi pengambilan;
  • resolusi konflik;
  • pemahaman hubungan jarak jauh;
  • pembelajaran saat pengujian.

Hasil ActionRAG di MAB:

MetrikHasil
Akurasi rata-rata pada delapan kolom dengan penilaian deterministik55,1
Keunggulan atas metode dasar memori berbasis pengambilan terkuat5,4 poin
Biaya sintesis rata-rata dengan memperhitungkan waktu kuerirendah pada empat kolom biaya yang disajikan
Jumlah komponen p99 sisi pengambilan yang diukur secara terpisah440,7 ms pada sistem konsumen Apple Silicon

Kriteria praktis: melaporkan akurasi, biaya sintesis, dan p99 komponen pengambilan secara terpisah.

Pertanyaan yang sering ditanyakan

Bagaimana ActionRAG Meninjau Ulang Bukti saat Berdifusi melalui Graf Memori Agen LLM