Arsitektur dukungan untuk jutaan percakapan: pemisahan pencarian, tindakan, dan generasi

26 September 202623 tampilan

Dengan menggunakan layanan pemesanan akomodasi sebagai contoh, para penulis mengulas peralihan dari satu model terpadu ke orkestrator terbatas untuk operasi bertipe dan generator yang mengandalkan konteks terverifikasi; dampak arsitektur dinilai terpisah dari perubahan-perubahan terkait. Dalam dialog yang diputar ulang, ketepatan pemilihan pemesanan meningkat, kesalahan dalam tindakan terstruktur menghilang, dan eskalasi berkurang; optimasi juga menurunkan latensi dan biaya penyajian model, sementara volume pengalihan dialog kepada operator di lingkungan produksi tidak banyak berubah.

Arsitektur dukungan untuk jutaan percakapan: pemisahan pencarian, tindakan, dan generasi

Skala dan batas evaluasi

Sistem dukungan untuk marketplace perumahan besar memproses jutaan percakapan per bulan. Sistem ini beroperasi dalam 11 bahasa, dengan P90 yang dilaporkan sebesar 10 detik. Angka-angka ini menggambarkan skala sistem, tetapi tidak menunjukkan dampak dari keputusan arsitektur tertentu.

ParameterNilai
VolumeJutaan percakapan per bulan
Bahasa11
P9010 detik

Migrasi ini juga mencakup perubahan pada prompts, alignment, dan serving. Karena itu, penulis mengaitkan dengan arsitektur hanya dampak yang diukur pada percakapan yang direproduksi secara identik.

Kriteria evaluasi: bandingkan arsitektur dengan percakapan masukan yang identik, bukan mengaitkan semua perubahan setelah migrasi dengannya.

Bagaimana pencarian, tindakan, dan generasi dipisahkan

Dynamic Response (DR) menggantikan Qwen3-235B-A22B yang menangani berbagai jenis respons dengan orkestrator ReAct terbatas yang menggunakan alat bertipe dan generator yang lebih kecil. Generator menyusun jawaban berdasarkan kontrak konteks yang telah diverifikasi oleh sistem backend.

Bagian sistemPeran
PencarianPemilihan entitas bertipe, termasuk pemilihan pemesanan
TindakanID tindakan bertipe dan pemeriksaan kepemilikan
GenerasiJawaban berdasarkan kontrak konteks yang telah diverifikasi oleh sistem backend
OrkestrasiOrkestrator ReAct terbatas yang menggunakan alat bertipe

Pemisahan ini membedakan pemilihan entitas dan tindakan dari perumusan jawaban. Kriteria pemilihan: arsitektur ini cocok ketika sistem memerlukan operasi yang dapat diverifikasi, bukan hanya satu generator jawaban.

Apa yang berubah dalam pemilihan entitas dan tindakan

Pemilihan entitas bertipe mengarahkan selector pemesanan untuk memprioritaskan presisi. Presisi meningkat, sementara kelengkapan menurun. Pemeriksaan kepemilikan ID bertipe menghilangkan kesalahan yang teramati dalam tindakan terstruktur.

MetrikSebelumSesudah
Presisi pemilihan pemesanan8,3%89,1%
Kelengkapan pemilihan pemesanan75,2%67,3%
Halusinasi tindakan terstruktur yang teramati2,14%0,0%

Hasilnya menunjukkan kompromi antara presisi dan kelengkapan pemilihan. Kriteria pemilihan: pendekatan ini sesuai ketika menghindari pemilihan yang keliru lebih penting daripada mempertahankan tingkat kelengkapan sebelumnya.

Cara mengevaluasi eskalasi dan penyelesaian mandiri

Uji A/B tingkat rendah mereproduksi penurunan eskalasi dalam replay. Namun, volume pengalihan ke operator dalam produksi tetap relatif stabil.

IndikatorSebelumSesudah
Jawaban dengan eskalasi langsung5,60%3,08%
Jawaban dengan eskalasi lunak9,56%2,49%
Penyelesaian mandiri—Tren terarah: +5,1 poin persentase; CI 95%: dari −2 hingga +12

Penurunan eskalasi tidak disertai penurunan volume pengalihan ke operator yang sebanding. Penulis menggambarkan penyelesaian mandiri sebagai hasil yang menunjukkan tren, bukan peningkatan yang telah dipastikan secara meyakinkan.

Kriteria evaluasi: pantau secara terpisah jawaban yang melibatkan eskalasi, pengalihan aktual ke operator, dan penyelesaian mandiri.

Hasil optimasi serving

Optimasi serving mengurangi P90 latensi orkestrator dari 3,87 menjadi 2,24 detik. Sementara itu, jejak penggunaan GPU berkurang sekitar sepertiga.

IndikatorPerubahan
P90 latensi orkestrator3,87 → 2,24 detik
Jejak penggunaan GPUTurun sekitar sepertiga
Estimasi biaya tahunan serving model dengan self-hostingTurun lebih dari satu orde magnitudo

Angka-angka ini berkaitan dengan serving, bukan dengan kualitas pemilihan entitas atau tindakan. Kriteria evaluasi: tinjau latensi, jejak komputasi, dan biaya serving secara terpisah dari metrik jawaban.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?
Berita

Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?

Studi ini menguji apakah menyertakan hukum fisika dalam model dinamika yang dapat dilatih memang sepadan: invarian yang diekstrak dari lintasan dan diubah ke bentuk kanonis melalui basis Gröbner hanya sedikit meningkatkan prediksi, tetapi sangat berguna untuk diagnosis—invarian ini dapat membantu menemukan kendala yang dilanggar dan mengidentifikasi parameter spesifik yang keliru.

10 November 2026
AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya
Berita

AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya

Framework ini mengevaluasi perilaku agen LLM bukan berdasarkan keputusan akhir, melainkan respons terhadap risiko di titik-titik penting: rangkaian pemanggilan alat dihentikan, lalu model harus melanjutkan penalaran dan tindakan, sementara panel juri LLM menilai deteksi risiko, karakter, dan keamanan langkah tersebut. Dalam 1.249 tugas yang dikumpulkan dari 157 rangkaian R-Judge, 20 model lebih sering melakukan tindakan tidak aman saat jalur aman tidak tersedia, dan penghapusan pengawasan sebelum eksekusi mengubah 52,3% kasus yang semula aman menjadi tidak aman.

10 November 2026
Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas
Berita

Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas

Artikel ini membahas bagaimana reservoir menyimpan riwayat sinyal masukan secara bersamaan dalam distribusi densitas dan derajat kebebasan geometris. Perbandingan empat mekanisme menunjukkan bahwa arus menciptakan komponen keterhubungan tersendiri yang mengubah respons densitas berikutnya, sementara penggunaan semua fitur yang terukur memberikan sedikit peningkatan dalam dekode urutan pulsa.

10 November 2026
Arsitektur dukungan untuk jutaan percakapan: pemisahan pencarian, tindakan, dan generasi