Arsitektur dukungan untuk jutaan percakapan: pemisahan pencarian, tindakan, dan generasi
Dengan menggunakan layanan pemesanan akomodasi sebagai contoh, para penulis mengulas peralihan dari satu model terpadu ke orkestrator terbatas untuk operasi bertipe dan generator yang mengandalkan konteks terverifikasi; dampak arsitektur dinilai terpisah dari perubahan-perubahan terkait. Dalam dialog yang diputar ulang, ketepatan pemilihan pemesanan meningkat, kesalahan dalam tindakan terstruktur menghilang, dan eskalasi berkurang; optimasi juga menurunkan latensi dan biaya penyajian model, sementara volume pengalihan dialog kepada operator di lingkungan produksi tidak banyak berubah.

Skala dan batas evaluasi
Sistem dukungan untuk marketplace perumahan besar memproses jutaan percakapan per bulan. Sistem ini beroperasi dalam 11 bahasa, dengan P90 yang dilaporkan sebesar 10 detik. Angka-angka ini menggambarkan skala sistem, tetapi tidak menunjukkan dampak dari keputusan arsitektur tertentu.
| Parameter | Nilai |
|---|---|
| Volume | Jutaan percakapan per bulan |
| Bahasa | 11 |
| P90 | 10 detik |
Migrasi ini juga mencakup perubahan pada prompts, alignment, dan serving. Karena itu, penulis mengaitkan dengan arsitektur hanya dampak yang diukur pada percakapan yang direproduksi secara identik.
Kriteria evaluasi: bandingkan arsitektur dengan percakapan masukan yang identik, bukan mengaitkan semua perubahan setelah migrasi dengannya.
Bagaimana pencarian, tindakan, dan generasi dipisahkan
Dynamic Response (DR) menggantikan Qwen3-235B-A22B yang menangani berbagai jenis respons dengan orkestrator ReAct terbatas yang menggunakan alat bertipe dan generator yang lebih kecil. Generator menyusun jawaban berdasarkan kontrak konteks yang telah diverifikasi oleh sistem backend.

| Bagian sistem | Peran |
|---|---|
| Pencarian | Pemilihan entitas bertipe, termasuk pemilihan pemesanan |
| Tindakan | ID tindakan bertipe dan pemeriksaan kepemilikan |
| Generasi | Jawaban berdasarkan kontrak konteks yang telah diverifikasi oleh sistem backend |
| Orkestrasi | Orkestrator ReAct terbatas yang menggunakan alat bertipe |
Pemisahan ini membedakan pemilihan entitas dan tindakan dari perumusan jawaban. Kriteria pemilihan: arsitektur ini cocok ketika sistem memerlukan operasi yang dapat diverifikasi, bukan hanya satu generator jawaban.
Apa yang berubah dalam pemilihan entitas dan tindakan
Pemilihan entitas bertipe mengarahkan selector pemesanan untuk memprioritaskan presisi. Presisi meningkat, sementara kelengkapan menurun. Pemeriksaan kepemilikan ID bertipe menghilangkan kesalahan yang teramati dalam tindakan terstruktur.
| Metrik | Sebelum | Sesudah |
|---|---|---|
| Presisi pemilihan pemesanan | 8,3% | 89,1% |
| Kelengkapan pemilihan pemesanan | 75,2% | 67,3% |
| Halusinasi tindakan terstruktur yang teramati | 2,14% | 0,0% |
Hasilnya menunjukkan kompromi antara presisi dan kelengkapan pemilihan. Kriteria pemilihan: pendekatan ini sesuai ketika menghindari pemilihan yang keliru lebih penting daripada mempertahankan tingkat kelengkapan sebelumnya.
Cara mengevaluasi eskalasi dan penyelesaian mandiri
Uji A/B tingkat rendah mereproduksi penurunan eskalasi dalam replay. Namun, volume pengalihan ke operator dalam produksi tetap relatif stabil.
| Indikator | Sebelum | Sesudah |
|---|---|---|
| Jawaban dengan eskalasi langsung | 5,60% | 3,08% |
| Jawaban dengan eskalasi lunak | 9,56% | 2,49% |
| Penyelesaian mandiri | — | Tren terarah: +5,1 poin persentase; CI 95%: dari −2 hingga +12 |
Penurunan eskalasi tidak disertai penurunan volume pengalihan ke operator yang sebanding. Penulis menggambarkan penyelesaian mandiri sebagai hasil yang menunjukkan tren, bukan peningkatan yang telah dipastikan secara meyakinkan.
Kriteria evaluasi: pantau secara terpisah jawaban yang melibatkan eskalasi, pengalihan aktual ke operator, dan penyelesaian mandiri.
Hasil optimasi serving
Optimasi serving mengurangi P90 latensi orkestrator dari 3,87 menjadi 2,24 detik. Sementara itu, jejak penggunaan GPU berkurang sekitar sepertiga.
| Indikator | Perubahan |
|---|---|
| P90 latensi orkestrator | 3,87 → 2,24 detik |
| Jejak penggunaan GPU | Turun sekitar sepertiga |
| Estimasi biaya tahunan serving model dengan self-hosting | Turun lebih dari satu orde magnitudo |
Angka-angka ini berkaitan dengan serving, bukan dengan kualitas pemilihan entitas atau tindakan. Kriteria evaluasi: tinjau latensi, jejak komputasi, dan biaya serving secara terpisah dari metrik jawaban.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?
Studi ini menguji apakah menyertakan hukum fisika dalam model dinamika yang dapat dilatih memang sepadan: invarian yang diekstrak dari lintasan dan diubah ke bentuk kanonis melalui basis Gröbner hanya sedikit meningkatkan prediksi, tetapi sangat berguna untuk diagnosis—invarian ini dapat membantu menemukan kendala yang dilanggar dan mengidentifikasi parameter spesifik yang keliru.
10 November 2026
AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya
Framework ini mengevaluasi perilaku agen LLM bukan berdasarkan keputusan akhir, melainkan respons terhadap risiko di titik-titik penting: rangkaian pemanggilan alat dihentikan, lalu model harus melanjutkan penalaran dan tindakan, sementara panel juri LLM menilai deteksi risiko, karakter, dan keamanan langkah tersebut. Dalam 1.249 tugas yang dikumpulkan dari 157 rangkaian R-Judge, 20 model lebih sering melakukan tindakan tidak aman saat jalur aman tidak tersedia, dan penghapusan pengawasan sebelum eksekusi mengubah 52,3% kasus yang semula aman menjadi tidak aman.
10 November 2026
Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas
Artikel ini membahas bagaimana reservoir menyimpan riwayat sinyal masukan secara bersamaan dalam distribusi densitas dan derajat kebebasan geometris. Perbandingan empat mekanisme menunjukkan bahwa arus menciptakan komponen keterhubungan tersendiri yang mengubah respons densitas berikutnya, sementara penggunaan semua fitur yang terukur memberikan sedikit peningkatan dalam dekode urutan pulsa.
10 November 2026