HyCO: Peralihan dari pencarian RL ke penyelesaian berbasis difusi dalam optimisasi kombinatorial

9 Oktober 20263 tampilan

Diusulkan algoritme inferensi hibrida yang terlebih dahulu membangun prefiks solusi dengan metode pembelajaran penguatan, lalu menyerahkan sisanya kepada model difusi bersyarat berdasarkan sinyal adaptif; analisis teoretis menunjukkan bahwa skema ini mengurangi penyesalan yang diharapkan dibandingkan masing-masing strategi dasar, sementara momen peralihan dapat diperkirakan melalui entropi kebijakan dan perbedaan prediksi. Eksperimen pada berbagai tolok ukur mengonfirmasi keunggulan yang konsisten dan efektivitas pemicu adaptif.

HyCO: Peralihan dari pencarian RL ke penyelesaian berbasis difusi dalam optimisasi kombinatorial

Inti HyCO

HyCO — Hybrid Neural Solver for Combinatorial Optimization. Metode ini membangun prefiks solusi menggunakan solver RL. Kemudian, metode ini beralih secara adaptif ke model difusi kondisional. Model tersebut melengkapi solusi yang tersisa. Pendekatan hibrida ini menyelesaikan masalah optimisasi kombinatorial neural. Tujuannya adalah menggabungkan keunggulan dua kelas solver.

Karya ini tersedia sebagai arXiv:2609.07990. Penulis: Yuheng Li, Di Yang, Haipeng Chen, Yanhai Xiong. Pracetak ini termasuk dalam cs.LG dan cs.AI. Penulis mengirimkan versi v1 pada 7 Sep 2026. Informasi ini membantu menemukan sumber asli dan memeriksa detailnya.

Makna praktisnya: HyCO tidak mengganti satu solver dengan solver lain, melainkan mengatur peralihan di antara keduanya.

Kelemahan strategi tunggal

Solver RL sekuensial dan solver DM global menunjukkan pola kegagalan yang saling melengkapi. Hal ini terlihat pada regret optimisasi.

Kelas solverKeunggulanKelemahan
Sequential RLRegret marginal yang rendah pada tahap awal pembangunanKesalahan terakumulasi sepanjang horizon; regret tumbuh secara superlinear
Global DMMenghindari akumulasi sepanjang horizonRegret linear atau sublinear terhadap dimensi subruang tersisa yang belum diselesaikan

Kesimpulan: kegagalan keduanya tidak sama. RL unggul di awal, tetapi terdampak oleh horizon. DM tidak mengakumulasi kesalahan sepanjang horizon, tetapi harus membayar akibat besarnya masalah yang tersisa. Hibridisasi memanfaatkan perbedaan ini.

Kerangka teoretis peralihan

Penulis membangun kerangka teoretis terpadu untuk penskalaan kesalahan. Dengan asumsi eksplisit tentang penskalaan kesalahan, kerangka ini membuktikan dua hal.

  • Struktur hibrida menghasilkan regret ekspektasian yang secara ketat lebih rendah daripada masing-masing dari dua skema dasar.
  • Ada satu langkah peralihan optimal yang meminimalkan regret hibrida.

Penulis menentukan langkah optimal pada tingkat regret ekspektasian. Langkah ini tidak dapat dihitung secara langsung untuk lintasan individual. Karena itu, diperlukan pemicu praktis.

Kesimpulan: teori menjelaskan mengapa pendekatan hibrida membantu dan kapan proses alih kendali perlu dimulai. Teori ini tidak memberikan rumus siap pakai untuk setiap lintasan.

Cara kerja pemicu adaptif

HyCO menggunakan pemicu adaptif yang ringan. Pemicu ini menggabungkan entropi kebijakan dan divergensi RL-DM. Sinyal-sinyal ini mendeteksi perubahan rezim pada tingkat lintasan. Sinyal tersebut berfungsi sebagai proksi praktis. Proksi ini diperlukan karena langkah peralihan optimal tidak dapat dihitung untuk lintasan individual.

Pemicu ini mengakhiri prefiks RL. DM kondisional melengkapi solusi yang tersisa. Kriteria praktisnya: pantau entropi kebijakan dan divergensi RL-DM. Sinyal-sinyal ini menunjukkan perubahan rezim dan momen alih kendali. Pemicu ini tetap ringan dan adaptif.

Eksperimen dan kriteria pemilihan

Dalam eksperimen pada beragam tolok ukur, HyCO menghasilkan peningkatan yang konsisten dibandingkan kedua solver dasar. Hasilnya juga mengonfirmasi efektivitas empiris pemicu adaptif.

Kriteria pemilihan praktis: dibutuhkan algoritme inference untuk optimisasi kombinatorial. Algoritme ini menggunakan RL untuk prefiks awal dan DM untuk solusi yang tersisa. Pendekatan hibrida ini mengurangi regret ekspektasian dibandingkan masing-masing skema dasar. HyCO cocok sebagai lapisan peralihan di atas pencarian RL dan pelengkapan dengan difusi. HyCO mengatur peralihan di antara keduanya.

Pertanyaan yang sering ditanyakan

HyCO: Peralihan dari pencarian RL ke penyelesaian berbasis difusi dalam optimisasi kombinatorial