Penyuntingan presentasi sebagai operasi terkontrol: kerangka kerja EditPPT dan benchmark DeckEdit-Bench
Para penulis membahas pengeditan slide berdasarkan objek tertentu, tindakan yang diizinkan, dan pemeriksaan bahwa konten yang tidak terkait tetap tidak tersentuh, alih-alih menghasilkan kode secara bebas. Untuk mengukur kualitas, mereka membuat DeckEdit-Bench (183 tugas pada 28 presentasi buatan manusia), dan skema multiagen EditPPT pada lima model dasar menunjukkan tingkat keberhasilan 66,7–74,9% tugas dengan tingkat keutuhan di atas 97%.

Mengedit slide sebagai operasi yang dibatasi
Pengeditan slide yang andal memerlukan perubahan yang tepat pada objek yang ditentukan sekaligus mempertahankan bagian lain dari presentasi. Para penulis penelitian mengusulkan agar pengeditan dipandang sebagai perubahan terstruktur yang dibatasi. Pembuatan kode tanpa batasan memberi model kebebasan, tetapi tidak menjamin elemen di sekitarnya tetap terjaga.
Permintaan pengeditan diuraikan menjadi tiga bagian:
- objek yang perlu diubah;
- operasi yang diterapkan pada objek tersebut;
- keadaan presentasi yang perlu dipertahankan.
Uraian ini menetapkan batas tugas sebelum pelaksanaan. Model tidak menerima perintah umum seperti «perbaiki slide», melainkan serangkaian sasaran dan batasan yang spesifik. Hal ini mengurangi risiko perubahan yang tidak disengaja.
Kriteria praktis: sebelum mengedit, tetapkan secara eksplisit objek sasaran, operasi, dan keadaan yang harus dipertahankan. Tanpa itu, tidak mungkin memeriksa apakah instruksi telah dijalankan dan apakah bentuk-bentuk lain yang tidak terkait ikut terpengaruh.
Bagaimana DeckEdit-Bench membedakan perubahan yang disengaja dan tidak disengaja
Untuk evaluasi, para penulis membuat DeckEdit-Bench. Benchmark ini mencakup 183 tugas pengeditan pada 28 presentasi buatan manusia. Objek sasaran dan objek yang harus dipertahankan diberi anotasi pada tingkat bentuk. Perubahan yang disengaja dan tidak disengaja dievaluasi terutama dengan aturan deterministik.
Benchmark ini mencatat dua jenis perubahan: disengaja dan tidak disengaja. Pemisahan ini memungkinkan pemeriksaan tidak hanya terhadap hasil pengeditan, tetapi juga terhadap efek sampingnya.

Rancangan evaluasinya dapat digambarkan sebagai berikut:
| Apa yang dievaluasi | Rancangan evaluasi |
|---|---|
| Kumpulan tugas | 183 tugas pada 28 presentasi buatan manusia |
| Anotasi | objek sasaran dan objek yang harus dipertahankan pada tingkat bentuk |
| Perubahan | disengaja dan tidak disengaja, terutama dengan aturan deterministik |
Benchmark ini memeriksa dua hasil sekaligus: apakah instruksi telah dijalankan dan apakah objek yang perlu dipertahankan tetap terjaga. Pendekatan ini membedakan pengeditan yang bermanfaat dari perubahan yang menjadi efek samping. Kriteria praktis: evaluasi pengeditan harus mencakup pemeriksaan pelestarian, bukan hanya memastikan objek sasaran telah diubah.
Rancangan EditPPT: agen, alat, dan pemeriksaan
EditPPT adalah kerangka kerja multiagen. Kerangka ini menentukan objek sasaran sebelum pengeditan. Setiap agen khusus dibatasi pada subset dari 37 alat yang telah ditentukan sebelumnya. Setelah proses selesai, kerangka kerja memeriksa apakah instruksi telah dijalankan dan objek yang perlu dipertahankan tetap terjaga. Perubahan yang gagal diperbaiki atau dibatalkan.
Tahapan kerja:
- Menentukan objek sasaran sebelum pengeditan.
- Membatasi agen khusus pada subset dari 37 alat yang telah ditentukan sebelumnya.
- Memeriksa pelaksanaan instruksi dan pelestarian objek yang perlu dipertahankan.
- Memperbaiki atau membatalkan perubahan yang gagal.
Pembatasan kumpulan alat mempersempit ruang tindakan agen. Pemeriksaan dan pembatalan menambahkan kontrol setelah pelaksanaan. Kriteria praktis: pengeditan yang andal tidak hanya membutuhkan model, tetapi juga batasan dalam pelaksanaan perubahan.
Hasil pada lima model dasar
Pada lima model dasar, EditPPT mencapai Task Success sebesar 66.7–74.9%. Sementara itu, Preservation tetap di atas 97%. Hasil ini menunjukkan bahwa kerangka kerja tersebut menjaga presentasi tetap utuh saat menjalankan tugas pengeditan.
Dengan model terbuka 27B yang tidak dilatih lebih lanjut pada tugas tertentu, Task Success EditPPT mendekati Claude Code with Sonnet 5. Namun, EditPPT lebih baik dalam mempertahankan presentasi asli. Perbandingan ini penting karena model terbuka tersebut tidak dilatih lebih lanjut pada tugas tertentu.
| Kondisi | Task Success | Preservation |
|---|---|---|
| Lima model dasar dengan EditPPT | 66.7–74.9% | di atas 97% |
| Model terbuka 27B yang tidak dilatih lebih lanjut dengan EditPPT | mendekati Claude Code with Sonnet 5 | lebih baik dalam mempertahankan presentasi asli |
Para penulis menyimpulkan bahwa keandalan pengeditan slide tidak hanya bergantung pada skala model, tetapi juga pada batasan dalam pelaksanaan perubahan. Kriteria praktis: saat memilih pendekatan, pertimbangkan mekanisme pembatasan dan pemeriksaannya, bukan hanya ukuran model.
Kriteria praktis untuk mengedit presentasi
Kerangka kerja dan benchmark ini memberikan serangkaian kriteria untuk mengatur proses pengeditan. Kriteria tersebut tidak mengharuskan pembuatan kode tanpa batasan dan bertumpu pada batasan yang eksplisit.
Kriteria:
- objek sasaran ditentukan sebelum pengeditan dimulai;
- objek yang harus dipertahankan dicatat secara terpisah;
- agen bekerja dengan kumpulan alat yang terbatas;
- hasil diperiksa untuk memastikan instruksi telah dijalankan;
- pelestarian presentasi diperiksa secara terpisah;
- perubahan yang gagal diperbaiki atau dibatalkan.
Kriteria ini dapat digunakan baik untuk mengevaluasi alat maupun untuk menyusun proses. Kesimpulan utama: keandalan pengeditan bergantung pada operasi yang terkendali dan pemeriksaan pelestarian. Skala model penting, tetapi tidak menggantikan batasan dalam pelaksanaan perubahan.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM
Karya ini mengulas asimetri biaya dalam pencarian bug oleh agen: menghasilkan kandidat itu murah, sedangkan mengonfirmasinya melalui analisis keterjangkauan, eksekusi, dan PoC membutuhkan sebagian besar anggaran, sehingga verifikasi dapat dijadikan sasaran pertahanan tersendiri. RedHerring yang diusulkan—umpan yang disesuaikan dengan repositori dan dilengkapi sertifikat tertutup—mengurangi jumlah kerentanan nyata yang ditemukan sebesar 38,7–60,4% dengan biaya yang sama di 33 proyek OSS-Fuzz; bahkan setelah agen diperingatkan, penurunannya tetap mencapai 37,2%.
9 November 2026
Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning
Penelitian ini menguji apakah LLM dapat memanfaatkan keterampilan simbolik dasar—menyusun basis data SQL dari dokumen sumber—untuk melakukan grounding ke sumber tanpa supervisi dalam deteksi halusinasi. Pada RAGTruth dan DiaHalu, pipeline neuro-simbolik ini lebih akurat daripada prediksi langsung dan sebanding dengan metode mutakhir, tanpa memerlukan fine-tuning khusus domain.
9 November 2026
MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin
Kumpulan tugas diagnostik dari 13 bidang matematika tingkat universitas dan pascasarjana ini mengevaluasi sistem pembuktian otomatis di Lean 4 tidak hanya berdasarkan hasil akhir, tetapi juga penguasaan materi, kualitas penalaran informal, dan ketahanan terhadap perumusan ulang soal. Analisis per komponen menunjukkan bahwa menerjemahkan soal ke dalam bentuk formal masih menjadi kendala utama, sementara tingkat keberhasilan sangat bergantung pada bidang matematika dan cara soal dirumuskan.
9 November 2026