Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian
Artikel ini merangkum hasil pengujian alat yang menulis ulang teks hasil generasi agar terdengar lebih alami. Setelah diproses, kemungkinan terdeteksi menurun secara signifikan, sementara positif palsu yang masih muncul membuat hasil detektor tidak dapat dianggap sebagai bukti.

Bagaimana parafrasa mengubah teks dan sinyal detektor
Konten AI yang dibuat lebih manusiawi adalah teks yang dihasilkan mesin dan diparafrasakan agar terdengar lebih alami. Alat mengubah pilihan kata, panjang kalimat, dan nada. Beberapa alat menambahkan ritme yang tidak teratur atau menulis ulang teks berkali-kali. Perubahan seperti ini mengubah sinyal yang digunakan detektor: keterdugaan kata dan variasi panjang kalimat.
- pilihan kata;
- panjang kalimat;
- nada;
- ritme yang tidak teratur;
- penulisan ulang berkali-kali.
Kesimpulan: parafrasa mengubah ciri-ciri yang digunakan detektor untuk membedakan teks buatan mesin.
Hasil uji coba terhadap teks yang diparafrasakan
Uji coba ini memeriksa apakah detektor tetap andal setelah teks diparafrasakan. Penelitian tahun 2025 mencakup 19 alat untuk memanusiakan dan memparafrasakan teks.
| Uji coba | Hasil |
|---|---|
| Penelitian tahun 2025, 19 alat | Banyak detektor gagal mengenali teks yang dibuat lebih manusiawi. |
| Google Research | Model parafrasa mempertahankan makna dan sebagian besar berhasil menghindari deteksi. |
| Parafrasa ChatGPT menggunakan QuillBot | Akurasi detektor pada teks ChatGPT turun menjadi 49%. |
| Uji coba lain | Parafrasa ChatGPT berhasil mengelabui setiap detektor setidaknya dalam separuh kasus. |
| Stanford, bahasa literer | Deteksi teks AI turun dari 100% menjadi 13% ketika ChatGPT diminta menggunakan bahasa yang lebih literer. |
Kesimpulan: detektor memiliki ketahanan yang rendah terhadap teks buatan mesin yang diparafrasakan.
Hal yang dideteksi oleh detektor dalam teks
Detektor mengandalkan ciri-ciri yang tidak selalu berkaitan dengan teks yang dihasilkan mesin. Peneliti Carnegie Mellon menemukan bahwa teks dari model dasar sering dianggap ditulis manusia oleh GPTZero dan Pangram. Namun, teks dari model yang disesuaikan agar mengikuti instruksi tidak dianggap demikian. Tim tersebut menilai bahwa detektor lebih banyak melacak jejak pelatihan model daripada ciri andal dari tulisan buatan mesin.
- model dasar: teksnya sering dianggap ditulis manusia oleh GPTZero dan Pangram;
- model yang disesuaikan agar mengikuti instruksi: teksnya tidak dianggap demikian;
- kesimpulan tim: detektor melacak jejak pelatihan.

Stanford menguji tujuh detektor pada 91 esai karya penulis yang bahasa Inggrisnya bukan bahasa ibu. Rata-rata tingkat positif palsu mencapai 61,3%. Lebih dari 91% esai ditandai oleh setidaknya satu alat. Esai karya penulis yang bahasa Inggrisnya merupakan bahasa ibu memperoleh angka yang mendekati nol. Para peneliti mengaitkan perbedaan ini dengan pilihan kata yang sederhana dan mudah ditebak, yang dianggap detektor sebagai teks buatan mesin.
Kesimpulan: sinyal detektor tidak membuktikan bahwa teks dibuat oleh mesin, sehingga penilaian memerlukan konteks.
Akurasi yang diklaim dan batasan di dunia nyata
Uji coba independen dan uji coba dari pembuat alat menghasilkan penilaian akurasi yang berbeda. Kondisi pengujian memengaruhi hasil.
- Tinjauan terhadap uji coba independen: akurasi Turnitin, GPTZero, dan Originality.ai berkisar antara 70%–85%. Alat-alat ini masih bermasalah dengan positif palsu.
- Turnitin mengklaim akurasi 98% dan tingkat positif palsu kurang dari 1%. Klaim ini hanya berlaku untuk dokumen yang lebih dari 20% teksnya dibuat oleh AI.
- OpenAI menutup pengklasifikasi miliknya pada Juli 2023. Pengklasifikasi itu hanya mendeteksi 26% teks yang dibuat oleh AI.
- Penulis penelitian tahun 2025 melatih model menggunakan sampel teks yang dibuat lebih manusiawi. Model tersebut mendeteksi teks yang dibuat lebih manusiawi dengan tingkat positif palsu yang rendah. Kinerjanya tetap efektif saat ada upaya untuk mengelabui model. Hasil ini diperoleh oleh pembuat model itu sendiri; pengujian independen masih diperlukan.
Kesimpulan: akurasi yang diklaim bergantung pada kondisi pengujian, sementara uji coba independen menunjukkan batas kemampuan deteksi.
Penilaian praktis terhadap detektor
Para ahli menyarankan agar penilaian detektor dianggap sebagai petunjuk, bukan bukti. Untuk melakukan verifikasi, Anda dapat memeriksa riwayat draf, mengajukan pertanyaan lisan singkat, dan membandingkan teks dengan tugas yang dikerjakan di kelas. Para ahli menyarankan penulis dan penerbit untuk meminta sumber, wawancara, dan data orisinal.
- riwayat draf;
- pertanyaan lisan singkat;
- perbandingan dengan tugas yang dikerjakan di kelas;
- sumber, wawancara, dan data orisinal untuk penulis dan penerbit.
Kriteria praktis: detektor berfungsi sebagai sinyal untuk melakukan pemeriksaan lebih lanjut, bukan sebagai satu-satunya dasar untuk mengambil kesimpulan.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal
Diperkenalkan FedSocket—pendekatan yang mengharuskan model yang dipertukarkan dapat dijalankan di sisi penerima, sementara model-model privat yang heterogen dihubungkan oleh antarmuka prediksi bersama Q. Artikel ini menjelaskan agregasi berbasis keanggotaan, pengiriman hanya parameter Q beserta penghitung, serta eksperimen pada enam dataset yang menunjukkan peningkatan akurasi saat modalitas tidak tersedia dan keunggulan inferensi Joint dibandingkan ensemble independen.
13 November 2026
CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis
Benchmark ini menempatkan dua agen dalam sandbox dengan layanan yang terus berubah, lalu merangkum tindakan mereka dalam serangkaian putaran menjadi skor multidimensi untuk kemampuan menyerang dan bertahan. Dalam 466 pertandingan dengan 12 model mutakhir, benchmark ini membedakan kemampuan yang tak terungkap dalam pengujian satu arah yang sudah mencapai batas atas, termasuk perencanaan beberapa langkah ke depan dan pembuatan backdoor.
13 November 2026
Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D
Metode yang diusulkan menerima instruksi teks baru bahkan saat sintesis berlangsung dan memungkinkan penentuan rentang aksi yang saling tumpang tindih secara independen. Koordinasi gerakan serentak pada berbagai bagian tubuh dijamin melalui pengondisian interval dan prosedur denoising yang mempertimbangkan bagian tubuh; pada TimelineMotion dan MTT, penulis melaporkan kesesuaian yang lebih baik terhadap semantik dan batasan waktu dibandingkan solusi streaming dasar.
12 November 2026