GLM-5.3 tanpa model dasar baru: bagaimana Z.ai memeras pertumbuhan dalam coding dan keamanan siber dari pasca-pelatihan

22 Agustus 202617 tampilan

Pembaruan ini bekerja pada basis 743B yang sama, dan semua peningkatan terkait dengan post-training yang diperluas: tugas-tugas kompleks dengan cakrawala panjang menjadi jauh lebih mudah diakses, dan hasil pada benchmark keamanan meningkat lebih dari yang diharapkan. Sekitar dua minggu lagi sebelum rilis bobot, saat ini model terhubung melalui API, GLM Coding Plan, dan ZCode.

GLM-5.3 tanpa model dasar baru: bagaimana Z.ai memeras pertumbuhan dalam coding dan keamanan siber dari pasca-pelatihan

Perkenalan: tanpa model dasar baru

Ketika versi baru dari model bahasa besar keluar, Anda biasanya akan mengharapkan itu telah dilatih kembali pada data yang lebih besar. Tapi Z.ai mengambil pendekatan yang berbeda: yang dirilis GLM-5.3 berjalan pada model dasar yang sama dengan 743 miliar parameter sebagai GLM-5.2. Semua perbaikan adalah hasil dari penskalaan-up pos-pelatihan. Model ini dijalankan pada lebih banyak lingkungan, jenis baru lingkungan ditambahkan, dan pelatihan berlangsung lebih lama daripada untuk versi sebelumnya. Pada dasarnya, ini adalah percobaan menunjukkan berapa banyak lagi yang bisa diperas dari sebuah arsitektur yang ada dengan task-spesifik tuning yang tepat.

743 miliar parameter adalah model kolosal, dan pra-pelatihan biaya keberuntungan. Past-training secara signifikan lebih murah, meskipun membutuhkan kurasi data yang cermat dan waktu yang lama. Pendekatan ini tidak hanya untuk Z.ai: ini petunjuk bahwa industri memiliki margin keselamatan. Anda tidak selalu harus menghabiskan sumber daya pada pelatihan dari awal - kadang-kadang pintar pos-pelatihan sudah cukup.

Coding: lompatan terbesar

Pada tugas pemrograman, GLM-5.3 membuat terobosan nyata. Pada Terminal- Bench 3.0 benchmark, skor melompat dari 4.6 sampai 28.3 - hampir enam kali lipat perbaikan. Di DeepSWE V1.1, skor naik dari 46.2 sampai 66.9, dan pada Ujian Terakhir Agen (CIRI) - dari 23.8 sampai 28.5. Juga dicatat adalah tes GDPval-AA v2, yang melibatkan 44 profesi: di sini GLM-5.3 skor 1769 poin.

Kode internal Z.ai Bench benchmark menunjukkan peningkatan 50% atas GLM-5.2. Model ini memecahkan 31.4% tugas dengan sekitar 50.000 token keluaran per tugas. Untuk konteks: Claude Opus 4.8 mencapai 29.5% tapi menghabiskan 120.000 token, sedangkan Claude Fable 5 hits 39.5%, meskipun dengan upaya maksimum. Z.ai mencatat bahwa sebuah benchmark pribadi kurang rentan terhadap kontaminasi - sebuah argumen penting, sejak pada data publik GLM-5.3 masih kalah GPT-5.6 Sol dan Fable 5 pada sejumlah evaluasi coding kompleks. Perlu diingat bahwa semua angka disediakan oleh penjual itu sendiri, meskipun dengan pengaturan dokumen, verifikasi independen masih di depan.

Terminal- Bench 3.0 adalah tes di mana model perlu bekerja di terminal, menjalankan perintah, dan menangani file dan lingkungan. Peningkatan hampir enam kali lipat terdengar luar biasa, tapi perlu dicatat ini adalah tugas sintetis, dan resiko kontaminasi tidak dapat dikesampingkan.

Cybersecurity: efek yang tak terduga

Sebuah cerita yang bahkan lebih mengejutkan terungkap dalam keamanan cyber. insinyur Z.ai menambahkan kerentanan deteksi contoh ke data pelatihan dan diharapkan model untuk mendapatkan lebih baik pada penalaran tentang bug individu. Namun, ketika latihan skala, kemampuan mulai menumpuk, dan pada titik tertentu model mulai membentuk koheren, multi- langkah rencana untuk rantai eksploitasi penuh. Hal ini terjadi secara emergently - tanpa secara eksplisit memprogram keterampilan tersebut.

Hasilnya mengesankan. Pada CyberGym, GLM-5.3 skor 84,5% dibandingkan 77,2% untuk GLM-5.2, mengalahkan Mythos 5 (83.8%) dan GPT-6 Sol (83.6%). Pada ExploitBench, tingkat keberhasilan meningkat: dari 24.4% menjadi 54,4%. Tapi di sini Mythos 5 tetap pemimpin di 78,0%. Pada ExploitGym, model memecahkan 105 tugas dalam dua jam dan 130 dalam enam. Angka GLM-5.2 lebih sederhana: 29 dan 39 tugas. Mythos 5 menangani 181 dan 247 tugas, secara terhormat.

Detail yang menarik: semakin dalam tugas dalam rantai exploit, semakin besar keuntungan GLM-5.3 atas versi sebelumnya. Pada saat yang sama, bagaimanapun, kesenjangan dengan model perbatasan tertutup melebar, sehingga terlalu dini untuk berbicara tentang paritas penuh. Angka ExploitBench menggambarkan hal ini dengan baik: meskipun dua kali peningkatan, kesenjangan di balik Mythos 5 tetap signifikan.

Perilaku seperti ini juga menimbulkan kekhawatiran keamanan: jika model dapat merencanakan serangan, distribusi terbuka bisa berisiko. Ini mungkin alasan mengapa bobot tidak diterbitkan segera.

Kemampuan dan pandangan

Saat ini, beban model tidak umum. GLM-5.3 tersedia via Z.ai API, GLM Coding Plan, dan ZCode. Perusahaan berencana untuk membuka bobot sekitar dua minggu setelah peluncuran - mengikuti penilaian keamanan dan model mengeras. Mengingat kemampuannya dalam eksploitasi kerentanan, hati-hati seperti itu cukup masuk akal.

Untuk startup dan organisasi rekayasa berukuran menengah, ini berarti model dapat diintegrasikan sekarang melalui layanan awan. Perusahaan dengan persyaratan residensi data atau pemeriksaan vendor ketat, bagaimanapun, harus menunggu beban untuk muncul - maka akan mungkin untuk menyebarkan model dalam infrastruktur mereka sendiri dan sepenuhnya mengontrol penggunaannya.

Garis bawah: GLM-5.3 adalah contoh yang mencolok tentang bagaimana pos-pelatihan secara signifikan dapat memperkuat model tanpa mengubah arsitektur dasar. Tapi kesimpulan akhir adalah prematur: tes independen dan analisis beban terbuka diperlukan. Hal ini sangat mungkin pendekatan ini akan menjadi tren baru: jika perusahaan-perusahaan lain melihat bahwa perbaikan dapat dicapai dengan cepat dan relatif murah dengan cara ini, siklus pembaruan model akan mempercepat, dan fokus akan beralih dari pelatihan sebelum-besar menjadi sasaran tuning untuk skenario tertentu.

Pertanyaan yang sering ditanyakan

GLM-5.3: Sebuah ulasan dari update Z.ai tanpa satu base- model baru