Game Arena menambahkan "Werewolf" dan poker
Google DeepMind dan permainan Kaggle 's Arena pengujian telah mencapai level baru: dua permainan tidak konvensional - "Werewolf" dan poker - telah ditambahkan ke catur akrab. Ini bukan hanya hiburan, tapi upaya untuk membawa evaluasi AI lebih dekat dengan skenario dunia nyata, di mana tidak hanya penting komputasi, tetapi juga perilaku dalam lingkungan sosial.
Catur tetap standar emas untuk menguji logika dan pemikiran strategis. "Werewolf", di sisi lain, adalah tentang sesuatu yang lain sama sekali. Di sini, model perlu mendeteksi penipuan, memantau perilaku pemain lain, dan membangun kepercayaan. Poker menambahkan elemen kompleks lain - keputusan - membuat di bawah informasi yang tidak lengkap, di mana beberapa data tersembunyi dan risiko harus dihitung pada terbang.
Sekarang pengembang memiliki ruang terpadu di mana mereka dapat membandingkan berbagai macam kemampuan Al kognitif - dari matematika murni ke kecerdasan emosional.
Apa sebenarnya tes baru cek
Setiap permainan di platform bertanggung jawab untuk satu set keterampilan tertentu. Logika, interaksi sosial, manajemen risiko - semua ini dapat dinilai dalam format terpadu dan digunakan untuk membandingkan model satu sama lain.
- Catur - Menguji kemampuan untuk membangun rencana jangka panjang dan menghitung variasi.
- Werewolf. - menilai kecerdasan sosial: yang berbohong, yang mengatakan kebenaran, dan apakah manipulator dapat diidentifikasi.
- Poker - bekerja dengan informasi yang tidak lengkap, memperkirakan probabilitas, dan mengelola risiko.
Dikatakan bahwa "Werewolf" telah terbukti menjadi lingkungan yang nyaman untuk mempelajari keamanan AI. Dalam pengaturan virtual yang aman, model belajar untuk melihat manipulasi dan menolaknya. Ini adalah langkah penting untuk memastikan masa depan sistem tidak jatuh untuk trik berbahaya dalam real-world skenario percakapan.
Gemini 3 Pro dan Flash - pemimpin di semua kategori
Setelah memperluas platform, pengembang segera diperbarui peringkat. Model Google - Gemini 3 Pro dan Gemini 3 Flash - mengambil tempat atas di semua disiplin permainan. Ini menunjukkan mereka menggabungkan logika, pemahaman sosial, dan kemampuan untuk bekerja dengan ketidakpastian dengan cara yang seimbang.
Google DeepMind CEO Demis Hassabi percaya bahwa stanchmarks klasik tidak lagi menyediakan gambaran lengkap kemampuan AI modern. Lebih ketat dan beragam tantangan diperlukan yang tempat model dalam kompleks, kehidupan-seperti kondisi. Permainan - berdasarkan tes seperti Arena adalah salah satu alat tersebut.
Keberhasilan Gemini 3 Pro dan Flash ditengah tantangan baru adalah pertanda baik. Ini berarti pendekatan Google untuk melatih model, dengan penekanan tidak hanya pada pengetahuan tetapi juga pada skenario perilaku, adalah memberikan hasil. Masih harus dilihat apakah pesaing dapat naik ke tantangan ini dalam putaran berikutnya turnamen permainan.
