37 bahan
Benchmark terbaru menawarkan 100 skenario tanya-jawab dalam bahasa Inggris dan Arab, yang dibangun di sekitar data nyata operator: situs web, basis data SQL, dan arsip web. Pengujian pada 12 model menunjukkan bahwa bahkan model terbaik hanya menyelesaikan 71% tugas, dan pada kategori visual hasilnya turun di bawah 30%.
Para peneliti mengusulkan pendekatan yang mengevaluasi model bukan berdasarkan volume pengetahuan atau terlepas dari realitas, melainkan melalui tugas-tugas yang menuntut penalaran, kontrol konteks, dan pengerjaan dengan batasan secara bersamaan. Tolok ukur ini mencakup 820 tugas orisinal, dan para penulisnya juga meneliti bagaimana pengaturan "refleksi" dan parameter model lainnya memengaruhi hasil.
Para peneliti mengungkap ketimpangan lintas bahasa yang serius dalam keamanan model bahasa besar: penyelarasannya sebagian besar disetel ke bahasa Inggris, sehingga pada bahasa lain model lebih mudah melewati batasan dan mereproduksi prasangka berbahaya. Tolok ukur baru INCLUDE, yang diuji pada sepuluh model dan enam bahasa India, menunjukkan bahwa tingkat bias berbeda secara signifikan tergantung pada bahasa dan jenis model.
Para penulis mengusulkan prototipe sistem pendukung keputusan yang menganalisis enam indikator dari log penerbangan dan mengubahnya menjadi indeks metamorfik kondisi baling-baling. Dalam eksperimen retrospektif pada data DronePropA, sistem ini berhasil memisahkan kasus sehat dari tiga tingkat kerusakan dan memberi petunjuk kapan inspeksi atau perawatan diperlukan.
Kepala Stripe menyebut kesepakatan ini sebagai langkah menuju singularitas, namun motif sebenarnya jauh lebih membumi: melalui router model, perusahaan mendapatkan akses ke anggaran AI para pengembang dan pusat arus kas baru.
Penulis menawarkan audit tanpa ambang batas terhadap model open-weight berdasarkan sepasang sinyal yang saling melengkapi di dalam artefak. Dalam pengujian pada 273 checkpoint, metode ini mencapai AUROC 0,95, tetapi tetap menjadi triase, bukan perlindungan dari penghindaran yang disengaja.
Para peneliti mengumpulkan lebih dari 11 ribu pengujian berbasis properti dari proyek Python nyata dan secara otomatis mengubahnya menjadi ribuan spesifikasi formal Lean 4. Tolok ukur terbuka yang dihasilkan memungkinkan evaluasi seberapa baik model dan agen menangani verifikasi kode nyata.
Serikat pramugari dan aktivis hak asasi manusia khawatir dengan kesepakatan di mana Google membeli dalam lelang sejumlah besar dokumen kerja Spirit Airlines — mulai dari data gaji hingga korespondensi perusahaan. Mereka khawatir bahwa deidentifikasi tidak akan melindungi karyawan dari pengungkapan ulang informasi pribadi mereka saat data digunakan untuk melatih AI.
Seiring meningkatnya otonomi agen LLM dalam ilmu data, antarmuka standar tidak memberikan gambaran yang jelas tentang penalaran sistem dan kemampuan untuk campur tangan tepat waktu. AdaLens memvisualisasikan proses analitis sebagai alur cerita: rencana, progres, dan hasil antara terlihat, dan analis dapat mengarahkan ulang jalannya pekerjaan.
