Mengapa industri AI kekurangan riset kesejahteraan yang ketat dan apa yang diubah oleh dana hibah baru
Ketika kita berbicara tentang keamanan AI, biasanya yang terbayang adalah pengujian toksisitas, konten terlarang, atau kebocoran data. Namun semakin sering, model tidak hanya menjadi alat, tetapi juga teman bicara: orang-orang datang untuk meminta nasihat, dukungan, bahkan di saat krisis emosional. Sementara itu, industri hingga kini belum memiliki standar yang jelas tentang bagaimana asisten harus bersikap dalam percakapan semacam itu. Salah satu alasannya — menilai "kesejahteraan" jauh lebih sulit daripada sekadar memeriksa apakah model melanggar aturan teknis.
Evaluasi klasik terhadap perilaku model biasanya disusun sederhana: beri permintaan — lihat respons — cocokkan dengan ekspektasi. Untuk kesejahteraan, itu tidak cukup. Kesesuaian sebuah tanggapan bergantung pada apa yang dikatakan sebelumnya dan siapa yang bertanya. Nasihat yang sama tentang pola makan dan olahraga mungkin tidak berbahaya bagi pengguna biasa, tetapi berbahaya bagi seseorang dengan gangguan makan. Konteks seperti itu tidak mungkin terlihat dalam satu pengujian tunggal — konteks itu hanya bisa diamati dalam dialog panjang yang multi-langkah.
Mengapa riset yang ketat masih sangat sedikit?
Tidak adanya standar bukanlah sebuah kebetulan. Mengukur dampak AI terhadap kondisi psikologis dihadapkan pada kesulitan fundamental. Pertama, sulit untuk menentukan apa yang dianggap sebagai "hasil yang baik": dalam percakapan singkat, model mungkin tampak sopan, tetapi persetujuan yang berlebihan dapat memperkuat keyakinan yang berbahaya. Kedua, kehati-hatian yang berlebihan juga tidak kalah berisiko: jika model menolak untuk membahas topik-topik sensitif apa pun, model itu hanya membiarkan orang tersebut tanpa bantuan.
Industri belum mengembangkan metodologi yang diterima secara umum yang dapat memisahkan evaluasi yang benar-benar ketat dari sekadar tiruan. Sering kali riset terbatas pada skenario sederhana yang tidak mencerminkan penggunaan nyata. Karena itu, karya yang melibatkan psikolog klinis, menggunakan dialog realistis, dan menguji tidak hanya "jawaban yang benar" tetapi juga potensi bahaya dari pengujian itu sendiri sangat dihargai di industri ini.
Dana hibah baru senilai $5 juta
Pada akhir Agustus 2026, Anthropic mengumumkan peluncuran program hibah senilai $5 juta untuk riset independen tentang dampak AI terhadap kesejahteraan pengguna. Idenya adalah memberi tim eksternal tidak hanya uang, tetapi juga alat nyata: akses ke model perusahaan dan dukungan teknis. Syarat utamanya — independensi penuh: hasilnya dipublikasikan sebagai open-source, dan pengembang mana pun dapat memanfaatkannya.
Pendekatan ini tidak biasa karena dua alasan. Biasanya, laboratorium komersial lebih memilih riset internal untuk mengendalikan kesimpulan. Di sini, sebaliknya, Anthropic secara terbuka mengakui bahwa mereka tidak memiliki semua jawaban dan menyerahkan sebagian agenda kepada para ahli independen. Program ini juga mencakup publikasi panduan dari tim Safeguards tentang cara membuat evaluasi kesejahteraan cukup ketat dan kesalahan tipikal apa yang membuat riset semacam itu menjadi tidak berguna.
Apa yang membuat evaluasi kesejahteraan benar-benar berkualitas?
Untuk programnya, Anthropic merumuskan beberapa kriteria yang akan digunakan untuk menyeleksi proyek. Jika diringkas menjadi sebuah daftar, ada lima persyaratan:
- Kejelasan metrik. Peneliti harus menjelaskan terlebih dahulu apa yang mereka anggap sebagai "lulus" atau "gagal" dan mengapa hal itu penting bagi kesejahteraan.
- Keterlibatan ahli yang relevan. Psikolog klinis dan spesialis lainnya harus dilibatkan bukan sekadar formalitas, melainkan pada tahap desain dan validasi.
- Pengujian tindakan pencegahan dan bahaya. Yang perlu dinilai bukan hanya risiko respons yang terlalu berani, tetapi juga risiko penolakan yang berlebihan.
- Skenario realistis. Dianjurkan untuk menggunakan dialog multi-langkah di mana konteks berubah dan risiko meningkat secara bertahap.
- Validasi penilai. Jika model AI dilibatkan untuk mengevaluasi respons, keputusan mereka harus dibandingkan dengan keputusan para ahli sungguhan.
Poin-poin ini — pada dasarnya, sebuah daftar periksa yang seharusnya sudah lama bisa diterapkan industri untuk bidang keamanan lainnya. Poin-poin ini menunjukkan bahwa satu "jawaban yang baik" saja tidak cukup: yang penting adalah proses, keterukuran, dan pengujian pada manusia nyata.
Lamaran diterima hingga 21 September, dan hingga 5 Oktober Anthropic berencana memberi tahu tim terpilih, yang akan diminta menyiapkan proposal lengkap. Mengingat tenggat waktu, program ini sejak sekarang sudah mendorong para peneliti untuk beralih dari diskusi umum tentang kesejahteraan ke praktik konkret yang terukur.
Apa artinya ini bagi industri
Mungkin sinyal terpenting di sini adalah pengakuan bahwa kesejahteraan tidak bisa dinilai sendirian, di dalam satu laboratorium. Anthropic tidak hanya mengucurkan dana, tetapi juga membangun infrastruktur untuk kerja sama: evaluasi terbuka, standar bersama, dan metodologi publik. Bagi pasar, ini berarti munculnya materi referensi yang bisa menjadi acuan bagi perusahaan lain.
Tentu saja, dana hibah tidak akan menyelesaikan masalah secara langsung: masih ada pekerjaan panjang untuk memvalidasi metodologi dan mengumpulkan bukti. Tetapi dana ini menetapkan arah penting: alih-alih berdebat tentang jawaban mana yang benar, para peneliti mulai menyepakati bagaimana mengukur dampak AI terhadap manusia. Dan justru fondasi inilah yang akan memungkinkan pembangunan sistem yang lebih aman di masa depan.
