Selama empat tahun terakhir, pusat gravitasi dalam penelitian AI telah bergeser dari laboratorium universitas ke perusahaan swasta. Para ilmuwan yang menetapkan tren sampai baru-baru ini sekarang menemukan diri mereka bermain catch-up dengan industri. Pada pertemuan terbaru dari Schmidt Sciences AI2050 program - inisiatif oleh Eric dan Wendy Schmidt yang mendukung peneliti akademik - profesor membahas bagaimana untuk bertahan hidup di lanskap baru.
Mengapa ujung potong meninggalkan universitas
Alasan utamanya adalah uang dan akses ke peralatan. Universitas tidak mampu GPU baik untuk pelatihan model bahasa besar atau untuk menjalankan sistem yang paling canggih, sementara laboratorium swasta tidak terburu-buru untuk mengungkapkan cara kerja batin produk mereka. Profesor Nika Haghtalab dari UC Berkeley membandingkan posisi seorang akademik AI dengan seorang ahli biologi yang memiliki kontrol eksklusif atas CRISPR telah diambil oleh perusahaan swasta: Anda dapat mempelajari fenomena, tetapi Anda tidak dapat menyentuh alat.
Jadi apa hasilnya? Para ahli luar dapat mengamati perilaku model besar, tetapi mereka tidak dapat melihat bagaimana mereka dibangun atau apa yang mereka dilatih, apalagi mempengaruhi perkembangan mereka. Permintaan untuk analisis ketat juga datang dengan harga yang mahal: panggilan berulang ke APIs of OpenAI, Anthropic, dan Google meniup anggaran dari departemen rata-rata. Dan dana federal untuk ilmu pengetahuan di AS menyusut, membuat masalah semakin akut.
Strategi bertahan hidup: memilih pertempuran Anda bisa menang
Banyak peneliti sengaja menghindari topik yang mungkin menarik perusahaan teknologi. Profesor Anjali Field dari Johns Hopkins mencoba untuk tidak mengambil tugas bahwa perusahaan mungkin akan menutup dengan sumber daya sendiri. Setelah semua, bisnis berinvestasi hanya dalam apa menghasilkan keuntungan, sementara pertanyaan yang bisa menempatkan perusahaan dalam sebuah cahaya yang tidak menguntungkan pergi tanpa dibahas. Bidang, sebagai contoh, telah menunjukkan bahwa model bahasa memberikan respon yang kurang rinci dan kompleks untuk kueri diutarakan cara perempuan biasanya berbicara.
Bagi mereka yang ingin menggali lebih dalam, ada jalan lain - berpartisipasi dalam program seperti AI2050. Mereka menyediakan dana untuk membeli GPU, dan menurut rekan-rekan, ini bisa dibilang nilai terbesar dari dukungan tersebut. Peneliti lain fokus pada topik yang tidak mungkin menarik perhatian raksasa teknologi - dengan cara ini, mereka dapat mempertahankan kemerdekaan akademik.
Ilmu yang tidak sesuai dengan tren LLM
Tidak semua kelompok akademik bekerja dengan model bahasa yang besar. Beberapa ilmuwan membangun sistem AI khusus untuk analisis data, prakiraan, dan simulasi proses fisik - misalnya, untuk mengatasi masalah perubahan iklim. Hal ini disertai dengan tantangannya sendiri: masyarakat umum menganggap "AI" sebagai energi - lapar chatbot, dan alat-alat ilmiah yang nyata memerlukan banyak penjelasan. Nasib AlphaFold mengatakan: tim Google DeepMind yang menciptakan model Nobel pemenang untuk prediksi protein dibubarkan bulan lalu. Ini adalah sinyal yang bahkan berhasil proyek ilmiah tidak kebal terhadap logika perusahaan.
Masa depan: kurang pesimisme, lebih efisien
Ada juga sinyal yang mengganggu. Selama enam bulan terakhir, model OpenAI telah mengatasi beberapa nyata masalah penelitian dalam matematika - memicu ketakutan bahwa manusia akan segera memiliki tempat yang tersisa dalam matematika murni. Salah satu rekan disebutkan kesehatan mental perjuangan antara rekan matematika. Tapi ilmu empiris jauh lebih tabah: pengumpulan data secara inheren lambat, sehingga otomatisasi sepenuhnya itu tidak mungkin dalam waktu dekat. Selain itu, beberapa akademisi terkemuka baru-baru ini mengambil cuti dari universitas mereka untuk bergabung dengan laboratorium mutakhir, dan banyak rekan-rekan AI2050 menggabungkan posisi akademik dengan pekerjaan di industri. Pemandangan ilmu pengetahuan berubah di depan mata kita.
Tim Dettmers dari Carnegie Mellon melihat apa yang terjadi tanpa panik. Dia bekerja pada membuat model penyebaran lebih murah dan percaya bahwa ilmuwan AI tidak akan menggantikan manusia tetapi membuat mereka secara signifikan lebih produktif. Sumber daya terbatas tidak hanya kutukan: kurangnya daya komputasi mendorong untuk menemukan arsitektur yang lebih efisien dan model yang kompak. Mungkin justru dari kendala ini bahwa terobosan besar berikutnya akan muncul.
