Mantan karyawan divisi riset Meta meluncurkan model visi terbuka untuk bengkel dan gudang

21 September 20269 tampilan

Startup Perceptron, yang didirikan oleh dua mantan karyawan FAIR, memperkenalkan Isaac 0.5 — model dengan bobot terbuka yang, menurut klaim pengembangnya, menggabungkan persepsi dan pengendalian di lingkungan industri. Pembaca akan memperoleh gambaran tentang bagaimana pendekatan ini dibangun, pada data apa sistem ini dilatih, dan mengapa sistem ini dianggap sebagai alternatif bagi solusi yang sangat terspesialisasi maupun solusi generalis berbasis cloud.

Mantan karyawan divisi riset Meta meluncurkan model visi terbuka untuk bengkel dan gudang

Perceptron meluncurkan apa

Perceptron adalah startup yang didirikan pada November 2024. Perusahaan ini didirikan oleh dua mantan ilmuwan riset Meta: Armen Aghajanyan dan Akshat Shrivastava. Mereka bekerja di Meta’s Fundamental AI Research (FAIR). Ini adalah unit riset AI milik Meta.

Minggu ini perusahaan meluncurkan model Isaac 0.5. Menurut para pembuatnya, model ini memberi mesin kemampuan “perceive, reason and act” dalam kondisi industri. Model ini dirilis sebagai open-weight. Karena itu, parameter dan materi pelatihannya dapat diperiksa siapa pun yang ingin.

Perusahaan melihat perangkat lunaknya sebagai masa depan penerapan otomasi industri.

Kesimpulan: Isaac 0.5 layak dipertimbangkan sebagai model terbuka untuk tugas industri. Keterverifikasian bobot menjadi kriteria utama dalam pemilihan.

Tugas: kecerdasan fisik untuk gudang dan pabrik

Perceptron mengembangkan frontier vision models. Model-model ini harus membantu mesin berinteraksi dengan lingkungan fisik secara lebih kompeten. Perangkat lunaknya mampu membantu vision-guided robots bergerak di lingkungan yang kompleks. Yang dimaksud adalah warehouses atau factory floors.

Perusahaan menggambarkan masalahnya demikian: “Physical AI today forces a false choice”. Di satu sisi, generalist foundation models, yang membutuhkan multiple dedicated cloud GPUs untuk setiap instance. Di sisi lain, narrow models, yang menangani perception atau control, tetapi tidak pernah keduanya. Isaac 0.5 dimaksudkan untuk memberi mesin kemampuan memahami, menalar, dan bertindak.

Shrivastava mengusulkan untuk mempertimbangkan proses fisik sederhana — menata kotak. Robot yang diterapkan untuk menyortir paket harus menjalankan banyak langkah. Pertama, membaca label pada kemasan. Lalu melakukan analisis spasial untuk memahami di mana kotak-kotak berada. Setelah itu memutuskan kotak mana yang harus diangkat. Jika ia mengangkat serangkaian kotak, ia harus merencanakan kotak mana yang diangkat dan dalam urutan apa. Perangkat lunak Perceptron dirancang untuk membantu robot menjalani setiap langkah proses tersebut.

Kesimpulan: kriterianya adalah kemampuan model mencakup seluruh proses, dari persepsi hingga perencanaan tindakan, bukan hanya satu operasi tertentu.

Bagaimana Isaac 0.5 dilatih

Model seperti Isaac 0.5 mempelajari keterampilan operasional dengan menyerap data pelatihan video dalam jumlah besar. Perceptron menyatakan telah melatih model barunya pada satu juta jam yang disebut general video. Ini diperlukan untuk mengajari algoritma mengenali kondisi, elemen visual, dan skenario tertentu.

Perusahaan juga sangat mengandalkan ego video. Ini adalah video dari sudut pandang orang yang melakukan tugas fisik. Videonya diambil melalui GoPro atau kamera yang dikenakan. Selain itu digunakan pula UMI video. Video ini juga berfungsi untuk melatih sistem AI melakukan gerakan dengan merekam tindakan manusia yang berulang.

Perceptron tidak mengungkapkan sumber data pelatihannya. Shrivastava mengatakan bahwa perusahaannya “internally built petabyte-scale datasets that span across modalities”. Ia menambahkan: “whether it’s images, text, video, etc. all the way through robotic trajectories.”

Kesimpulan: bobot model yang terbuka memungkinkan pemeriksaan parameter dan materi pelatihan. Ini kriteria penting bagi tim yang membutuhkan keterverifikasian.

Apa bedanya dengan model yang sudah ada

Aghajanyan dan Shrivastava mengatakan bahwa alat mereka berbeda dari model yang sudah ada. Alat ini general-purpose, artinya tidak dibuat untuk satu tugas berulang yang spesifik. Model ini harus fleksibel bergantung pada lingkungan atau situasi tertentu.

Di industri sudah ada perangkat lunak yang membantu mesin menjalankan sebagian besar tugas tersebut. Namun sedikit program yang dirancang untuk melakukannya secara fleksibel. Berikut perbandingan pendekatan berdasarkan fakta yang disampaikan perusahaan.

PendekatanFitur utama
Generalist foundation modelsMembutuhkan beberapa cloud GPU khusus untuk setiap instans
Narrow modelsMenangani persepsi atau kontrol, tetapi tidak pernah keduanya
Isaac 0.5General-purpose, open-weight, ditujukan untuk perceive, reason and act

Aghajanyan mengatakan: “Nothing like this really exists out there.” Ia menambahkan: “We’re really excited about it.”

Kesimpulan: jika tugas menuntut persepsi sekaligus kontrol dalam lingkungan yang berubah, model sempit tidak akan cocok. Model generalist membutuhkan cloud GPU khusus untuk setiap instans. Isaac 0.5 diklaim sebagai jalan tengah antara kedua opsi tersebut.

Di mana rencananya diterapkan

Startup ini siap memasarkan perangkat lunaknya ke berbagai vendor. Perusahaan berpotensi mengintegrasikan intelligence layer-nya ke berbagai industri. Di antaranya manufacturing, logistics and warehousing, security, mobility, serta media and entertainment.

Perangkat lunaknya membantu vision-guided robots bergerak di lingkungan yang kompleks, seperti warehouses or factory floors. Perangkat ini juga membantu perusahaan mengekstrak kecerdasan visual dari video yang direkam oleh bot-bot tersebut.

Kesimpulan: kriteria praktisnya adalah kesesuaian industri dan skenario. Untuk gudang dan pabrik, yang penting adalah pergerakan di lingkungan kompleks dan ekstraksi data dari video. Untuk security, mobility, media, dan entertainment, perusahaan menyatakan potensi integrasi.

Pendanaan dan status

Perceptron sebelumnya mengumpulkan $21 million. Investornya adalah Bessemer Venture Partners, Foundation Capital, dan S32. Ini berdasarkan data Pitchbook. SmartGateVC juga ikut serta dalam founding round perusahaan.

Menurut TechCrunch, startup ini sedang dalam proses menutup putaran tambahan. Syarat dan tenggat lainnya tidak diungkapkan.

Kesimpulan: perusahaan memiliki pendanaan dari dana ventura dan ketertarikan yang dinyatakan untuk putaran tambahan. Ini tidak menjamin kematangan produk, tetapi mengurangi risiko pemilihan terlalu dini.

Pertanyaan yang sering ditanyakan

Mantan karyawan divisi riset Meta meluncurkan model visi terbuka untuk bengkel dan gudang