OpenAI terus membuka kartu dalam persaingan perangkat keras. Pada konferensi Hot Chips, perusahaan untuk pertama kalinya menunjukkan secara detail chip untuk inferensi mereka — Jalapeño — dan membagikan hasil tes terbaru yang mengejutkan banyak pihak. Jika angka-angka ini terkonfirmasi dalam beban kerja nyata, peta kekuatan di pasar inferensi model dapat berubah secara signifikan.
Apa yang ditunjukkan oleh tes
Dalam tolok ukur SemiAnalysis InferenceX, prosesor baru ini mengungguli solusi inferensi state-of-the-art yang tersedia saat ini dalam dua metrik penting: jumlah token per pengguna dan throughput per kilowatt daya yang digunakan. Perbandingan dilakukan dengan sistem NVIDIA Blackwell, yang saat ini dianggap sebagai salah satu tolok ukur dalam tugas inferensi jaringan saraf.
Kepala divisi perangkat keras OpenAI, Richard Ho, menyebut hasil ini sebagai peningkatan signifikan dibandingkan level saat ini. Namun, ia segera menambahkan catatan penting: pada saat Jalapeño tersedia dalam volume besar, para pesaing mungkin sempat memperbarui platform mereka secara serius. Jadi kesenjangan hari ini bukanlah jaminan untuk masa depan.
Meski demikian, pilihan metrik ini cukup menunjukkan. Bagi pusat data yang menangani inferensi, yang terpenting bukanlah performa puncak, melainkan biaya per token dan perilaku di bawah beban banyak pengguna. Di sinilah chip baru ini ingin menunjukkan keunggulannya.
Apa dasar dari keunggulan ini
Jalapeño — bukan sekadar upaya membuat GPU universal lain. Chip ini diumumkan pada Oktober tahun lalu, dan dikembangkan bersama Broadcom dengan menggunakan model OpenAI milik sendiri. Pendekatan ini memungkinkan para insinyur melihat "titik kemacetan" yang sebenarnya sejak tahap desain.
Masalah utama yang dikedepankan bukanlah komputasi itu sendiri, melainkan latensi pada tahap persiapan dan saat pertukaran data antar blok. Misalnya, prefill — tahap ketika model memproses data masukan dan membentuk konteks — sering kali memakan waktu jauh lebih lama dari yang diinginkan. Jalapeño berupaya meminimalkan latensi semacam itu, sekaligus mengurangi perpindahan data antara memori dan inti komputasi.
OpenAI menjelaskan: chip ini mampu menempatkan dan menyimpan status model secara eksplisit dan lokal, termasuk KV cache. Pada setiap tahap inferensi, kombinasi komputasi, memori, dan jaringan yang diperlukan diaktifkan, bukan seluruh sistem sekaligus. Ini mirip dengan jalur perakitan, di mana setiap stasiun disiapkan khusus untuk operasinya masing-masing.
Kapan tersedia di pasaran
OpenAI tidak menyembunyikan bahwa mereka memperlakukan chip ini sebagai platform jangka panjang: menurut Ho, perusahaan berencana mengembangkan Jalapeño dalam beberapa generasi. Ini berarti arsitektur saat ini bukanlah eksperimen sekali jalan, melainkan fondasi untuk iterasi selanjutnya.
Namun, masih jauh dari penerapan luas. Menurut perkiraan OpenAI, pada akhir tahun 2026 chip ini akan hadir dalam volume yang sangat kecil — lebih sebagai pengiriman percontohan. Penerapan yang lebih signifikan diperkirakan terjadi pada tahun 2027.
Pada saat itu, NVIDIA kemungkinan besar juga tidak akan tinggal diam dan mungkin merilis versi terbaru Blackwell. Oleh karena itu, posisi pertama dalam tolok ukur hari ini hanyalah sebuah uang muka. Yang jauh lebih menarik adalah melihat apakah Jalapeño mampu mempertahankan keunggulannya ketika berbicara tentang operasi massal.
