OpenAI তার হার্ডওয়্যার প্রতিযোগিতায় আরও কার্ড খুলতে থাকছে। Hot Chips সম্মেলনে কোম্পানিটি প্রথমবারের মতো তাদের ইনফারেন্স চিপ — Jalapeño — বিস্তারিতভাবে দেখিয়েছে এবং সাম্প্রতিক পরীক্ষার ফলাফল শেয়ার করেছে, যা অনেককে অবাক করেছে। যদি এই সংখ্যাগুলি বাস্তব লোডে নিশ্চিত হয়, তবে মডেল আউটপুট বাজারে শক্তির ভারসাম্য উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে।
পরীক্ষাগুলি কী দেখিয়েছে
SemiAnalysis InferenceX বেঞ্চমার্কে, নতুন প্রসেসরটি দুটি গুরুত্বপূর্ণ মেট্রিকে বর্তমানে উপলব্ধ state-of-the-art ইনফারেন্স সমাধানগুলিকে ছাড়িয়ে গেছে: প্রতি ব্যবহারকারী টোকেনের সংখ্যা এবং ব্যয়িত শক্তির প্রতি কিলোওয়াট থ্রুপুট। তুলনাটি NVIDIA Blackwell সিস্টেমের সাথে করা হয়েছিল, যা বর্তমানে নিউরাল নেটওয়ার্ক আউটপুট কাজের ক্ষেত্রে একটি মানদণ্ড হিসাবে বিবেচিত হয়।
OpenAI-এর হার্ডওয়্যার বিভাগের প্রধান রিচার্ড হো ফলাফলগুলিকে বর্তমান স্তরের তুলনায় উল্লেখযোগ্য উন্নতি বলে অভিহিত করেছেন। তবে, তিনি সাথে সাথে একটি গুরুত্বপূর্ণ শর্ত যোগ করেছেন: যখন Jalapeño উল্লেখযোগ্য পরিমাণে বাজারে আসবে, ততক্ষণে প্রতিযোগীরা তাদের প্ল্যাটফর্মগুলি গুরুত্ব সহকারে আপডেট করতে সক্ষম হতে পারে। তাই আজকের ব্যবধান ভবিষ্যতের জন্য কোনো গ্যারান্টি নয়।
তবুও, মেট্রিক্সের পছন্দটি তাৎপর্যপূর্ণ। ডেটা-সেন্টারগুলির জন্য যারা ইনফারেন্স করে, মূল বিষয়টি পিক পারফরম্যান্স নয়, বরং প্রতিটি টোকেনের খরচ এবং অনেক ব্যবহারকারীর লোডের অধীনে আচরণ। এখানেই নতুন চিপ নিজেকে আরও শক্তিশালী দেখাতে চায়।
জয়ের ভিত্তি কী
Jalapeño — আরেকটি সার্বজনীন GPU তৈরি করার চেষ্টা নয়। চিপটি গত বছরের অক্টোবরে ঘোষণা করা হয়েছিল, এবং এটি Broadcom-এর সাথে এবং OpenAI-এর নিজস্ব মডেল ব্যবহার করে তৈরি করা হয়েছিল। এই পদ্ধতিটি প্রকৌশলীদের ডিজাইনের পর্যায়েই আসল 'বottleneck' গুলি দেখতে দিয়েছে।
প্রধান সমস্যাগুলি প্রথম স্থানে নিজেরাই গণনা নয়, বরং প্রস্তুতিমূলক পর্যায়ে এবং ব্লকগুলির মধ্যে ডেটা বিনিময়ের সময় বিলম্ব। উদাহরণস্বরূপ, prefill — যে পর্যায়ে মডেল ইনপুট ডেটা প্রক্রিয়া করে এবং প্রসঙ্গ তৈরি করে — প্রায়শই কাঙ্ক্ষিত সময়ের চেয়ে উল্লেখযোগ্যভাবে বেশি সময় নেয়। Jalapeño এই ধরনের বিলম্বগুলিকে ন্যূনতম করার চেষ্টা করে, এবং সাথে সাথে মেমরি এবং কম্পিউটেশনাল কোরের মধ্যে ডেটা স্থানান্তরও হ্রাস করে।
OpenAI ব্যাখ্যা করে: চিপটি মডেলের অবস্থা স্পষ্টভাবে স্থানীয়ভাবে размещать এবং ধরে রাখতে সক্ষম, যার মধ্যে KV cache-ও রয়েছে। ইনফারেন্সের প্রতিটি পর্যায়ে, গণনা, মেমরি এবং নেটওয়ার্কের প্রয়োজনীয় সংমিশ্রণ সক্রিয় হয়, পুরো সিস্টেমটি একসাথে কাজ করে না। এটি কিছুটা কনভেয়র বেল্টের মতো, যেখানে প্রতিটি স্টেশন তার নিজস্ব অপারেশনের জন্য প্রস্তুত।
বিক্রিতে কখন আশা করবেন
OpenAI লুকিয়ে রাখে না যে তারা চিপটিকে একটি দীর্ঘমেয়াদী প্ল্যাটফর্ম হিসাবে দেখে: হো-এর মতে, কোম্পানিটি একাধিক প্রজন্মে Jalapeño বিকাশের পরিকল্পনা করছে। এর অর্থ হল বর্তমান আর্কিটেকচারটি একটি এককালীন পরীক্ষা নয়, বরং ভবিষ্যতের পুনরাবৃত্তির ভিত্তি।
তবে, ব্যাপক ব্যবহারের আগে এখনও অনেক দূর। OpenAI-এর অনুমান অনুসারে, ২০২৬ সালের একেবারে শেষে চিপটি খুব অল্প পরিমাণে বাজারে আসবে — সম্ভবত একটি পাইলট ডেলিভারি হিসাবে। আরও লক্ষণীয় স্থাপনা ২০২৭ সালে প্রত্যাশিত।
এই সময়ের মধ্যে, NVIDIA-ও সম্ভবত হাত গুটিয়ে বসে থাকবে না এবং Blackwell-এর আপডেটেড সংস্করণ প্রকাশ করতে পারে। তাই আজ বেঞ্চমার্কে প্রথম স্থানটি কেবল একটি অগ্রিম। আরও আকর্ষণীয় বিষয় হল দেখতে যে Jalapeño কি সুবিধা ধরে রাখতে পারবে, যখন গণ-পরিচালনার কথা আসবে।
