স্কেলার পুরস্কার থেকে প্যারেটো ফ্রন্টিয়ার: বহু-উদ্দেশ্যভিত্তিক রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে LLM-ভিত্তিক RTL সংশ্লেষণ

কাজ ও অবস্থা

• শিরোনাম: Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models।
• লেখক: Koki Takeshita, Kenji Uebayashi, Hikaru Tomonari, Masaya Tsunokake, Koichiro Yawata, Tatsuya Sasaki, Yusuke Ohtsubo, Kota Dohi, Yasuhiro Sogawa।
• জমা দেওয়ার তারিখ: ১৬ অক্টোবর ২০২৬।
• অবস্থা: মন্তব্যে বলা হয়েছে, কাজটি COLM 2026-এ গৃহীত হয়েছে।

প্রিপ্রিন্টটি arXiv:2610.26904-এ পাওয়া যায়। কাজটি বৃহৎ ভাষা মডেলের সাহায্যে RTL তৈরির সঙ্গে সম্পর্কিত। পদ্ধতিটি মডেলকে একটি মাত্র সার্কিটের বদলে একগুচ্ছ প্রার্থী তৈরি করতে প্রশিক্ষণ দেয়। এই গুচ্ছকে PPA স্পেসে মূল্যায়ন করা হয়।

উপসংহার: কাজটি COLM 2026-এ গৃহীত হয়েছে এবং LLM-ভিত্তিক RTL সংশ্লেষণের জন্য একটি বহু-উদ্দেশ্য পদ্ধতির প্রস্তাব দেয়। পদ্ধতিটি বেছে নেওয়ার ক্ষেত্রে লক্ষ্য পরিবর্তনটাই গুরুত্বপূর্ণ—একটি সার্কিট থেকে একগুচ্ছ সার্কিটে।

স্কেলার পুরস্কারের সমস্যা

প্রচলিত পদ্ধতিগুলো একাধিক লক্ষ্যকে একটি স্কেলার পুরস্কারে একত্র করে। এর ফলে একই সঙ্গে বৈচিত্র্যময়, প্যারেটো-সর্বোত্তম সমাধান পাওয়া কঠিন হয়। কম শক্তি খরচ, কম বিলম্ব এবং কম ক্ষেত্রফলের মধ্যে বিভিন্ন সমঝোতায় পৌঁছানোও কঠিন হয়ে পড়ে। স্কেলার পুরস্কার তৈরির আগেই লক্ষ্যগুলোর গুরুত্ব নির্ধারণ করে দেয়।

লক্ষ্যগুলোর আপেক্ষিক গুরুত্ব পণ্যের চাহিদা এবং প্রকল্পের সীমাবদ্ধতার ওপর নির্ভর করে। আগেই নির্ধারিত পুরস্কার এসব চাহিদার সঙ্গে পরিবর্তিত হয় না। তাই বিভিন্ন সমঝোতাসহ একগুচ্ছ প্রার্থী প্রয়োজন।

উপসংহার: স্কেলার পুরস্কার তৈরির আগেই সমঝোতা নির্ধারণ করে। বহু-উদ্দেশ্য বিন্যাসে নির্বাচন তৈরির পরের ধাপে চলে যায়।

পদ্ধতিটি কী অপ্টিমাইজ করে

পদ্ধতিটি সার্কিটের পুরো গুচ্ছের গুণমান ও বৈচিত্র্য অপ্টিমাইজ করে। একাধিকবার তৈরি করার মাধ্যমে এই গুচ্ছ পাওয়া যায়। PPA লক্ষ্য-স্পেসে মূল্যায়ন করা হয়: শক্তি, কর্মক্ষমতা, ক্ষেত্রফল। পদ্ধতিটির লক্ষ্য একটি সার্কিটের গুণমান নয়।

PPA লক্ষ্যগুলোর মধ্যে সমঝোতা রয়েছে। বিভিন্ন সার্কিটে কম শক্তি খরচ, কম বিলম্ব এবং কম ক্ষেত্রফলের ভিন্ন ভিন্ন সমন্বয় পাওয়া যায়। তাই পদ্ধতিটি মডেলকে প্যারেটো ফ্রন্টের বিভিন্ন বিন্দু কভার করতে প্রশিক্ষণ দেয়। ডিজাইনার একাধিক প্রার্থী পান।

উপসংহার: পদ্ধতিটির লক্ষ্য একটি সেরা উত্তর নয়, বরং ফ্রন্ট কভার করা।

পদ্ধতির দুটি উপাদান

জেনারেশন-ভিত্তিক প্রশিক্ষণ পাইপলাইন

এই পাইপলাইন প্যারেটো সমাধানের পুরো সেটের কভারেজ উন্নত করার কাজটিকে ধারাবাহিক সার্কিট-জেনারেশনের সমস্যায় রূপান্তরিত করে। প্রশিক্ষণ ধাপে ধাপে চলে। ফলে জেনারেশনের কাজটি একটি ধারাবাহিক কাঠামো পায়।

Hypervolume Contribution-ভিত্তিক পুরস্কার

HVC পুরস্কার ফাংশনটি প্যারেটো ফ্রন্টে তৈরি করা সার্কিটের অবদান পরিমাপ করে। পুরস্কারটি একটি সার্কিটের পরম গুণমান নয়, বরং কভারেজের বৃদ্ধিকে প্রতিফলিত করে। HVC প্রশিক্ষণকে ফ্রন্ট কভার করার সঙ্গে যুক্ত করে।

উপসংহার: পাইপলাইনটি ধারাবাহিকতা নির্ধারণ করে, HVC কভারেজে অবদানের জন্য সংকেত দেয়।

RTLLM v2-এ ফলাফল

RTLLM v2 বেঞ্চমার্কে মূল্যায়নে আপেক্ষিক Hypervolume বৃদ্ধি পেয়েছে। PPA অপ্টিমাইজেশনবিহীন বেসলাইন সংস্করণের তুলনায় বৃদ্ধি ছিল +১৩.৩ শতাংশ পয়েন্ট। একক-উদ্দেশ্যের RL পদ্ধতির তুলনায় বৃদ্ধি ছিল +১৪.৪ শতাংশ পয়েন্ট। লেখকেরা সার্কিটের বৈচিত্র্যেও শ্রেষ্ঠত্বের কথা জানিয়েছেন।

উপসংহার: RTLLM v2-এ পদ্ধতিটি ফ্রন্টের কভারেজ ও বৈচিত্র্য উন্নত করে। সংখ্যাগুলো আপেক্ষিক Hypervolume-এর, প্রতিটি সার্কিটের পরম গুণমানের নয়।

পদ্ধতি বেছে নেওয়ার ব্যবহারিক মানদণ্ড

সমঝোতা কখন নির্ধারণ করা হয়, তার ওপর পদ্ধতি বেছে নেওয়া হয়। স্কেলার পুরস্কারে তৈরির আগেই PPA-র গুরুত্ব নির্ধারণ করতে হয়। বহু-উদ্দেশ্য পদ্ধতিতে নির্বাচন তৈরির পরের ধাপে চলে যায়। এতে বিভিন্ন সমঝোতাসহ একগুচ্ছ প্রার্থী পাওয়া যায়।

পদ্ধতিটির মূল্যায়ন RTLLM v2 বেঞ্চমার্কে সীমাবদ্ধ। অন্য ডিজাইন ফ্লোর জন্য নিজস্ব যাচাই দরকার। যাচাই ছাড়া অন্যান্য পরিস্থিতিতে উন্নতির সংখ্যাগুলো প্রয়োগ করা যায় না।

উপসংহার: পণ্যভেদে প্রকল্পের PPA-সংক্রান্ত চাহিদা পরিবর্তিত হলে, তৈরির পরে নির্বাচন করার কাজের সঙ্গে বহু-উদ্দেশ্য পদ্ধতি সামঞ্জস্যপূর্ণ। লক্ষ্যগুলোর গুরুত্ব জানা ও স্থির থাকলে, আগে থেকে নির্ধারিত সমঝোতার ক্ষেত্রে স্কেলার পুরস্কার উপযুক্ত।