ভূমিকা: কেন টেবিল জটিল
টেবিল-ভিত্তিক পূর্বাভাস মেশিন লার্নিংয়ের অন্যতম মূল কাজ। বড় ভাষার মডেলগুলো পাঠ্য এবং চিত্র নিয়ে কাজ করতে শিখেছে, কিন্তু টেবিলগুলো একটি বিশেষ চ্যালেঞ্জ হিসেবে রয়ে গেছে। LLM-কে টেবিলে প্রয়োগ করতে, গবেষকরা দুটি পথ অনুসরণ করেছেন: বিশেষায়িত মডেলগুলোর ফাইন-টিউনিং (TFM) বা ইন-কনটেক্সট লার্নিং ব্যবহার করা।
প্রথম পথটি হলো Tabular Foundation Models তৈরি করা, যেমন TabPFN। এই ধরনের মডেলগুলো চিত্তাকর্ষক ফলাফল দেখায়, কিন্তু প্রচুর গণনামূলক খরচের প্রয়োজন হয়। প্রতিটি নতুন ডেটাসেটের জন্য এগুলো পুনরায় প্রশিক্ষণ দেওয়া — বিলাসিতা যা বহন করা অসম্ভব।
এখানেই few-shot prompting সাহায্যে আসে: মডেলটিকে প্রশিক্ষণ সেট থেকে কয়েকটি উদাহরণ দেখানো হয়, এবং এটি একটি নতুন মান পূর্বাভাস দেয়। এটি সস্তা এবং দ্রুত, কিন্তু প্রশ্ন ওঠে: ঠিক কোন উদাহরণগুলো বেছে নেওয়া উচিত? এলোমেলো নির্বাচন প্রায়শই খারাপ ফলাফল দেয়।
ARASH: বুদ্ধিমান উদাহরণ নির্বাচন
ARASH (Adaptive Retrieval And Shot Selection) পদ্ধতি ঠিক এই সমস্যার সমাধান করে। এলোমেলো বা হিউরিস্টিক নির্বাচনের পরিবর্তে এটি প্রশিক্ষণ সেটের প্রতিটি পয়েন্টের স্থানীয় প্রতিবেশ বিশ্লেষণ করে। ধারণাটি হলো এমন শট নির্বাচন করা যা বর্তমান ক্যোয়ারির সাথে সর্বাধিক মিল রাখে এবং একই সাথে ডেটার জন্য প্রতিনিধিত্বশীল।
অ্যালগরিদমটি অভিযোজিতভাবে কাজ করে: প্রতিটি নতুন ক্যোয়ারির জন্য, উদাহরণ নির্বাচন তার স্থানীয় প্রসঙ্গ বিবেচনায় নতুন করে করা হয়। এটি নির্ভুলতা বজায় রেখে প্রয়োজনীয় উদাহরণের সংখ্যা সর্বনিম্নে কমাতে সাহায্য করে।
অনুশীলনে এর ফলাফল কী
পরীক্ষাগুলো চিত্তাকর্ষক ফলাফল দেখিয়েছে। TabPFN-এর সাথে ARASH ব্যবহার করলে প্রম্পটের দৈর্ঘ্য ১২৬১.৫ গুণ কমে যায়, এবং মেমরি খরচ ২.৫৬ গুণ কমে যায়। একই সাথে নির্ভুলতা সম্পূর্ণ প্রম্পটের সাথে তুলনীয় থাকে। এর অর্থ হলো মডেলটি সীমিত সম্পদের পরিবেশে ব্যবহার করা যেতে পারে — এজ ডিভাইসে, ওয়েব অ্যাপ্লিকেশনে, বড় ডেটা স্ট্রিম প্রক্রিয়াকরণে।
এই ধরনের ফলাফল অর্জিত হয় কারণ ARASH কেবল মিল থাকা সারিগুলোই নয়, বরং সেগুলোই নির্বাচন করে যা প্রদত্ত ক্যোয়ারির জন্য সর্বাধিক তথ্য বহন করে। এটি বিশেষভাবে গুরুত্বপূর্ণ যখন প্রশিক্ষণ সেট বড় হয় এবং ইনফারেন্সের সময় সীমিত থাকে।
উপসংহার
ARASH শক্তিশালী টেবিল মডেলগুলোকে বাস্তব অ্যাপ্লিকেশনে доступный করার দিকে আরেকটি পদক্ষেপ। জেনারেটিভ মডেল এবং বুদ্ধিমান উদাহরণ নির্বাচনের সংমিশ্রণ মানের ক্ষতি ছাড়াই কার্যকর few-shot লার্নিংয়ের পথ খুলে দেয়।
ভবিষ্যতে এই দিকটির আরও বিকাশ আশা করা যায়: সম্ভবত এমন পদ্ধতি আসবে যা প্রম্পটগুলোকে আরও সংকুচিত করবে বা অন্যান্য ধরনের ডেটার সাথে খাপ খাইয়ে নেবে।
