স্পার্স এক্সপার্টসহ ইন-কনটেক্সট ট্যাবুলার লার্নিং: কমপ্যাক্ট OrionMoE-Small-v1.0
টেবিলভিত্তিক কাজের জন্য একটি কমপ্যাক্ট ফাউন্ডেশন মডেল উপস্থাপন করা হয়েছে, যা প্যারামিটার ফাইন-টিউন না করেই লেবেলযুক্ত রেফারেন্স টেবিলের ভিত্তিতে নতুন পর্যবেক্ষণের পূর্বাভাস দেয়। ডেটাসেট ও বৈশিষ্ট্য উপস্থাপনা অনুযায়ী বিশেষজ্ঞদের অভিযোজিত নির্বাচন প্রতিযোগিতামূলক ফল দেয়, বিশেষত অল্প কনটেক্সট ও উচ্চ মাত্রিকতার ক্ষেত্রে।

প্রসঙ্গভিত্তিক টেবুলার লার্নিং: এই পদ্ধতির মূল কথা
মডেলটি লেবেলযুক্ত সাপোর্ট টেবিলের ভিত্তিতে অদেখা পর্যবেক্ষণের পূর্বাভাস দেয়। নির্দিষ্ট কাজের জন্য মডেলটি প্যারামিটার আপডেট করে না। নিবন্ধে OrionMoE-Small-v1.0 বর্ণনা করা হয়েছে—প্রসঙ্গভিত্তিক লার্নিংয়ের জন্য একটি কমপ্যাক্ট টেবুলার বেস মডেল।

এই পদ্ধতির মূল উপাদানগুলো:
- ইনপুট — একটি লেবেলযুক্ত সাপোর্ট টেবিল;
- লক্ষ্য — অদেখা পর্যবেক্ষণের পূর্বাভাস দেওয়া;
- অভিযোজন — নির্দিষ্ট কাজের জন্য প্যারামিটার আপডেট ছাড়াই;
- পদ্ধতি — প্রসঙ্গভিত্তিক লার্নিং।
ব্যবহারিক মানদণ্ড: কাজটি লেবেলযুক্ত সাপোর্ট টেবিলের ভিত্তিতে পূর্বাভাস দেওয়ার উপযোগী। কাজের সঙ্গে মানিয়ে নিতে গ্রেডিয়েন্ট অভিযোজনের প্রয়োজন নেই।
স্থাপত্য: dual-axis transformer এবং sparse experts
OrionMoE-Small-v1.0-এর মূলে রয়েছে dual-axis transformer স্থাপত্য। মডেলটি ডেটার বণ্টন বিবেচনায় নেওয়া উপস্থাপনার সঙ্গে sparse mixture-of-experts গণনার সমন্বয় করে। এই গণনা ডেটাসেট-নির্ভর। সক্রিয় করা বিশেষজ্ঞদের নির্বাচন করার সময় পৃথক সেলের উপস্থাপনা এবং পুরো ডেটাসেটের প্রেক্ষাপট বিবেচনায় নেওয়া হয়।
মডেলটির কাঠামো:
- স্থাপত্য — dual-axis transformer;
- উপস্থাপনা — ডেটার বণ্টন বিবেচনায় নিয়ে তৈরি;
- গণনা — ডেটাসেট-নির্ভর sparse mixture of experts;
- বিশেষজ্ঞ নির্বাচন — সেলের উপস্থাপনা এবং ডেটাসেটের প্রেক্ষাপটের ভিত্তিতে;
- গণনার বণ্টন — বৈচিত্র্যময় টেবুলার কাজের মধ্যে অভিযোজনযোগ্য;
- গণনার পথ — বিভিন্ন কাজের জন্য অভিন্ন।
ব্যবহারিক মানদণ্ড: বৈচিত্র্যময় টেবুলার কাজের জন্য গণনার অভিযোজনযোগ্য বণ্টন প্রয়োজন। মডেলটি বিভিন্ন কাজের জন্য একই গণনার পথ বজায় রাখে।
প্রশিক্ষণ: কৃত্রিম শ্রেণিবিন্যাসের কাজ
মডেলটিকে কেবল কৃত্রিম শ্রেণিবিন্যাসের কাজের ওপর প্রি-ট্রেনিং দেওয়া হয়েছে। এই কাজগুলোর ভিত্তি হলো একটি কাঠামোবদ্ধ কার্যকারণমূলক প্রায়োর ডিস্ট্রিবিউশন। পরবর্তী কাজগুলোর জন্য মডেলটি গ্রেডিয়েন্ট অভিযোজন ছাড়াই পূর্বাভাস দেয়। টীকায় OrionMoE-Small-v1.0 নামটি উল্লেখ করা হয়েছে।
নিবন্ধটির লেখক: Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu। লেখকেরা ২০২৬ সালের ১৪ অক্টোবর নিবন্ধটি জমা দেন। সর্বশেষ সংস্করণ প্রকাশিত হয় ২০২৬ সালের ১৮ অক্টোবর। নিবন্ধটির সংস্করণ — v2।
প্রশিক্ষণ সম্পর্কে যা জানা যায়:
- ডেটা — কেবল কৃত্রিম শ্রেণিবিন্যাসের কাজ;
- ভিত্তি — একটি কাঠামোবদ্ধ কার্যকারণমূলক প্রায়োর ডিস্ট্রিবিউশন;
- পরবর্তী কাজ — গ্রেডিয়েন্ট অভিযোজন ছাড়া।
ব্যবহারিক মানদণ্ড: উৎসে কেবল কৃত্রিম শ্রেণিবিন্যাসের কাজের ওপর প্রি-ট্রেনিংয়ের কথা বলা হয়েছে। অন্য ধরনের কাজ সম্পর্কে কোনো তথ্য দেওয়া হয়নি।
ফলাফল ও প্রয়োগের মানদণ্ড
OrionMoE-Small-v1.0 কয়েকটি টেবুলার বেঞ্চমার্কে প্রতিযোগিতামূলক ফলাফল দেখিয়েছে। তুলনা করা হয়েছে উল্লেখযোগ্যভাবে বড় বেস মডেলগুলোর সঙ্গে। বিশ্লেষণে অল্প কনটেক্সট ও উচ্চ মাত্রার ডেটাসেটে বিশেষভাবে শক্তিশালী ফলাফল দেখা গেছে। অতিরিক্ত বিশ্লেষণে শ্রেণির ভারসাম্যহীনতার ক্ষেত্রেও অনুকূল আপেক্ষিক ফলাফল দেখা গেছে।
| পরিস্থিতি | বিশ্লেষণে যা দেখা গেছে |
|---|---|
| উল্লেখযোগ্যভাবে বড় বেস মডেলগুলোর সঙ্গে তুলনা | প্রতিযোগিতামূলক ফলাফল |
| অল্প কনটেক্সট ও উচ্চ মাত্রা | বিশেষভাবে শক্তিশালী ফলাফল |
| শ্রেণির ভারসাম্যহীনতা | অনুকূল আপেক্ষিক ফলাফল |
| বৈশিষ্ট্যের সংযোজন | বিশ্লেষণে এর গুরুত্ব তুলে ধরা হয়েছে |
ব্যবহারিক মানদণ্ড: অল্প কনটেক্সট ও উচ্চ মাত্রা—এমন পরিস্থিতি যেখানে ফলাফল বিশেষভাবে শক্তিশালী। শ্রেণির ভারসাম্যহীনতা এবং বৈশিষ্ট্যের সংযোজন বিশ্লেষণের পৃথক বিষয়।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
Lean 4-এ কম্পাইলার ডায়াগনস্টিকের সহায়তায় সীমিত ট্যাকটিক মেরামত
একটি ধাপে ধাপে কাজ করা মডিউল দেওয়া হয়েছে, যা প্রত্যাখ্যাত ট্যাকটিক বাতিল না করে Lean-এর ত্রুটি বিবেচনায় নিয়ে সংশোধক মডেলকে সেটি সর্বোচ্চ R বার সংশোধন করতে বলে; Kটি প্রার্থী থাকলে এতে সমাধান হওয়া সমস্যার হার বাড়ে। LeanDojo এবং Lean Workbook-এ পরীক্ষা থেকে দেখা যায়, এই উন্নতির বেশিরভাগই আসে অগভীর নির্বাহগত ব্যর্থতা থেকে, তবে এর বিনিময়ে অনুসন্ধানের সময় বেড়ে যায়।
16 নভেম্বর 2026
Genesis Steering পদ্ধতি: ফাইন-টিউনিংয়ে ব্যবহৃত ডেটার ওপর অ্যাক্টিভেশন নিয়ন্ত্রণ
এই পদ্ধতি ফাইন-টিউনিং ডেটায় থাকা বৈপরীত্যপূর্ণ উদাহরণ থেকে একটি নিয়ন্ত্রণ ভেক্টর বের করে; সেগুলো পাওয়া না গেলে membership inference-এর মাধ্যমে সম্ভাব্য প্রশিক্ষণ নমুনা বেছে নিয়ে একটি প্রক্সি সেট তৈরি করে। তাত্ত্বিক অংশে সিদ্ধান্তসীমার দিকে সর্বোত্তম স্থানচ্যুতি এবং প্রক্সি ডেটা থেকে অনুমানের বিবরণ দেওয়া হয়েছে; পরীক্ষায় দেখা গেছে, Tülu-3-8B-এর অভ্যন্তরীণ ডেটা বাহ্যিক সেটের তুলনায় বেশি স্পষ্ট প্রভাব ফেলে, অন্যদিকে Llama-3.1-8B-Instruct-এ MIA-প্রক্সির কার্যকারিতা দিকনির্দেশের স্থানচ্যুতিগুলোর পারস্পরিক অনুপাতের কারণে সীমিত।
16 নভেম্বর 2026
অবিশ্বস্ত পূর্বাভাসযুক্ত প্রোফাইলের জন্য কোভেরিয়েট শিফটের স্থানীয় অনুসন্ধান
প্রবন্ধটি এমন একটি ডায়াগনস্টিক পাইপলাইনের বর্ণনা দেয়, যা প্রথমে মডেলের কম আত্মবিশ্বাসযুক্ত রোগীদের ব্যাখ্যাযোগ্য গোষ্ঠী শনাক্ত করে, তারপর সেই গোষ্ঠীগুলোর মধ্যে ক্ষতিকর কোভেরিয়েট শিফটের উপস্থিতি যাচাই করে। তিনটি ক্লিনিক্যাল কাজ এবং তিনটি কৃত্রিম উপগোষ্ঠী-শিফট নিয়ে MIMIC-IV-তে চালানো পরীক্ষায় এই পদ্ধতি বয়সজনিত শিফট শনাক্ত করতে সাহায্য করেছে, যা সামগ্রিক মূল্যায়নে খুব একটা চোখে পড়েনি।
15 নভেম্বর 2026