Genesis Steering পদ্ধতি: ফাইন-টিউনিংয়ে ব্যবহৃত ডেটার ওপর অ্যাক্টিভেশন নিয়ন্ত্রণ

16 নভেম্বর 2026১ প্রদর্শন

এই পদ্ধতি ফাইন-টিউনিং ডেটায় থাকা বৈপরীত্যপূর্ণ উদাহরণ থেকে একটি নিয়ন্ত্রণ ভেক্টর বের করে; সেগুলো পাওয়া না গেলে membership inference-এর মাধ্যমে সম্ভাব্য প্রশিক্ষণ নমুনা বেছে নিয়ে একটি প্রক্সি সেট তৈরি করে। তাত্ত্বিক অংশে সিদ্ধান্তসীমার দিকে সর্বোত্তম স্থানচ্যুতি এবং প্রক্সি ডেটা থেকে অনুমানের বিবরণ দেওয়া হয়েছে; পরীক্ষায় দেখা গেছে, Tülu-3-8B-এর অভ্যন্তরীণ ডেটা বাহ্যিক সেটের তুলনায় বেশি স্পষ্ট প্রভাব ফেলে, অন্যদিকে Llama-3.1-8B-Instruct-এ MIA-প্রক্সির কার্যকারিতা দিকনির্দেশের স্থানচ্যুতিগুলোর পারস্পরিক অনুপাতের কারণে সীমিত।

Genesis Steering পদ্ধতি: ফাইন-টিউনিংয়ে ব্যবহৃত ডেটার ওপর অ্যাক্টিভেশন নিয়ন্ত্রণ

Genesis Steering কী?


অ্যাক্টিভেশন স্টিয়ারিং ইনফারেন্সের সময় বড় ভাষা মডেলকে নিয়ন্ত্রণ করে। এই পদ্ধতির কার্যকারিতা নির্ভর করে রেফারেন্স ডেটা নির্বাচনের ওপর। Genesis steering মডেলের নিজস্ব ফাইন-টিউনিং ডেটার কনট্রাস্টিভ উদাহরণ থেকে জেনেসিস ভেক্টর তৈরি করে।

এই ডেটা পাওয়া না গেলে, পদ্ধতিটি মেম্বারশিপ ইনফারেন্স-সংক্রান্ত গবেষণায় বর্ণিত কৌশল ব্যবহার করে। এই কৌশলগুলো সম্ভাব্য প্রশিক্ষণ-উদাহরণ খুঁজে বের করে এবং একটি প্রক্সি ডেটাসেট তৈরি করে।

«Genesis Steering: Better Activation Steering Through Training Data» শীর্ষক নিবন্ধটি 13 Oct 2026 (v1)-এ জমা দেওয়া হয়। আপডেট—19 Oct 2026 (v2)। লেখক: Tora Bodin, Eric Aubinais, Ilaria Torre, Chih-Hong Cheng।

সারকথা: Genesis steering স্টিয়ারিংকে ফাইন-টিউনিং ডেটার সঙ্গে সংযুক্ত করে। মূল প্যারামিটার হলো কনট্রাস্টিভ উদাহরণের উৎস।

জেনেসিস ভেক্টর কীভাবে তৈরি হয়


পদ্ধতিটি ফাইন-টিউনিং ডেটা থেকে কনট্রাস্টিভ উদাহরণ নেয়। সেগুলোর ভিত্তিতে একটি দিকনির্দেশক ভেক্টর তৈরি করা হয়। ইনফারেন্সের সময় এই ভেক্টর মডেলে প্রয়োগ করা হয়।

লেখকেরা দুটি তাত্ত্বিক ফলাফল প্রতিষ্ঠা করেছেন। প্রথমটি সিদ্ধান্ত-সীমানার দিকে সর্বোত্তম পক্ষপাত সম্পর্কে। দ্বিতীয়টি প্রক্সি ডেটায় মূল্যায়নের সময় পক্ষপাত হ্রাস সম্পর্কে।

সারকথা: তত্ত্ব পক্ষপাতের জন্য নির্দেশনা দেয়। ভেক্টরের গুণমান নির্ভর করে কনট্রাস্টিভ উদাহরণ নির্বাচনের ওপর।

মেম্বারশিপ ইনফারেন্সের মাধ্যমে প্রক্সি ডেটা


ফাইন-টিউনিং ডেটা পাওয়া না গেলে, পদ্ধতিটি মেম্বারশিপ ইনফারেন্স ব্যবহার করে। এই পদ্ধতি সম্ভাব্য প্রশিক্ষণ-উদাহরণ খোঁজে। খুঁজে পাওয়া উদাহরণগুলো দিয়ে একটি প্রক্সি ডেটাসেট তৈরি করা হয়।

জেনেসিস ভেক্টর তৈরির সময় প্রক্সি ডেটাসেট মূল ডেটার বিকল্প হিসেবে কাজ করে। পদ্ধতিটি খুঁজে পাওয়া উদাহরণগুলোকে রেফারেন্স হিসেবে ব্যবহার করে। পার্থক্য শুধু উদাহরণের উৎসে।

সারকথা: প্রক্সি ডেটাসেট পদ্ধতিটির প্রয়োগের পরিসর বাড়ায়। প্রয়োগের শর্ত হলো ফাইন-টিউনিং ডেটায় প্রবেশাধিকার না থাকা।

মডেলগুলোর মূল্যায়নে কী দেখা গেছে


Tülu-3-8B এবং Llama-3.1-8B-Instruct-এ মূল্যায়ন করা হয়েছিল। Tülu-3-8B-এর ফাইন-টিউনিং ডেটা সর্বসাধারণের জন্য উপলব্ধ। Llama-3.1-8B-Instruct-কে নিয়ন্ত্রণ মডেল হিসেবে ব্যবহার করা হয়েছিল।

Tülu-3-8B-এর প্রশিক্ষণ মিশ্রণের নিরাপত্তা-সংক্রান্ত ডেটা বাহ্যিক ডেটাসেটের তুলনায় বেশি শক্তিশালী স্টিয়ারিং দিয়েছে। দুটি মডেলের ক্ষেত্রেই এটি সত্য।

Tülu-3-8B-এ প্রশিক্ষণ-উদাহরণ শনাক্ত করার সময় মেম্বারশিপ স্কোরগুলো অনেকাংশে একমত ছিল। সর্বোচ্চ স্কোর পাওয়া উদাহরণগুলোর ভিত্তিতে তৈরি ভেক্টর একই আকারের এলোমেলো উপনমুনার সঙ্গে তুলনীয় ফল দিয়েছে।

Llama-3.1-8B-Instruct-এর ফলাফল MIA-এর জন্য একটি শর্ত নির্ধারণ করে। ফিল্টার করা MIA অন্তর্দেশীয় ডেটার গড় দিকনির্দেশক স্থানান্তর OoD ডেটার স্থানান্তরের তুলনায় উল্লেখযোগ্যভাবে ছোট হলেই কেবল এই পদ্ধতি ইতিবাচক প্রভাব ফেলবে।

সারকথা: নিজস্ব ফাইন-টিউনিং ডেটা বাহ্যিক ডেটাসেটের তুলনায় বেশি শক্তিশালী স্টিয়ারিং দেয়। MIA-এর ক্ষেত্রে দিকনির্দেশক স্থানান্তর-সংক্রান্ত শর্তটি যাচাই করা জরুরি।

বেছে নেওয়ার ব্যবহারিক মানদণ্ড


পদ্ধতি নির্বাচন নির্ভর করে ফাইন-টিউনিং ডেটায় প্রবেশাধিকার আছে কি না তার ওপর। নিচের সারণিতে পরিস্থিতি, করণীয় এবং যাচাইয়ের বিষয় দেখানো হয়েছে।

পরিস্থিতিকরণীয়যাচাই
ফাইন-টিউনিং ডেটা পাওয়া যায়ওই ডেটার কনট্রাস্টিভ উদাহরণ থেকে জেনেসিস ভেক্টর তৈরিবাহ্যিক ডেটাসেটের সঙ্গে তুলনা
ডেটা পাওয়া যায় নামেম্বারশিপ ইনফারেন্সের মাধ্যমে সম্ভাব্য প্রশিক্ষণ-উদাহরণ খোঁজা এবং প্রক্সি ডেটাসেট তৈরিগড় দিকনির্দেশক স্থানান্তর-সংক্রান্ত শর্ত যাচাই
প্রক্সি ডেটাসেট তৈরি করা হয়েছেসর্বোচ্চ স্কোর পাওয়া উদাহরণগুলোর ভিত্তিতে ভেক্টর তৈরিএকই আকারের এলোমেলো উপনমুনার সঙ্গে তুলনা

সারকথা: ফাইন-টিউনিং ডেটা পাওয়া যায় কি না, তার ভিত্তিতে Genesis steering বেছে নেওয়া হয়। প্রক্সি ডেটাসেটের ক্ষেত্রে স্থানান্তর-সংক্রান্ত শর্ত যাচাই করতে হবে এবং এলোমেলো উপনমুনার সঙ্গে তুলনা করতে হবে।

সাধারণ প্রশ্নোত্তর

বিভিন্ন উপাদান

সব উপাদান
স্পার্স এক্সপার্টসহ ইন-কনটেক্সট ট্যাবুলার লার্নিং: কমপ্যাক্ট OrionMoE-Small-v1.0
সংবাদ

স্পার্স এক্সপার্টসহ ইন-কনটেক্সট ট্যাবুলার লার্নিং: কমপ্যাক্ট OrionMoE-Small-v1.0

টেবিলভিত্তিক কাজের জন্য একটি কমপ্যাক্ট ফাউন্ডেশন মডেল উপস্থাপন করা হয়েছে, যা প্যারামিটার ফাইন-টিউন না করেই লেবেলযুক্ত রেফারেন্স টেবিলের ভিত্তিতে নতুন পর্যবেক্ষণের পূর্বাভাস দেয়। ডেটাসেট ও বৈশিষ্ট্য উপস্থাপনা অনুযায়ী বিশেষজ্ঞদের অভিযোজিত নির্বাচন প্রতিযোগিতামূলক ফল দেয়, বিশেষত অল্প কনটেক্সট ও উচ্চ মাত্রিকতার ক্ষেত্রে।

15 নভেম্বর 2026
অবিশ্বস্ত পূর্বাভাসযুক্ত প্রোফাইলের জন্য কোভেরিয়েট শিফটের স্থানীয় অনুসন্ধান
সংবাদ

অবিশ্বস্ত পূর্বাভাসযুক্ত প্রোফাইলের জন্য কোভেরিয়েট শিফটের স্থানীয় অনুসন্ধান

প্রবন্ধটি এমন একটি ডায়াগনস্টিক পাইপলাইনের বর্ণনা দেয়, যা প্রথমে মডেলের কম আত্মবিশ্বাসযুক্ত রোগীদের ব্যাখ্যাযোগ্য গোষ্ঠী শনাক্ত করে, তারপর সেই গোষ্ঠীগুলোর মধ্যে ক্ষতিকর কোভেরিয়েট শিফটের উপস্থিতি যাচাই করে। তিনটি ক্লিনিক্যাল কাজ এবং তিনটি কৃত্রিম উপগোষ্ঠী-শিফট নিয়ে MIMIC-IV-তে চালানো পরীক্ষায় এই পদ্ধতি বয়সজনিত শিফট শনাক্ত করতে সাহায্য করেছে, যা সামগ্রিক মূল্যায়নে খুব একটা চোখে পড়েনি।

15 নভেম্বর 2026
FedPix: ফেডারেটেড লার্নিংয়ে তথ্য ফাঁস কমাতে ক্লায়েন্ট থেকে সংকুচিত ছবি প্রেরণ
সংবাদ

FedPix: ফেডারেটেড লার্নিংয়ে তথ্য ফাঁস কমাতে ক্লায়েন্ট থেকে সংকুচিত ছবি প্রেরণ

প্রবন্ধটিতে আলোচনা করা হয়েছে, ক্লায়েন্টকে সার্ভারে কী তথ্য পাঠানোর অনুমতি দেওয়া উচিত, এবং মডেলের ওজন বা মধ্যবর্তী উপস্থাপনার বদলে কমপ্যাক্ট, দৃশ্যত যাচাইযোগ্য ছবি পাঠানোর প্রশিক্ষণের প্রস্তাব দেওয়া হয়েছে। BloodMNIST, CIFAR-10, FashionMNIST এবং MNIST-এ এই পদ্ধতিতে পুনর্গঠনের সময় PSNR কম থাকে এবং 65,63–99,18% নির্ভুলতার সঙ্গে ক্লায়েন্টের সময় 96,0% পর্যন্ত কমে।

15 নভেম্বর 2026
Genesis Steering পদ্ধতি: ফাইন-টিউনিংয়ে ব্যবহৃত ডেটার ওপর অ্যাক্টিভেশন নিয়ন্ত্রণ