RBS-Attention: অবমূল্যায়িত ব্লক খুঁজে দীর্ঘ প্রম্পটের প্রিফিল ত্বরান্বিত করা
নিবন্ধে এমন একটি পদ্ধতি উপস্থাপন করা হয়েছে, যা গড় সাদৃশ্যের ভিত্তিতে ব্লক বাছাইয়ের পাশাপাশি গুরুত্বপূর্ণ টোকেন আড়াল করতে সক্ষম প্রার্থীদেরও খুঁজে বের করে। 128K কনটেক্সটে লেখকেরা প্রিফিলের সময় অ্যাটেনশনে সর্বোচ্চ 20,65 গুণ গতি বৃদ্ধির কথা জানিয়েছেন; Qwen3-32B-তে RULER ফল ছিল 88,65, যেখানে ডেন্স অ্যাটেনশনের ফল 89,52।

ইনফারেন্সের কোন অংশটি দ্রুততর করে
জেনারেশন শুরু হওয়ার আগে প্রম্পট প্রক্রিয়া করে প্রিফিল। ঘন self-attention পুরো ইনপুটের ওপর কাজ করে, তাই দীর্ঘ কনটেক্সট এই ধাপের গণনাগত চাপ বাড়ায়।
RBS-Attention প্রিফিলের জন্য বেছে বেছে ব্লক নির্বাচন করে, ফলে গণনাগত ব্যয় কমতে পারে। তবে ব্লকের সেন্ট্রয়েড টোকেনগুলোর প্রাসঙ্গিকতার গড় হিসাব করে, তাই অপ্রাসঙ্গিক টোকেনের মধ্যে থাকা কোনো গুরুত্বপূর্ণ টোকেন আড়ালে পড়ে যেতে পারে। লেখকেরা এই ত্রুটিকে mean dilution বলেন।

পদ্ধতিটির ব্যবহারিক উদ্দেশ্য হলো, পুরো ব্লকের গড় প্রাসঙ্গিকতার ওপর একমাত্র নির্ভর না করে প্রিফিলকে দ্রুততর করা।
ব্লক নির্বাচন যেভাবে কাজ করে
পদ্ধতিটির প্রশিক্ষণের প্রয়োজন নেই এবং এটি পরস্পরকে পরিপূরক দুটি শাখা ব্যবহার করে:
- মূল শাখা সেন্ট্রয়েডের মাধ্যমে ব্লকের গড় প্রাসঙ্গিকতা নির্ণয় করে।
- পুনরুদ্ধার শাখা key-ব্লকের সর্বোচ্চ ব্যাসার্ধ এবং প্রম্পট, স্তর ও হেডের ওপর নির্ভরশীল এর বণ্টন বিবেচনা করে। এভাবে সম্ভাব্যভাবে কম মূল্যায়িত প্রাসঙ্গিকতাসম্পন্ন ব্লক শনাক্ত করা হয়।
প্রতিটি শাখা আলাদাভাবে নিজের নির্বাচনের ওপর একটি থ্রেশহোল্ড প্রয়োগ করে। এরপর পদ্ধতিটি মাস্কগুলো একত্র করে এবং পুনরুদ্ধার শাখার ব্লকগুলোর অবদান নিয়ন্ত্রণ করে। নিয়মিত ব্লক-স্পার্স FlashAttention দিয়েই কার্যকর করা হয়।
যেসব পরিস্থিতিতে সেন্ট্রয়েড-ভিত্তিক নির্বাচন কিছু স্বতন্ত্র প্রাসঙ্গিক টোকেন বাদ দিতে পারে, অথচ ব্লক-স্পার্স কার্যকরকরণ বজায় রাখা দরকার—সেসবের জন্য এই নকশা উপযোগী।
গতির জন্য কী ফলাফল দেখানো হয়েছে
H100-এ 128K কনটেক্সট নিয়ে পরিমাপ করা হয়েছিল। Qwen3-30B-A3B-Instruct-2507-FP8-এর জন্য নিবন্ধে নিচের গতি বৃদ্ধির কথা বলা হয়েছে:
| ধাপ | গতি বৃদ্ধি |
|---|---|
| Standalone prefill-attention | 20.65× |
| vLLM-এ Prefill-attention | 11.92× |
| শুরু থেকে শেষ পর্যন্ত time-to-first-token | 5.97× |
এগুলো নির্দিষ্ট কনফিগারেশনের ফলাফল। এগুলোকে গুণমানের মূল্যায়ন থেকে আলাদাভাবে বিবেচনা করা উচিত এবং উপযুক্ত পরিমাপ ছাড়া অন্য মডেলে প্রয়োগ করা উচিত নয়।
গুণমান ও যাচাই সম্পর্কে কী জানা গেছে
ঘন Qwen3-32B মডেলে RULER-এর সামগ্রিক নির্ভুলতা ছিল 88.65। ঘন attention-এর জন্য 89.52 উল্লেখ করা হয়েছে।
LongBench-v2, InfiniteBench এবং Video-MME-তে অতিরিক্ত গুণমান মূল্যায়ন করা হয়েছিল। সহায়ক পরীক্ষাগুলোতে প্রাসঙ্গিক তথ্য ধরে রাখার ক্ষমতা পরিমাপ করা হয়েছে, একই ঘনত্বে সিলেক্টরগুলোর তুলনা করা হয়েছে এবং ব্লকের বিভিন্ন আকার, থ্রেশহোল্ড ও মেমরির পরিমাণ যাচাই করা হয়েছে।
পদ্ধতি বেছে নেওয়ার সময় গতি ও গুণমান আলাদাভাবে মূল্যায়ন করা উচিত: RULER-এর উল্লেখিত ফলাফল নির্দিষ্ট ব্যবহারের জন্য গুরুত্বপূর্ণ কাজগুলোতে যাচাইয়ের বিকল্প নয়।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
Toollery: ফাইন-টিউনিং ছাড়াই কয়েক দশ হাজার বিকল্প থেকে LLM এজেন্টের জন্য টুল নির্বাচন
Toollery দক্ষতা ও টুলের বিবরণের ওপর ভিত্তি করে একটি সার্চ ইনডেক্স তৈরি করে এবং অনুরোধের সময় মডেলকে কেবল সীমিতসংখ্যক সম্ভাব্য প্রার্থী দেয়। কয়েক দশ হাজার ফাংশন পর্যন্ত বিস্তৃত লাইব্রেরিতে চালানো পরীক্ষায় দেখা গেছে, নির্দিষ্ট top-K বজায় রেখেও এই পদ্ধতি বাছাইয়ের মান ধরে রাখতে পারে, যদিও চূড়ান্ত ফল নির্ভর করে ব্যবহারের ধরন এবং প্রোভাইডারের ক্যাশিংয়ের ওপর।
11 নভেম্বর 2026
ড্যাশবোর্ড বিশ্লেষণে GUI এজেন্টদের ধাপে ধাপে ডায়াগনস্টিকস: DashAct বেঞ্চমার্ক
DashAct উপস্থাপন করা হলো—মানুষের দ্বারা যাচাই করা ৩৪৮টি ট্র্যাজেক্টরির একটি বেঞ্চমার্ক, যা ইন্টারঅ্যাকটিভ প্যানেলে GUI এজেন্টদের কাজকে তিনটি ধাপ ও চারটি ভিজ্যুয়াল পরিস্থিতিতে বিশ্লেষণ করে। ফলাফলগুলোতে অ্যাকশন পূর্বাভাস এবং ভিজ্যুয়াল লক্ষ্য শনাক্তকরণে ধারাবাহিক সমস্যা, পাশাপাশি প্রাসঙ্গিক ও স্থানিক সহায়তার ওপর এজেন্টদের প্রতিক্রিয়ার নির্ভরতা দেখা যায়।
11 নভেম্বর 2026
WILSON: রোগীর প্যাথোমরফোলজিক্যাল বিশ্লেষণ ও রিপোর্ট তৈরির জন্য ম্যাগনিফিকেশন ও স্লাইড একত্রিত করা
প্রিপ্রিন্টে WILSON উপস্থাপন করা হয়েছে—একটি ভিশন-ল্যাঙ্গুয়েজ মডেল, যা শুধু একটি আলাদা “সেরা” স্লাইড নয়, বরং সম্পূর্ণ স্লাইডের ছবি এবং একই রোগীর বিভিন্ন বিবর্ধনে তোলা নমুনার সিরিজ এনকোড করে। নির্দিষ্ট কাজের জন্য অতিরিক্ত প্রশিক্ষণ ছাড়াই, উল্লেখযোগ্যভাবে কম কম্পিউটেশনাল ব্যয়ে এটি বিভিন্ন মেট্রিকে বিশেষায়িত ও আরও বড় স্লাইড-মডেলগুলোকে ছাড়িয়ে যায়; পাশাপাশি, এর রোগনির্ণয়মূলক বর্ণনাগুলো প্যাথলজিস্টদের কাছ থেকে বেশি নম্বর পেয়েছে।
11 নভেম্বর 2026