কেন শুধুমাত্র ভেক্টর সার্চ যথেষ্ট নয়
ভেক্টর ডেটাবেসগুলো অর্থগত মিল খুঁজে বের করতে ভালো, কিন্তু কর্পোরেট ডকুমেন্টেশন নিজস্ব নিয়মে চলে: কঠোর ডিরেক্টরি হায়ারার্কি, অসংখ্য বিষয়ভিত্তিক ডোমেইন, বিভাগগুলোর মধ্যে ক্রস-রেফারেন্স। "বেস স্টেশনের শক্তি খরচ কীভাবে কমানো যায়" এই প্রশ্নের জন্য শুধু মিল আছে এমন অনুচ্ছেদ নয়, বরং সংশ্লিষ্ট নির্দেশনা বিবেচনা করে সঠিক উপ-বিভাগে সুনির্দিষ্টভাবে পৌঁছানো প্রয়োজন। এই পর্যায়ে ক্লাসিক RAG স্কিমগুলো ভুল করতে শুরু করে: প্রশ্নটি ভুল ডোমেইনে চলে যায়, ডকুমেন্টের কাঠামো কার্যত উপেক্ষিত হয়, এবং কোথায় খোঁজা উচিত সে সম্পর্কে যুক্তি দিয়ে সার্চ সমর্থিত হয় না।
সম্প্রতি arXiv-এ প্রকাশিত একটি প্রি-প্রিন্টের লেখকরা VDGR-RAG ফ্রেমওয়ার্ক প্রস্তাব করেছেন, যা চারটি পদ্ধতিকে একত্রিত করে: ভেক্টর, ডিরেক্টরি, গ্রাফ এবং রিফ্লেকশন। সিস্টেমটি একটি এজেন্টের মতো কাজ করে: এটি কেবল খণ্ডগুলো বের করে না, বরং উদ্দেশ্যমূলকভাবে জ্ঞানভাণ্ডারে চলাচল করে, মধ্যবর্তী ফলাফল মূল্যায়ন করে এবং প্রয়োজন হলে পথ পরিবর্তন করে।
মূল ধারণা: ডিরেক্টরি থেকে নলেজ গ্রাফে
VDGR-RAG-এর ভিত্তি হলো ডকুমেন্টগুলো থেকে একটি হেটেরোজেনিয়াস নলেজ গ্রাফ (H²KG) তৈরি করা। এতে ডিরেক্টরির হায়ারার্কি সংরক্ষিত থাকে — বিভাগ এবং উপ-বিভাগের মধ্যে "প্যারেন্ট-চাইল্ড" সম্পর্ক — সেইসাথে অর্থগত ব্লকগুলোর মধ্যে সিম্যান্টিক সম্পর্কও। এর ফলে সিস্টেম যেকোনো মুহূর্তে প্রশ্নের উত্তর দিতে পারে: "এই খণ্ডটি কোন বিভাগে অবস্থিত?", "এই বিষয়ের সাথে আর কী সম্পর্কিত?", "সামগ্রিক প্রসঙ্গ পেতে কোথায় উপরে উঠতে হবে?"।
পারমাণবিক সার্চ টুল
এজেন্ট লজিক চারটি আন্তঃসংযুক্ত মডিউলের মাধ্যমে বাস্তবায়িত হয়।
- Directory-enhanced routing — সূচিপত্র অনুযায়ী নেভিগেশন। মডিউলটি প্রথমে সিদ্ধান্ত নেয় প্রশ্নটি কোন ডোমেইন বা নলেজ গ্রাফের সাথে সম্পর্কিত, এবং তারপরেই গভীর সার্চ শুরু করে।
- Multi-route retrieval — তিনটি উপায়ে সমান্তরালভাবে তথ্য আহরণ: ভেক্টর, স্ট্রাকচারাল (সূচিপত্রের বিভাগ অনুযায়ী) এবং গ্রাফ-ভিত্তিক। এটি গুরুত্বপূর্ণ ডকুমেন্ট বাদ পড়ার ঝুঁকি কমায়।
- Directory backtracking — যদি প্রাথমিক রাউটিং ভুল হয়, এজেন্ট ডিরেক্টরিতে ফিরে যায় এবং সার্চের গতিপথ পরিবর্তন করে।
- Dynamic reflection — প্রতিটি ধাপের পর সিস্টেম মূল্যায়ন করে পর্যাপ্ত তথ্য জমা হয়েছে কিনা, এবং পরবর্তী প্রশ্নের পরিকল্পনা করে। এটি মূলত একটি পুনরাবৃত্তিমূলক আত্ম-প্রতিফলন, যা অপ্রাসঙ্গিক খণ্ডে "ডুবে যাওয়া" থেকে বিরত রাখে।
মডিউলগুলো পর্যায়ক্রমে নয়, বরং একটি একীভূত লুপ হিসেবে কাজ করে: রিফ্লেকশন পুনরায় রাউটিং শুরু করতে পারে, এবং মাল্টি-সার্চ এমন প্রার্থীদের ফিরিয়ে আনতে পারে যাদের পরে গ্রাফের মাধ্যমে যাচাই করা প্রয়োজন। সার্চ একটি নমনীয় পুনরাবৃত্তিমূলক প্রক্রিয়ায় পরিণত হয়, এককালীন ইনডেক্স অ্যাক্সেস নয়।
পরীক্ষাগুলো কী দেখিয়েছে
ব্যবহারিক মূল্য লেখকরা চারটি ওয়্যারলেস ডোমেইনের সাথে সম্পর্কিত কর্পোরেট ডকুমেন্টে যাচাই করেছেন — যার মধ্যে শক্তি সাশ্রয় এবং ফল্ট ম্যানেজমেন্ট অন্তর্ভুক্ত। ফলাফলগুলি স্ট্যান্ডার্ড RAG সিস্টেমের তুলনায় উল্লেখযোগ্যভাবে ভালো ছিল, zarówno পাওয়া জ্ঞানের সম্পূর্ণতার দিক থেকে, তাও প্রশ্নের উত্তরের নির্ভুলতার দিক থেকে।
বিশেষভাবে কার্যকর ছিল ডিরেক্টরিতে ফিরে যাওয়ার ক্ষমতা: এটি এমন পরিস্থিতি সংশোধন করেছিল যেখানে সাধারণ ভেক্টর সার্চ আত্মবিশ্বাসের সাথে ভুল ফলাফল দিত। হায়ারার্কিকাল ডকুমেন্টেশনের জন্য এই ধরনের "সূচিপত্রের সাথে মিলিয়ে দেখা" প্রায়শই অতিরিক্ত ইনডেক্সের চেয়ে বেশি গুরুত্বপূর্ণ।
উপসংহার
VDGR-RAG কেবল আরেকটি হাইব্রিড রিট্রিভার নয়, বরং একটি উদাহরণ যে কীভাবে এজেন্ট নীতি এবং গ্রাফ উপস্থাপনা বাস্তব এন্টারপ্রাইজ সমস্যার সমাধান করে। যখন জ্ঞানভাণ্ডারে হায়ারার্কি গুরুত্বপূর্ণ, এবং বিভাগ নির্বাচনে একটি ভুল পুরো উত্তর নষ্ট করতে পারে, তখন শুধুমাত্র ভেক্টর সার্চ সত্যিই যথেষ্ট নয়।
