নিউরোসিম্বলিক এজেন্টদের জন্য তাত্ত্বিক বাধা
আধুনিক AI-এজেন্ট, যেগুলো নিউরোসিম্বলিক নীতির উপর নির্মিত, ক্রমবর্ধমানভাবে সার্চ ইনফ্রাস্ট্রাকচারকে বাহ্যিক মেমোরি হিসেবে ব্যবহার করছে। এই প্রক্রিয়ায় যুক্তির শৃঙ্খলটি কেবল কীওয়ার্ডের একটি সাধারণ সেটে সংকলিত হয় না, বরং নেতিবাচকতা এবং শাখা-প্রশাখা সহ গভীরভাবে নেস্টেড বুলিয়ান কোয়েরিতে রূপান্তরিত হয়। এই ধরনের কোয়েরিগুলো প্রোগ্রামারের কাছে স্বাভাবিক মনে হয়, কিন্তু ক্লাসিক্যাল ইনভার্টেড ইনডেক্সের জন্য এগুলো একটি গুরুতর চ্যালেঞ্জে পরিণত হয়।
আমির আভানির সাম্প্রতিক প্রিপ্রিন্ট arXiv-এ (2601.18747, ১৭ আগস্ট ২০২৬-এর সর্বশেষ সংস্করণ) দেখায় যে, সমস্যাটি সার্চ ইঞ্জিন ডেভেলপারদের অলসতার কারণে নয়। লেখক L_R কোয়েরি ভাষাটিকে আনুষ্ঠানিকভাবে উপস্থাপন করেছেন, যা একটি নির্দেশিত অ্যাসাইক্লিক গ্রাফ হিসেবে দেখানো হয়েছে, এবং কঠোরভাবে প্রমাণ করেছেন: একটি ইনডেক্সের উপর এই ধরনের কোয়েরির মূল্যায়ন একটি P-সম্পূর্ণ সমস্যা। অন্য কথায়, সাধারণ ক্ষেত্রে এই প্রক্রিয়াটিকে একাধিক কোরের উপর কার্যকরভাবে সমান্তরাল করা সম্ভব হওয়ার সম্ভাবনা কম — যদি না P এবং NC শ্রেণীগুলো সমান হয়, যা বেশিরভাগ তাত্ত্বিক অত্যন্ত অসম্ভব বলে মনে করেন।
কাজটি একসাথে বেশ কয়েকটি ক্ষেত্রের সাথে সম্পর্কিত — তথ্য অনুসন্ধান, কৃত্রিম বুদ্ধিমত্তা, জটিলতা তত্ত্ব, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ এবং ডেটাবেস। এটি আকস্মিক নয়: সমস্যাটি AI এবং ক্লাসিক্যাল সার্চ প্রযুক্তির সংযোগস্থলে অবস্থিত।
দুটি ঐতিহ্যবাহী পদ্ধতি এবং তাদের দুর্বলতা
যখন একটি ইনভার্টেড ইনডেক্সের উপর কোয়েরি সম্পাদিত হয়, তখন সাধারণত দুটি কৌশলের একটি ব্যবহার করা হয়: ডকুমেন্ট-এট-আ-টাইম পুনরাবৃত্তিমূলক প্রক্রিয়াকরণ বা টার্ম-এট-আ-টাইম পদ্ধতিতে মধ্যবর্তী তালিকার মেটেরিয়ালাইজেশন। এই প্রতিটির নিজস্ব "গোপন সমস্যা" রয়েছে।
- Document-at-a-Time স্টেট সহ ইটারেটরের উপর নির্ভর করে, যা সাজানো ডকুমেন্ট তালিকার মাধ্যমে অগ্রসর হয়। দেখা যাচ্ছে, এই ধরনের ইটারেটর কাঠামোগতভাবে NC¹ শ্রেণীর স্কিমা দ্বারা সীমাবদ্ধ। যদি কোয়েরির লজিকে রিকনভারজেন্ট শাখা থাকে — অর্থাৎ, গ্রাফের একাধিক পথ একটি নোডে মিলিত হয় — তাহলে এই শাখাগুলিকে ট্রিতে নিষ্পাপভাবে বিস্তার করলে সূচকীয় বিস্ফোরণ ঘটে: সবচেয়ে খারাপ ক্ষেত্রে জটিলতা O(2^{|Q|})-এ পৌঁছায়, যেখানে |Q| হল কোয়েরির আকার।
- Term-at-a-Time সমস্যাটি ভিন্নভাবে সমাধান করার চেষ্টা করে: কোয়েরির প্রতিটি নোড ডকুমেন্টের তালিকা হিসেবে মেটেরিয়ালাইজ করা হয়। কিন্তু লজিক্যাল নেগেশান গণনা করার জন্য, এই পদ্ধতিটিকে সম্পূর্ণ ডকুমেন্ট ইউনিভার্স |U| জানতে হয়, যাতে বোঝা যায় কোন ডকুমেন্টগুলো ফলাফলে অন্তর্ভুক্ত নয়। এর ফলে Ω(|U|) জরিমানা arises — তথাকথিত ইউনিভার্সাল স্ক্যান। বড় সংগ্রহে এর অর্থ হল একটি "না"-এর জন্য পুরো ডেটাবেস স্ক্যান করা।
এইভাবে, দুটি ক্লাসিক্যাল পদ্ধতির প্রতিটি তার সীমিত ভূমিকা পালন করে, কিন্তু নন-মোনোটোনিক DAG-কোয়েরিতে তারা সময় বা স্থানের সীমার মধ্যে আটকে যায়। এখন পর্যন্ত মনে করা হতো এটি অভিব্যক্তির জন্য অনিবার্য মূল্য।
ComputePN অ্যালগরিদম
আমির আভানি একটি বিকল্প পথের প্রস্তাব দেন — একটি ডিটারমিনিস্টিক অ্যালগরিদম ComputePN, যা বিশেষভাবে স্পার্স ডেটার জন্য তৈরি। মূল ধারণা হল সম্পূর্ণ ইউনিভার্সের মেটেরিয়ালাইজেশন থেকে লজিক্যাল নেগেশানকে আলাদা করা। "যে সব ডকুমেন্ট নেই" তার সম্পূর্ণ তালিকা তৈরি করার পরিবর্তে, ComputePN প্রতিটি নোডের একটি দ্বৈত উপস্থাপনা ব্যবহার করে: একটি "পজিটিভ-নেগেটিভ" জোড়া উভয়ই সংরক্ষণ করে — যা ফলাফলে অন্তর্ভুক্ত এবং যা নিশ্চিতভাবে অন্তর্ভুক্ত নয়।
এই পদ্ধতিটি শুধুমাত্র সক্রিয় ডকুমেন্ট বিবেচনা করতে দেয় — যেগুলো প্রকৃতপক্ষে গণনায় অংশ নেয়। মধ্যবর্তী ফলাফলগুলি সরাসরি কোয়েরি গ্রাফে মেমোইজ করা হয়, তাই একই উপ-অভিব্যক্তিগুলি বারবার গণনা করা হয় না। চূড়ান্ত জটিলতা O(|Q| · |U_active|) হিসাবে অনুমান করা হয়, যেখানে U_active হল প্রভাবিত ডকুমেন্টের সেট, সম্পূর্ণ ইউনিভার্স নয়।
অনুশীলনে এর অর্থ হল, নেতিবাচকতা এবং মিলিত শাখা সহ ভারী ক্ষেত্রগুলি আর মারাত্মক নয়। যদি প্রকৃত সংগ্রহটি বড় হয়, কিন্তু কোয়েরি তার শুধুমাত্র একটি ছোট অংশ স্পর্শ করে, ComputePN কার্যকর থাকে।
সার্চ ইঞ্জিন এবং AI-এর জন্য এর অর্থ কী
কাজের মূল উপসংহার এই নয় যে ইনভার্টেড ইনডেক্স অতিক্রম করা মূলত অসম্ভব। বরং উল্টো: লেখক দেখান কীভাবে P-সম্পূর্ণ কোয়েরিগুলি নেটিভভাবে গণনা করা যায়, দুটি প্রধান ফাঁদ এড়িয়ে — কম্বিনেটোরিয়াল ট্রি বিস্তার এবং নেগেশানের জন্য সমস্ত ডকুমেন্ট স্ক্যান করা।
হাইব্রিড নিউরোসিম্বলিক সিস্টেমের জন্য এটি একটি গুরুত্বপূর্ণ সংকেত। LLM-এজেন্টরা ক্রমবর্ধমান পরিশীলিত কোয়েরি তৈরি করছে, এবং সার্চ ব্যাকএন্ডকে বিপর্যয়কর অবনতি ছাড়াই সেগুলি পরিবেশন করতে সক্ষম হতে হবে। তাত্ত্বিক P-সম্পূর্ণতা সমান্তরাল আর্কিটেকচারের ডেভেলপারদের জন্য একটি সতর্কতা হিসাবে রয়ে গেছে, কিন্তু ComputePN দেখায় যে সঠিক ইঞ্জিনিয়ারিং বাস্তবায়ন সবচেয়ে খারাপ পরিস্থিতিগুলি এড়াতে সক্ষম।
তবে, production-সিস্টেমে অ্যালগরিদম আসার আগে এখনও অনেক কাজ বাকি। প্রস্তাবিত স্কিমাটির জন্য বাস্তব সার্চ ইঞ্জিনের স্তরে দ্বৈত উপস্থাপনা এবং মেমোইজেশনের সাথে সতর্ক কাজ প্রয়োজন। কিন্তু সমস্যাটি অবশেষে একটি কঠোর তাত্ত্বিক ভিত্তি পেয়েছে — এটি নিজেই গুরুত্বপূর্ণ: এখন ডেভেলপাররা অন্তত জানেন যে তারা কী ধরনের জটিলতার সাথে মোকাবিলা করছেন এবং কোন কৌশলগুলি সত্যিই সাহায্য করে।
