বিশ্লেষণের বিষয় হিসেবে প্রেক্ষাপটের বিচ্যুতি
LLM-এ হ্যালুসিনেশন ঘটার সঙ্গে কারণভিত্তিক জেনারেশনের সময় টোকেনগুলোর মধ্যে প্রেক্ষাপটের আদান-প্রদানে বিঘ্নের সম্পর্ক রয়েছে। arXiv:2609.21096-এ প্রকাশিত একটি গবেষণায় এই সম্পর্ক অনুসন্ধান করা হয়েছে; গবেষণাটি প্রকাশিত হয় ১৭ সেপ্টেম্বর ২০২৬-এ। লেখক: Amir Jalilifard, Anderson Rocha, Eric Wong, Marcos Medeiros Raimundo।
গবেষণাটি অ্যাটেনশন গ্রাফের ভেতরে তথ্যপ্রবাহের টপোলজিক্যাল প্যাটার্ন বিশ্লেষণ করে। লক্ষ্য হলো হ্যালুসিনেটেড ও নন-হ্যালুসিনেটেড উত্তরকে আলাদা করা।
এই পদ্ধতির মূল উপাদানগুলো:
- বিশ্লেষণের বিষয় হলো অ্যাটেনশন গ্রাফ, তৈরি হয়ে যাওয়া উত্তরের টেক্সট নয়।
- বৈশিষ্ট্য হলো টোকেনগুলোর মধ্যে তথ্যপ্রবাহের টপোলজি।
- কাজ হলো হ্যালুসিনেটেড ও নন-হ্যালুসিনেটেড উত্তরকে আলাদা করা।
উপসংহার: প্রেক্ষাপটের আদান-প্রদানে বিঘ্ন অ্যাটেনশন গ্রাফে পরিমাপযোগ্য কাঠামোগত চিহ্ন রেখে যায়।
Forman-Ricci বক্রতা ও তথ্যগত সংকীর্ণতা
গবেষণাটির একটি মূল পরিমাপক হলো Forman-Ricci বক্রতা। এটি অ্যাটেনশন গ্রাফে তথ্যগত সংকীর্ণতার ইঙ্গিত দেয় এমন কাঠামোগত প্যাটার্ন শনাক্ত করে।
এই পদ্ধতি অ্যাটেনশন হেডগুলোর তথ্যপ্রবাহের অর্ধ-স্থানীয় ও বৈশ্বিক বৈশিষ্ট্য বিবেচনা করে। এই বৈশিষ্ট্যগুলোর সঙ্গে হ্যালুসিনেটেড উত্তরের সম্পর্ক রয়েছে।
যা হিসাবের মধ্যে আসে:
- অ্যাটেনশন হেডগুলোর প্রবাহের অর্ধ-স্থানীয় বৈশিষ্ট্য।
- অ্যাটেনশন হেডগুলোর প্রবাহের বৈশ্বিক বৈশিষ্ট্য।
- এই বৈশিষ্ট্যগুলোর সঙ্গে হ্যালুসিনেটেড উত্তরের সম্পর্ক।
ব্যবহারিক মানদণ্ড: অর্ধ-স্থানীয় ও বৈশ্বিক বৈশিষ্ট্যসহ পুরো প্রবাহ মূল্যায়ন করলেই এর উপযোগিতা পাওয়া যায়।
হ্যালুসিনেটিং উত্তরের তিনটি লক্ষণ
হ্যালুসিনেটেড উত্তরে অ্যাটেনশনের স্বতন্ত্র কার্যপ্রণালি দেখা যায়। ট্রান্সফর্মারের শেষ স্তরে এগুলো সবচেয়ে স্পষ্টভাবে প্রকাশ পায়।
| প্যাটার্ন | তথ্যপ্রবাহ দেখতে যেমন | যেখানে সবচেয়ে স্পষ্ট |
|---|---|---|
| সেল্ফ-অ্যাটেনশনের ওপর অতিরিক্ত নির্ভরতা | প্রেক্ষাপট আদান-প্রদানের বদলে টোকেনগুলো নিজেদের মধ্যেই আবদ্ধ থাকে | ট্রান্সফর্মারের শেষ স্তর |
| প্রেক্ষাপটের বিক্ষিপ্ত আহরণ | আগের টোকেনগুলো থেকে তথ্য কোনো নির্দিষ্ট ফোকাস ছাড়াই সংগ্রহ করা হয় | ট্রান্সফর্মারের শেষ স্তর |
| তথ্যের অতিরিক্ত সংকোচন | প্রেক্ষাপটের প্রবাহে খুঁটিনাটি হারিয়ে যায় | ট্রান্সফর্মারের শেষ স্তর |
উপসংহার: অ্যাটেনশনের তিনটি ভিন্ন কার্যপ্রণালি একই দিকে নিয়ে যায়—প্রেক্ষাপটের আদান-প্রদানে বিঘ্ন।
বেসলাইন পদ্ধতির বিপরীতে এক-পাস যাচাই
বিভিন্ন LLM ও বহুল স্বীকৃত বেঞ্চমার্কে পদ্ধতিটি মূল্যায়ন করা হয়েছে। হ্যালুসিনেশন শনাক্তকরণের দুটি বেঞ্চমার্কে এক-পাস পদ্ধতিটি ধারাবাহিকভাবে বিদ্যমান বেসলাইন পদ্ধতিগুলোকে ছাড়িয়ে যায়।
বেসলাইন পদ্ধতিগুলো অ্যাটেনশন বৈশিষ্ট্য বা একাধিক উত্তরের ওপর নির্ভর করে। বিভিন্ন LLM আর্কিটেকচারে এই পদ্ধতিটি প্রতিযোগিতামূলক ফল দেখায়।
| পদ্ধতি | ভিত্তি | মূল্যায়নের ফল |
|---|---|---|
| Forman-Ricci বক্রতাভিত্তিক পদ্ধতি | অ্যাটেনশন গ্রাফের টপোলজিক্যাল বৈশিষ্ট্য | দুটি বেঞ্চমার্কে বেসলাইন পদ্ধতিগুলোকে ছাড়িয়ে যায়; বিভিন্ন LLM আর্কিটেকচারে প্রতিযোগিতামূলক ফল |
| অ্যাটেনশনভিত্তিক বেসলাইন পদ্ধতি | অ্যাটেনশন বৈশিষ্ট্য | দুটি বেঞ্চমার্কে এর চেয়ে ভালো ফল পাওয়া গেছে |
| একাধিক উত্তরভিত্তিক বেসলাইন পদ্ধতি | একাধিক উত্তর | দুটি বেঞ্চমার্কে এর চেয়ে ভালো ফল পাওয়া গেছে |
ব্যবহারিক মানদণ্ড: এক-পাস যাচাইয়ে একাধিক উত্তর লাগে না এবং এটি বিভিন্ন LLM আর্কিটেকচারে প্রয়োগ করা যায়।
