বিচ্ছিন্ন ডিফিউশন মডেলের অবস্থান
বিচ্ছিন্ন ডিনয়েজিং ডিফিউশন মডেল (DDM) বিচ্ছিন্ন ডেটা নিয়ে কাজ করে। এগুলো অটোরিগ্রেসিভ মডেলিংয়ের (AR) বিকল্প হিসেবে কাজ করে। ধাপে ধাপে সিকোয়েন্স চালিয়ে যাওয়ার বদলে মডেল সমান্তরালভাবে জেনারেট করে এবং পুনরাবৃত্তিমূলকভাবে ও বৈশ্বিকভাবে ফলাফল পরিমার্জন করে।
নিরবচ্ছিন্ন ডিফিউশনের সাথে মূল পার্থক্য হলো অবস্থা-স্পেসের গঠন। নিরবচ্ছিন্ন ক্ষেত্রে স্পেসটি নির্ধারিত। বিচ্ছিন্ন ক্ষেত্রে এটি নির্মিত হয়, এবং এই নির্মাণের উপরই জেনারেশন নির্ভর করে।
| পদ্ধতি | জেনারেশন মোড |
|---|---|
| অটোরিগ্রেসিভ মডেলিং | ক্রমিক জেনারেশন |
| নিরবচ্ছিন্ন ডিফিউশন | নির্ধারিত অবস্থা-স্পেসে পুনরাবৃত্তিমূলক পরিমার্জন |
| বিচ্ছিন্ন ডিফিউশন | সমান্তরাল জেনারেশন এবং পুনরাবৃত্তিমূলক বৈশ্বিক পরিমার্জন |
নির্বাচনের মানদণ্ডটি সহজ। DDM সেখানে নেওয়া হয় যেখানে সমান্তরাল জেনারেশন এবং ফলাফলের বৈশ্বিক পরিমার্জন প্রয়োজন। কিন্তু এমন জেনারেশনের গুণমান কেবল মডেল দ্বারাই নির্ধারিত হয় না।
অবস্থা-স্পেস: তিনটি উপাদান
একটি একক কাঠামো বিচ্ছিন্ন ডিফিউশনকে দেখে অন্তর্নিহিত বিচ্ছিন্ন অবস্থা-স্পেসের নির্মাণের মাধ্যমে। এই নির্মাণে তিনটি উপাদান রয়েছে।
- টোকেনাইজেশন স্কিম নির্ধারণ করে ডেটা কোন এককে বিভক্ত হয়।
- শব্দভাণ্ডারের টপোলজি নির্ধারণ করে এই এককগুলো পরস্পরের সাথে কীভাবে সম্পর্কিত।
- ডোমেইন-স্ট্রাকচারাল বর্ণমালা নির্ধারণ করে ক্ষেত্র-নির্দিষ্ট একক ও সংযোগ।
এই তিনটি সিদ্ধান্ত প্রস্তুত মডেলের উপরে সেটিংসে সীমাবদ্ধ নয়। এগুলো সেই স্পেসটিই নির্ধারণ করে যার মধ্য দিয়ে ডিফিউশন ঘটে। তাই টোকেনাইজেশন এবং জেনারেশন আলাদাভাবে নয়, বরং একই কাঠামোতে বিবেচনা করা হয়।
ব্যবহারিক মানদণ্ড: প্রথমে অবস্থা-স্পেস বর্ণনা করা হয়, তারপর মডেলের ফর্মুলেশন নির্বাচন করা হয়।
একক কাঠামো এবং তিনটি ফর্মুলেশন
বিচ্ছিন্ন ডিফিউশনের বিদ্যমান ফর্মুলেশনগুলো একটি সমাধান-স্পেসের ভিন্ন ভিন্ন ইনস্ট্যান্সিয়েশন হিসেবে প্রতীয়মান হয়। কাঠামোতে এগুলো তিনটি।
- Transition-matrix — ট্রানজিশন ম্যাট্রিক্সের মাধ্যমে ফর্মুলেশন।
- Masking / absorbing-state — মাস্কিং এবং শোষক অবস্থার মাধ্যমে ফর্মুলেশন।
- Score / ratio-based — স্কোর এবং অনুপাতের মাধ্যমে ফর্মুলেশন।
কাঠামোটি দেখায় যে এগুলো প্রতিদ্বন্দ্বী তত্ত্ব নয়, বরং একই নির্মাণের ভিন্নতা। এদের মধ্যে পার্থক্য লেখার পদ্ধতিতে, আর সাধারণ দিকটি হলো যে সমাধান-স্পেসের সাথে এগুলো সম্পর্কিত।
মানদণ্ড: ফর্মুলেশনগুলো তুলনা করা অর্থবহ কেবল একই কাঠামোর ভেতরে। এদের মধ্যে নির্বাচন অবস্থা-স্পেস কীভাবে গঠিত তার তুলনায় গৌণ।
সর্বব্যাপী ট্রেড-অফ
যে অক্ষগুলোতে সিদ্ধান্তগুলো সম্পর্কিত
কাঠামোটি একসাথে কয়েকটি অক্ষে সাধারণ ট্রেড-অফ প্রকাশ করে:
- প্রশিক্ষণের লক্ষ্য;
- ইনফারেন্স অ্যালগরিদম;
- স্কেলিংয়ে আচরণ;
- সিস্টেম অপ্টিমাইজেশন;
- মূল্যায়ন প্রোটোকল।
অক্ষগুলো পরস্পর সম্পর্কিত। প্রশিক্ষণের লক্ষ্য সম্পর্কিত সিদ্ধান্ত ইনফারেন্স অ্যালগরিদমের নির্বাচনকে সীমাবদ্ধ করে। সিস্টেম অপ্টিমাইজেশন এবং মূল্যায়ন প্রোটোকল একই নির্বাচনের উপর নির্ভর করে।
এটি কীভাবে ব্যবহার করবেন
বিকল্পগুলোর তুলনা একসাথে সব অক্ষে করা হয়। একটি অক্ষে লাভ বাকিগুলো যাচাই করা বাতিল করে না। কাঠামোটি আরও গবেষণার দিকনির্দেশও চিহ্নিত করে।
সিদ্ধান্তের ক্রম
- অবস্থা-স্পেস বর্ণনা করুন: টোকেনাইজেশন স্কিম, শব্দভাণ্ডারের টপোলজি, ডোমেইন স্ট্রাকচারাল বর্ণমালা।
- কাঠামোর ভেতরে ফর্মুলেশন নির্বাচন করুন: ট্রানজিশন ম্যাট্রিক্স, মাস্কিং, score/ratio।
- এই নির্মাণের জন্য প্রশিক্ষণের লক্ষ্য এবং ইনফারেন্স অ্যালগরিদম নির্ধারণ করুন।
- অক্ষগুলোতে সমাধান যাচাই করুন: স্কেলিং, সিস্টেম অপ্টিমাইজেশন, মূল্যায়ন প্রোটোকল।
নির্বাচনের মানদণ্ড: যদি অবস্থা-স্পেসের নির্মাণ বর্ণনা করা না হয়, তবে ফর্মুলেশন এবং ইনফারেন্স স্কিম ন্যায্যতা প্রতিপাদন করা যায় না। কাঠামোটি বর্ণিত হয়েছে «Discrete Diffusion Models: A Unified Framework from Tokenization to Generation» কাজে (arXiv:2607.13431, ২৫ আগস্ট ২০২৬-এর v2)।
