স্কেল ও মূল্যায়নের সীমা
একটি বড় আবাসন মার্কেটপ্লেসের সাপোর্ট সিস্টেম প্রতি মাসে লক্ষ লক্ষ কথোপকথন প্রক্রিয়াকরণ করে। এটি ১১টি ভাষায় কাজ করে, এবং উল্লেখিত P90 হলো ১০ সেকেন্ড। এই সূচকগুলো সিস্টেমের স্কেল বর্ণনা করে, তবে কোনো নির্দিষ্ট স্থাপত্যগত সিদ্ধান্তের প্রভাব দেখায় না।
| প্যারামিটার | মান |
|---|---|
| পরিমাণ | প্রতি মাসে লক্ষ লক্ষ কথোপকথন |
| ভাষা | ১১ |
| P90 | ১০ সেকেন্ড |
মাইগ্রেশনের সময় prompts, alignment এবং serving-ও পরিবর্তিত হয়েছে। তাই লেখকেরা কেবল একইভাবে পুনরায় চালানো কথোপকথনে মাপা প্রভাবগুলোকে স্থাপত্যের ফল হিসেবে গণ্য করেন।
মূল্যায়নের মানদণ্ড: মাইগ্রেশনের পর হওয়া সব পরিবর্তনের কৃতিত্ব স্থাপত্যকে না দিয়ে, অভিন্ন ইনপুট কথোপকথনে স্থাপত্যগুলোর তুলনা করা।
সার্চ, অ্যাকশন ও জেনারেশন কীভাবে ভাগ করা হয়েছে
Dynamic Response (DR) মিশ্র প্রতিক্রিয়াদাতা Qwen3-235B-A22B-এর পরিবর্তে টাইপযুক্ত টুল এবং ছোট জেনারেটরসহ একটি সীমাবদ্ধ ReAct অর্কেস্ট্রেটর ব্যবহার করে। জেনারেটর backend সিস্টেম দ্বারা যাচাইকৃত কনটেক্সট কন্ট্র্যাক্টের ভিত্তিতে উত্তর তৈরি করে।
| সিস্টেমের অংশ | ভূমিকা |
|---|---|
| সার্চ | টাইপযুক্ত সত্তা নির্বাচন, যার মধ্যে বুকিং নির্বাচনও রয়েছে |
| অ্যাকশন | টাইপযুক্ত অ্যাকশন আইডি এবং মালিকানা যাচাই |
| জেনারেশন | backend সিস্টেম দ্বারা যাচাইকৃত কনটেক্সট কন্ট্র্যাক্টের ভিত্তিতে উত্তর |
| অর্কেস্ট্রেশন | টাইপযুক্ত টুলের ওপর নির্মিত সীমাবদ্ধ ReAct অর্কেস্ট্রেটর |
এই বিভাজন সত্তা ও অ্যাকশন নির্বাচনকে উত্তর প্রণয়ন থেকে আলাদা করে। নির্বাচনের মানদণ্ড: যাচাইযোগ্য অপারেশন দরকার হলে, শুধু একটি একক উত্তর-জেনারেটর নয়, এই স্থাপত্য উপযুক্ত।
সত্তা ও অ্যাকশন নির্বাচন কীভাবে বদলেছে
টাইপযুক্ত সত্তা নির্বাচন বুকিং সিলেক্টরকে নির্ভুলতাকে অগ্রাধিকার দেওয়ার দিকে সরিয়ে নিয়েছে। নির্ভুলতা বেড়েছে, আর রিকল কমেছে। টাইপযুক্ত ID-এর মালিকানা যাচাই কাঠামোবদ্ধ অ্যাকশনে পর্যবেক্ষিত ত্রুটিগুলো দূর করেছে।
| মেট্রিক | আগে | পরে |
|---|---|---|
| বুকিং নির্বাচনের নির্ভুলতা | 8,3% | 89,1% |
| বুকিং নির্বাচনের রিকল | 75,2% | 67,3% |
| পর্যবেক্ষিত কাঠামোবদ্ধ অ্যাকশনের হ্যালুসিনেশন | 2,14% | 0,0% |
ফলাফলগুলো নির্বাচনের নির্ভুলতা ও রিকলের মধ্যে আপসটি দেখায়। নির্বাচনের মানদণ্ড: আগের রিকল বজায় রাখার চেয়ে ভুল নির্বাচন এড়ানো বেশি গুরুত্বপূর্ণ হলে এই পদ্ধতি উপযুক্ত।
এস্কেলেশন ও স্ব-পরিষেবা কীভাবে মূল্যায়ন করবেন
নিম্নস্তরের A/B পরীক্ষা replay-তে এস্কেলেশন কমার বিষয়টি পুনরুৎপাদন করেছে। তবে production-এ অপারেটরের কাছে হস্তান্তরের পরিমাণ মোটামুটি স্থিতিশীল ছিল।
| সূচক | আগে | পরে |
|---|---|---|
| কঠোর এস্কেলেশনসহ উত্তর | 5,60% | 3,08% |
| নরম এস্কেলেশনসহ উত্তর | 9,56% | 2,49% |
| Self-solve | — | ঊর্ধ্বমুখী প্রবণতা: +5,1 পি. পি.; 95% CI: −2 থেকে +12 |
এস্কেলেশন কমলেও অপারেটরের কাছে হস্তান্তরের পরিমাণে সমপরিমাণ হ্রাস ঘটেনি। Self-solve-কে লেখকেরা স্পষ্টভাবে প্রতিষ্ঠিত বৃদ্ধি হিসেবে নয়, বরং ঊর্ধ্বমুখী প্রবণতাসম্পন্ন ফল হিসেবে বর্ণনা করেছেন।
মূল্যায়নের মানদণ্ড: এস্কেলেশনসহ উত্তর, অপারেটরের কাছে প্রকৃত হস্তান্তর এবং self-solve আলাদাভাবে পর্যবেক্ষণ করুন।
Serving অপ্টিমাইজেশন থেকে কী পাওয়া গেছে
Serving অপ্টিমাইজেশনের ফলে অর্কেস্ট্রেটরের P90 বিলম্ব 3,87 থেকে 2,24 সেকেন্ডে নেমেছে। একই সঙ্গে GPU footprint প্রায় এক-তৃতীয়াংশ কমেছে।
| সূচক | পরিবর্তন |
|---|---|
| অর্কেস্ট্রেটরের P90 বিলম্ব | 3,87 → 2,24 সেকেন্ড |
| GPU footprint | প্রায় এক-তৃতীয়াংশ হ্রাস |
| self-hosting-এ মডেল serving-এর আনুমানিক বার্ষিক খরচ | এক অর্ডারেরও বেশি হ্রাস |
এই সূচকগুলো serving-এর সঙ্গে সম্পর্কিত, সত্তা বা অ্যাকশন নির্বাচনের গুণমানের সঙ্গে নয়। মূল্যায়নের মানদণ্ড: উত্তর-সংক্রান্ত মেট্রিক থেকে আলাদা করে বিলম্ব, কম্পিউটিং footprint এবং serving-এর খরচ বিবেচনা করুন।
