Статья থেকে রিপোজিটরি: কোথায় শৃঙ্খল ভেঙে যায়
বৈজ্ঞানিক প্রকাশনা কোনো অ্যাসেম্বলি নির্দেশিকা নয়। সূত্র ও গ্রাফসহ বিস্তারিত লেখাতেও কোড চালিয়ে একই সংখ্যা পাওয়ার জন্য যা যা প্রয়োজন, তার সব থাকে না। ঠিক এই ফাঁকটাই খতিয়ে দেখে ReproAgent: Contract-Guided Paper-to-Code Reproduction নামের কাজটি — এটি paper-to-code reproduction সমস্যাটিকে আনুষ্ঠানিক রূপ দেয়: একটি বৈজ্ঞানিক AI-এজেন্টকে একটি নিবন্ধকে চালনাযোগ্য রিপোজিটরিতে রূপান্তর করতে হবে, যেখানে পদ্ধতি, পরীক্ষার প্রোটোকল ও আর্টিফ্যাক্ট সংরক্ষিত থাকবে।
লেখকদের মতে, জটিলতার কারণ মডেলের "দুর্বলতা" নয়, বরং স্পেসিফিকেশনের খণ্ডিততা। স্পষ্ট অংশ — অ্যালগরিদম, মেট্রিক, আর্টিফ্যাক্টের গঠন — নিবন্ধে উপস্থিত থাকে, কিন্তু এজেন্টের দীর্ঘ ট্র্যাজেক্টরিতে এই বিবরণগুলো ধীরে ধীরে হারিয়ে যায়, কার্যকরী কনটেক্সট থেকে মুছে যায়। অস্পষ্ট অংশ — ফ্রেমওয়ার্কের ডিফল্ট, সন্নিহিত কাজ থেকে উত্তরাধিকারসূত্রে পাওয়া কনভেনশন — লেখায় একেবারেই উল্লেখ থাকে না: নিবন্ধের লেখকদের কাছে এতটাই স্পষ্ট যে শব্দের প্রয়োজন হয় না। এমন বিবরণ "সাধারণ বিবেচনায়" পুনর্গঠন করা যায় না, আর সেগুলো ছাড়া কোড হয় চলে না, নয়তো ভিন্ন ফলাফল দেয়।
প্রিপ্রিন্টের আনুষ্ঠানিক তথ্য: arXiv:2608.24291, মূল ক্যাটাগরি — cs.AI, অতিরিক্তভাবে cs.SE উল্লেখ করা হয়েছে; জমা দেওয়া হয়েছে ২০২৬ সালের ২৫ আগস্ট। লেখক — Xue Hu, Zewei Pan, Zhongyuan Wang, Zhou Liu, Zeli Su এবং Wentao Zhang, প্রেরক — Xue Hu। কাজটি Findings of EMNLP 2026-এ গৃহীত, DOI: 10.48550/arXiv.2608.24291।
এজেন্টের জন্য নোঙর হিসেবে বাস্তবায়ন চুক্তি
ReproAgent-এর মূল ধারণা — এজেন্টকে "শুধু নিবন্ধ পড়ে কোড লিখতে" দেওয়া নয়। বরং একটি স্থায়ী বাস্তবায়ন চুক্তি (implementation contract) তৈরি করা হয় — এমন একটি আর্টিফ্যাক্ট, যা পুরো কাজজুড়ে টিকে থাকে এবং কনটেক্সটে থাকা মূল লেখার বিপরীতে দীর্ঘ ট্র্যাজেক্টরি অতিক্রম করে।
চুক্তি দুটি স্বাধীন চ্যানেল থেকে পূরণ করা হয়:
- চাহিদা চ্যানেল (implementation-requirement) — নিবন্ধের অংশগুলোকে কোডের নির্দিষ্ট দায়িত্বে রূপান্তর করে: ঠিক কী বাস্তবায়ন করতে হবে, কোন মেট্রিক গণনা করতে হবে, কোন ডেটা লোড করতে হবে;
- সাক্ষ্য চ্যানেল (reference-evidence) — সম্পর্কিত রিপোজিটরি থেকে বিষয়বস্তুগত ও কাঠামোগত সংকেত বের করে, অর্থাৎ লেখায় না থাকা সেই অস্পষ্ট কনভেনশনগুলোই টেনে আনে।
এরপর দুটি ধারা মিলিত হয়: সেগুলো work packages — কাজের প্যাকেজের — সাথে যুক্ত হয়, তারপর আলাদা ফাইল-স্তরের চুক্তিতে প্রক্ষেপিত হয়। এই প্রক্ষেপণ গুরুত্বপূর্ণ, কারণ এজেন্টকে কাজ করতে হয় ঠিক ফাইল-স্তরেই, আর সেখানেই সাধারণত "নিবন্ধের ভাবনা" ও "কোডের লাইন"-এর মধ্যে সংযোগ হারিয়ে যায়।
এই গঠনের তাৎপর্য হলো — দায়িত্ব প্রাথমিক, উৎপাদন গৌণ। কোড লেখার মুহূর্তে এজেন্ট প্রয়োজনীয় বিবরণ মনে করার চেষ্টা করে না — সে আগেই নির্ধারিত চাহিদার সাথে মিলিয়ে নেয়।
চারটি পর্যায় এবং মেরামতের ভূমিকা
কাজটি চারটি ধারাবাহিক পর্যায়ের একটি কনভেয়ার হিসেবে বর্ণিত, যা মিলে সংক্ষিপ্ত রূপ Prepare — Plan — Generate — Repair গঠন করে।
- Prepare — প্রস্তুতি: নিবন্ধ ও সম্পর্কিত উপকরণ বিশ্লেষণ, চুক্তির প্রাথমিক পূরণ।
- Plan — পরিকল্পনা: কাজকে প্যাকেজে ভাগ করা এবং সেগুলোর সাথে দায়িত্ব ও সাক্ষ্য যুক্ত করা।
- Generate — ফাইল-স্তরের চুক্তি অনুযায়ী কোড উৎপাদন।
- Repair — মেরামত: চাহিদার সাথে ঠিক কী মিলছে না তা বোঝার জন্য চুক্তি পুনরায় ব্যবহার করা, এলোমেলোভাবে ত্রুটি তালি দেওয়া নয়।
অসমতার দিকে লক্ষ্য করুন: চুক্তি কেবল শুরুতে নয়, একেবারে শেষেও প্রয়োজন — ত্রুটি সংশোধনের সময়। সম্ভবত এটাই ধারণার সবচেয়ে ব্যবহারিক অংশ। বেশিরভাগ এজেন্টিক পাইপলাইন লেখার পর্যায়ে শক্তিশালী আর ডিবাগিং পর্যায়ে দুর্বল, কারণ প্রথম ত্রুটির সময় নাগাদ মূল স্পেসিফিকেশন ইতিমধ্যে ঝাপসা হয়ে যায়। এখানে তা হাতের নাগালেই থাকে।
যাচাই: PaperBench Code-Dev
লেখকেরা PaperBench Code-Dev-এ পদ্ধতিটি যাচাই করেছেন — এমন একটি বেঞ্চমার্ক, যেখানে এজেন্টকে বৈজ্ঞানিক নিবন্ধ অনুযায়ী কোড পুনরুৎপাদন করতে হয়। ফলাফল: একই backbone-যুক্ত স্ক্যাফোল্ডগুলোর মধ্যে সর্বোচ্চ গড় স্কোর। গুরুত্বপূর্ণ হলো, প্রভাবটি দুটি ভিন্ন বেস মডেলে দেখা যায় — Claude Sonnet 4.5 এবং Gemini 3 Flash।
এই পরিভাষাগুলোর অর্থ কী। Backbone — বেস মডেল, এজেন্টের "মস্তিষ্ক"। Scaffold — তার চারপাশের আবরণ: নিয়ম, স্মৃতি, ধাপের ক্রম, টুল। একই backbone-এ তুলনা করা — সুবিধাটি আসে স্থাপত্য থেকেই, আরও শক্তিশালী মডেল থেকে নয়, তা দেখানোর সঠিক উপায়। ReproAgent — ঠিক স্ক্যাফোল্ড শ্রেণিতে একটি অবদান।
অতিরিক্তভাবে লেখকেরা চ্যানেলভিত্তিক অ্যাবলেশন করেছেন: চাহিদা চ্যানেল বা সাক্ষ্য চ্যানেল নিষ্ক্রিয় করলে end-to-end গুণমান পড়ে যায়। পাশাপাশি আলাদা নিবন্ধের বিশ্লেষণ, যেখানে নির্দিষ্ট উদাহরণে প্রতিটি চ্যানেলের অবদান দেখা যায়। এমন দ্বৈত নিয়ন্ত্রণ — সামগ্রিক পরিমাপের সাথে গুণগত বিশ্লেষণ — সিদ্ধান্তগুলোকে টেবিলের একটি সংখ্যার চেয়ে বেশি বিশ্বাসযোগ্য করে তোলে।
লেখকদের দাবি অনুযায়ী, কোড ও পরীক্ষামূলক আর্টিফ্যাক্ট উন্মুক্তভাবে доступны।
বাস্তবে এটি কী বদলায়
কাজের মূল্য কেবল বেঞ্চমার্কের ফলাফলে নয়, সমস্যার গঠনপ্রণালীতেই। "স্পেসিফিকেশনের খণ্ডিততা" — এজেন্টরা কেন আত্মবিশ্বাসের সাথে সঠিক দেখতে এমন কোড লেখে, যা ফলাফল পুনরুৎপাদন করে না, তার একটি ভালো ব্যাখ্যা। স্পষ্ট বিবরণ ট্র্যাজেক্টরি দীর্ঘ হওয়ার সাথে সাথে হারিয়ে যায়, অস্পষ্টগুলো শুরু থেকেই অনুপস্থিত।
বাস্তবায়ন চুক্তি একটি বিকল্প পথ প্রস্তাব করে: দায়িত্বগুলো ভঙ্গুর কনটেক্সট থেকে বের করে একটি আলাদা টেকসই বস্তুতে রাখা এবং সব পর্যায়ে, ডিবাগিংসহ, তার সাথে মিলিয়ে নেওয়া। এই কৌশলটি স্থানান্তরযোগ্য মনে হয় — অনুরূপ "নির্ধারিত চাহিদা" অন্য কাজেও কাজে লাগতে পারে, যেখানে এজেন্টকে দীর্ঘ সময় মূল শর্ত ধরে রাখতে হয়: মাইগ্রেশন, অবকাঠামো পুনরুৎপাদন, দীর্ঘ প্রকৌশল কাজ।
সীমাবদ্ধতাও পদ্ধতির যুক্তি থেকেই স্পষ্ট: চুক্তির গুণমান সরাসরি চাহিদা নিষ্কাশনের গুণমান এবং যথাযথ সম্পর্কিত রিপোজিটরি খুঁজে পাওয়ার উপর নির্ভর করে। বিষয়ে যদি প্রকাশ্য কোড না থাকে, সাক্ষ্য চ্যানেল অন্ধভাবে কাজ করে। তবে লেখকদের অন্তত একটি বক্তব্য এখনই বিশ্বাসযোগ্য শোনায়: বৈজ্ঞানিক কাজের পুনরুৎপাদনযোগ্যতা — এটি স্পেসিফিকেশন নিয়ে একটি সমস্যা, কোড উৎপাদনের গতি নিয়ে নয়।
