ReproAgent: একটি AI এজেন্ট "ইমপ্লিমেন্টেশন কনট্র্যাক্ট" এর উপর নির্ভর করে বৈজ্ঞানিক নিবন্ধ থেকে কার্যকর কোড তৈরি করে
একটি প্রকাশনা থেকে রিপোজিটরি পুনর্গঠনে বাধা দেয় ছিন্নভিন্ন স্পেসিফিকেশন: এজেন্টের দীর্ঘ যুক্তি-শৃঙ্খলার পথে কিছু তথ্য হারিয়ে যায়, আর বাকিটা নিবন্ধের পাঠ্যে উল্লেখই করা হয় না, কারণ সেগুলো ফ্রেমওয়ার্কগুলোর সর্বজনস্বীকৃত ডিফল্টের অন্তর্গত। ReproAgent এটি সমাধান করে চার-পর্যায়ের চক্র এবং একটি স্থায়ী কনট্র্যাক্টের মাধ্যমে, যা নিবন্ধের প্রয়োজনীয়তাগুলোকে সংশ্লিষ্ট উন্মুক্ত রিপোজিটরির সাক্ষ্যের সঙ্গে সংযুক্ত করে; PaperBench Code-Dev বেঞ্চমার্কে একই বেস মডেলযুক্ত স্ক্যাফোল্ডগুলোর মধ্যে এই পদ্ধতি সেরা গড় ফলাফল দিয়েছে।

Статья থেকে রিপোজিটরি: কোথায় শৃঙ্খল ভেঙে যায়
বৈজ্ঞানিক প্রকাশনা কোনো অ্যাসেম্বলি নির্দেশিকা নয়। সূত্র ও গ্রাফসহ বিস্তারিত লেখাতেও কোড চালিয়ে একই সংখ্যা পাওয়ার জন্য যা যা প্রয়োজন, তার সব থাকে না। ঠিক এই ফাঁকটাই খতিয়ে দেখে ReproAgent: Contract-Guided Paper-to-Code Reproduction নামের কাজটি — এটি paper-to-code reproduction সমস্যাটিকে আনুষ্ঠানিক রূপ দেয়: একটি বৈজ্ঞানিক AI-এজেন্টকে একটি নিবন্ধকে চালনাযোগ্য রিপোজিটরিতে রূপান্তর করতে হবে, যেখানে পদ্ধতি, পরীক্ষার প্রোটোকল ও আর্টিফ্যাক্ট সংরক্ষিত থাকবে।
লেখকদের মতে, জটিলতার কারণ মডেলের "দুর্বলতা" নয়, বরং স্পেসিফিকেশনের খণ্ডিততা। স্পষ্ট অংশ — অ্যালগরিদম, মেট্রিক, আর্টিফ্যাক্টের গঠন — নিবন্ধে উপস্থিত থাকে, কিন্তু এজেন্টের দীর্ঘ ট্র্যাজেক্টরিতে এই বিবরণগুলো ধীরে ধীরে হারিয়ে যায়, কার্যকরী কনটেক্সট থেকে মুছে যায়। অস্পষ্ট অংশ — ফ্রেমওয়ার্কের ডিফল্ট, সন্নিহিত কাজ থেকে উত্তরাধিকারসূত্রে পাওয়া কনভেনশন — লেখায় একেবারেই উল্লেখ থাকে না: নিবন্ধের লেখকদের কাছে এতটাই স্পষ্ট যে শব্দের প্রয়োজন হয় না। এমন বিবরণ "সাধারণ বিবেচনায়" পুনর্গঠন করা যায় না, আর সেগুলো ছাড়া কোড হয় চলে না, নয়তো ভিন্ন ফলাফল দেয়।
প্রিপ্রিন্টের আনুষ্ঠানিক তথ্য: arXiv:2608.24291, মূল ক্যাটাগরি — cs.AI, অতিরিক্তভাবে cs.SE উল্লেখ করা হয়েছে; জমা দেওয়া হয়েছে ২০২৬ সালের ২৫ আগস্ট। লেখক — Xue Hu, Zewei Pan, Zhongyuan Wang, Zhou Liu, Zeli Su এবং Wentao Zhang, প্রেরক — Xue Hu। কাজটি Findings of EMNLP 2026-এ গৃহীত, DOI: 10.48550/arXiv.2608.24291।

এজেন্টের জন্য নোঙর হিসেবে বাস্তবায়ন চুক্তি
ReproAgent-এর মূল ধারণা — এজেন্টকে "শুধু নিবন্ধ পড়ে কোড লিখতে" দেওয়া নয়। বরং একটি স্থায়ী বাস্তবায়ন চুক্তি (implementation contract) তৈরি করা হয় — এমন একটি আর্টিফ্যাক্ট, যা পুরো কাজজুড়ে টিকে থাকে এবং কনটেক্সটে থাকা মূল লেখার বিপরীতে দীর্ঘ ট্র্যাজেক্টরি অতিক্রম করে।
চুক্তি দুটি স্বাধীন চ্যানেল থেকে পূরণ করা হয়:
- চাহিদা চ্যানেল (implementation-requirement) — নিবন্ধের অংশগুলোকে কোডের নির্দিষ্ট দায়িত্বে রূপান্তর করে: ঠিক কী বাস্তবায়ন করতে হবে, কোন মেট্রিক গণনা করতে হবে, কোন ডেটা লোড করতে হবে;
- সাক্ষ্য চ্যানেল (reference-evidence) — সম্পর্কিত রিপোজিটরি থেকে বিষয়বস্তুগত ও কাঠামোগত সংকেত বের করে, অর্থাৎ লেখায় না থাকা সেই অস্পষ্ট কনভেনশনগুলোই টেনে আনে।
এরপর দুটি ধারা মিলিত হয়: সেগুলো work packages — কাজের প্যাকেজের — সাথে যুক্ত হয়, তারপর আলাদা ফাইল-স্তরের চুক্তিতে প্রক্ষেপিত হয়। এই প্রক্ষেপণ গুরুত্বপূর্ণ, কারণ এজেন্টকে কাজ করতে হয় ঠিক ফাইল-স্তরেই, আর সেখানেই সাধারণত "নিবন্ধের ভাবনা" ও "কোডের লাইন"-এর মধ্যে সংযোগ হারিয়ে যায়।
এই গঠনের তাৎপর্য হলো — দায়িত্ব প্রাথমিক, উৎপাদন গৌণ। কোড লেখার মুহূর্তে এজেন্ট প্রয়োজনীয় বিবরণ মনে করার চেষ্টা করে না — সে আগেই নির্ধারিত চাহিদার সাথে মিলিয়ে নেয়।

চারটি পর্যায় এবং মেরামতের ভূমিকা
কাজটি চারটি ধারাবাহিক পর্যায়ের একটি কনভেয়ার হিসেবে বর্ণিত, যা মিলে সংক্ষিপ্ত রূপ Prepare — Plan — Generate — Repair গঠন করে।
- Prepare — প্রস্তুতি: নিবন্ধ ও সম্পর্কিত উপকরণ বিশ্লেষণ, চুক্তির প্রাথমিক পূরণ।
- Plan — পরিকল্পনা: কাজকে প্যাকেজে ভাগ করা এবং সেগুলোর সাথে দায়িত্ব ও সাক্ষ্য যুক্ত করা।
- Generate — ফাইল-স্তরের চুক্তি অনুযায়ী কোড উৎপাদন।
- Repair — মেরামত: চাহিদার সাথে ঠিক কী মিলছে না তা বোঝার জন্য চুক্তি পুনরায় ব্যবহার করা, এলোমেলোভাবে ত্রুটি তালি দেওয়া নয়।
অসমতার দিকে লক্ষ্য করুন: চুক্তি কেবল শুরুতে নয়, একেবারে শেষেও প্রয়োজন — ত্রুটি সংশোধনের সময়। সম্ভবত এটাই ধারণার সবচেয়ে ব্যবহারিক অংশ। বেশিরভাগ এজেন্টিক পাইপলাইন লেখার পর্যায়ে শক্তিশালী আর ডিবাগিং পর্যায়ে দুর্বল, কারণ প্রথম ত্রুটির সময় নাগাদ মূল স্পেসিফিকেশন ইতিমধ্যে ঝাপসা হয়ে যায়। এখানে তা হাতের নাগালেই থাকে।
যাচাই: PaperBench Code-Dev
লেখকেরা PaperBench Code-Dev-এ পদ্ধতিটি যাচাই করেছেন — এমন একটি বেঞ্চমার্ক, যেখানে এজেন্টকে বৈজ্ঞানিক নিবন্ধ অনুযায়ী কোড পুনরুৎপাদন করতে হয়। ফলাফল: একই backbone-যুক্ত স্ক্যাফোল্ডগুলোর মধ্যে সর্বোচ্চ গড় স্কোর। গুরুত্বপূর্ণ হলো, প্রভাবটি দুটি ভিন্ন বেস মডেলে দেখা যায় — Claude Sonnet 4.5 এবং Gemini 3 Flash।
এই পরিভাষাগুলোর অর্থ কী। Backbone — বেস মডেল, এজেন্টের "মস্তিষ্ক"। Scaffold — তার চারপাশের আবরণ: নিয়ম, স্মৃতি, ধাপের ক্রম, টুল। একই backbone-এ তুলনা করা — সুবিধাটি আসে স্থাপত্য থেকেই, আরও শক্তিশালী মডেল থেকে নয়, তা দেখানোর সঠিক উপায়। ReproAgent — ঠিক স্ক্যাফোল্ড শ্রেণিতে একটি অবদান।
অতিরিক্তভাবে লেখকেরা চ্যানেলভিত্তিক অ্যাবলেশন করেছেন: চাহিদা চ্যানেল বা সাক্ষ্য চ্যানেল নিষ্ক্রিয় করলে end-to-end গুণমান পড়ে যায়। পাশাপাশি আলাদা নিবন্ধের বিশ্লেষণ, যেখানে নির্দিষ্ট উদাহরণে প্রতিটি চ্যানেলের অবদান দেখা যায়। এমন দ্বৈত নিয়ন্ত্রণ — সামগ্রিক পরিমাপের সাথে গুণগত বিশ্লেষণ — সিদ্ধান্তগুলোকে টেবিলের একটি সংখ্যার চেয়ে বেশি বিশ্বাসযোগ্য করে তোলে।
লেখকদের দাবি অনুযায়ী, কোড ও পরীক্ষামূলক আর্টিফ্যাক্ট উন্মুক্তভাবে доступны।

বাস্তবে এটি কী বদলায়
কাজের মূল্য কেবল বেঞ্চমার্কের ফলাফলে নয়, সমস্যার গঠনপ্রণালীতেই। "স্পেসিফিকেশনের খণ্ডিততা" — এজেন্টরা কেন আত্মবিশ্বাসের সাথে সঠিক দেখতে এমন কোড লেখে, যা ফলাফল পুনরুৎপাদন করে না, তার একটি ভালো ব্যাখ্যা। স্পষ্ট বিবরণ ট্র্যাজেক্টরি দীর্ঘ হওয়ার সাথে সাথে হারিয়ে যায়, অস্পষ্টগুলো শুরু থেকেই অনুপস্থিত।
বাস্তবায়ন চুক্তি একটি বিকল্প পথ প্রস্তাব করে: দায়িত্বগুলো ভঙ্গুর কনটেক্সট থেকে বের করে একটি আলাদা টেকসই বস্তুতে রাখা এবং সব পর্যায়ে, ডিবাগিংসহ, তার সাথে মিলিয়ে নেওয়া। এই কৌশলটি স্থানান্তরযোগ্য মনে হয় — অনুরূপ "নির্ধারিত চাহিদা" অন্য কাজেও কাজে লাগতে পারে, যেখানে এজেন্টকে দীর্ঘ সময় মূল শর্ত ধরে রাখতে হয়: মাইগ্রেশন, অবকাঠামো পুনরুৎপাদন, দীর্ঘ প্রকৌশল কাজ।
সীমাবদ্ধতাও পদ্ধতির যুক্তি থেকেই স্পষ্ট: চুক্তির গুণমান সরাসরি চাহিদা নিষ্কাশনের গুণমান এবং যথাযথ সম্পর্কিত রিপোজিটরি খুঁজে পাওয়ার উপর নির্ভর করে। বিষয়ে যদি প্রকাশ্য কোড না থাকে, সাক্ষ্য চ্যানেল অন্ধভাবে কাজ করে। তবে লেখকদের অন্তত একটি বক্তব্য এখনই বিশ্বাসযোগ্য শোনায়: বৈজ্ঞানিক কাজের পুনরুৎপাদনযোগ্যতা — এটি স্পেসিফিকেশন নিয়ে একটি সমস্যা, কোড উৎপাদনের গতি নিয়ে নয়।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
প্রার্থী যাচাই করতে সেগুলো তৈরি করার চেয়ে বেশি খরচ হয়: LLM-এর দুর্বলতা অনুসন্ধানের বিরুদ্ধে ডিকয়গুলি
এই কাজে এজেন্টভিত্তিক ত্রুটি অনুসন্ধানের ব্যয়ের অসমতা বিশ্লেষণ করা হয়েছে: সংস্করণ তৈরি করা সস্তা, কিন্তু পৌঁছনযোগ্যতা বিশ্লেষণ, কার্যকরকরণ এবং PoC-এর মাধ্যমে সেগুলো নিশ্চিত করতে মূল বাজেটের প্রয়োজন হয়। তাই যাচাইকরণকে প্রতিরক্ষার স্বতন্ত্র লক্ষ্য করা যেতে পারে। প্রস্তাবিত RedHerring—রিপোজিটরি অনুযায়ী মানিয়ে নেওয়া, সিল করা সার্টিফিকেটসহ প্রলোভন—সমান ব্যয়ে OSS-Fuzz-এর ৩৩টি প্রকল্পে শনাক্ত হওয়া প্রকৃত দুর্বলতার সংখ্যা ৩৮.৭–৬০.৪% কমিয়েছে; এজেন্টকে সতর্ক করার পরও এই হ্রাস ৩৭.২% ছিল।
9 নভেম্বর 2026
ফাইন-টিউনিং ছাড়াই উৎসের SQL উপস্থাপনার মাধ্যমে LLM-এর হ্যালুসিনেশন যাচাই করা
এই গবেষণায় যাচাই করা হয়েছে, হ্যালুসিনেশন শনাক্তকরণে তত্ত্বাবধান ছাড়াই উৎসের সঙ্গে সংযোগ স্থাপনের জন্য LLM কি একটি মৌলিক প্রতীকী দক্ষতা—উৎস নথি থেকে SQL ডেটাবেস তৈরি—ব্যবহার করতে পারে। RAGTruth ও DiaHalu-তে এই নিউরো-সিম্বলিক পাইপলাইনটি সরাসরি পূর্বাভাসের চেয়ে বেশি নির্ভুল এবং অত্যাধুনিক পদ্ধতিগুলোর সঙ্গে তুলনীয়, অথচ বিষয়ভিত্তিক সূক্ষ্ম-টিউনিংয়ের প্রয়োজন হয় না।
9 নভেম্বর 2026
MathAdv: মেশিন-উৎপন্ন প্রমাণের চূড়ান্ত নির্ভুলতার আড়ালে কী লুকিয়ে আছে
গণিতের ১৩টি বিশ্ববিদ্যালয় ও স্নাতকোত্তর শাখার কাজ নিয়ে তৈরি এই ডায়াগনস্টিক সেটটি Lean 4-এ মেশিন প্রুফ সিস্টেমকে শুধু চূড়ান্ত ফলাফলের ভিত্তিতে নয়, বিষয়জ্ঞান, অনানুষ্ঠানিক যুক্তির গুণমান এবং শর্তাবলি নতুনভাবে উপস্থাপন করা হলে তা সামাল দেওয়ার সক্ষমতার ভিত্তিতেও মূল্যায়ন করে। উপাদানভিত্তিক বিশ্লেষণে দেখা যায়, কোনো সমস্যাকে আনুষ্ঠানিক রূপে রূপান্তর করা এখনও প্রধান বাধা; আর সাফল্য গণিতের শাখা ও সমস্যা উপস্থাপনের পদ্ধতির ওপর অনেকটাই নির্ভর করে।
9 নভেম্বর 2026