अलग-अलग ऑप्टिमाइज़र की जगह एजेंट: एकीकृत ढाँचा, जो एक साथ कई कार्यों पर विकसित होता है

harness क्या है और इसे अनुकूलित क्यों करें

Harness, भाषा मॉडल पर आधारित एजेंट के आसपास का कोड है। यह प्रॉम्प्ट, टूल कॉल, संदर्भ और निष्पादन को व्यवस्थित करता है। एजेंट किसी कार्य को कैसे हल करता है, यह इस कोड की बनावट पर निर्भर करता है।

अधिकांश मौजूदा तरीकों में harness कोई व्यक्ति बनाता है। एक अलग proposer, solver के harness में बदलाव करता है। हर बेंचमार्क के लिए एक अलग harness विकसित किया जाता है। यह तरीका सुधारों को एक ही कार्य तक सीमित कर देता है।

व्यावहारिक कसौटी: एक ही ढाँचा कई कार्यों पर एक साथ विकसित होता है, न कि हर बेंचमार्क के लिए अलग-अलग।

एकीकृत ढाँचा: एजेंट अपना खुद का अनुकूलक

Qiankai Xu का लेख 29 सितंबर 2026 को प्रस्तुत किया गया। इसका नाम है «कई कार्यों पर स्वयं-विकसित होने वाला harness, जिसमें एजेंट अपना खुद का अनुकूलक है»। यह तरीका एक ही फ़्रीज़ किए गए मॉडल और harness के एक ही संस्करण पर आधारित है।

मॉडल पहले solver के रूप में कार्य हल करता है। फिर वही proposer की भूमिका निभाता है। वह रन के पूरे रिकॉर्ड पढ़ता है और सीधे उस harness में बदलाव करता है जो उसे चलाता है। किसी अलग proposer की ज़रूरत नहीं होती।

व्यावहारिक कसौटी: अपने रन पढ़ने और अपना harness संपादित करने वाला एजेंट एक अलग अनुकूलक की जगह लेता है।

पाँच बेंचमार्क और डेटा का विभाजन

विकास के हर बैच में अलग-अलग क्षेत्रों के पाँच बेंचमार्क के कार्य शामिल होते हैं। प्रशिक्षण और अलग रखे गए कार्यों को सख्ती से अलग रखा जाता है।

इसके अलावा, वितरण से बाहर के पाँच बेंचमार्क पर मूल्यांकन किया जाता है। विकास के दौरान इन बेंचमार्क का उपयोग नहीं किया जाता।

व्यावहारिक कसौटी: वितरण से बाहर के मूल्यांकन केवल परिचित कार्यों के अनुरूप ढलने के बजाय, स्थानांतरण क्षमता को परखते हैं।

विकास के दो चरण

विकास प्रक्रिया को गहरे मॉडल के प्रशिक्षण के दो चरणों के रूप में प्रस्तुत किया गया है:

1. बहु-कार्य पूर्व-प्रशिक्षण।
2. निरंतर प्रशिक्षण।

harness के शुरुआती संस्करण में 49 पंक्तियाँ थीं। पहले चरण के बाद, वितरण के भीतर के बेंचमार्क पर औसत परिणाम 4.48 अंक बढ़ा। वितरण से बाहर के बेंचमार्क पर यह 12.64 अंक बढ़ा। पहले समूह में इसने Codex को पीछे छोड़ दिया, जबकि दूसरे समूह में Codex के बराबर रहा।

दूसरे चरण में, Claw-Eval पर आगे के विकास से उस पर परिणाम 66.17 से बढ़कर 68.06 हो गया। इस बेंचमार्क पर इस तरीके ने Codex को पीछे छोड़ दिया।

व्यावहारिक कसौटी: पूर्व-प्रशिक्षण स्थानांतरण क्षमता का विस्तार करता है, जबकि निरंतर प्रशिक्षण किसी खास बेंचमार्क पर परिणाम को बेहतर बनाता है।

विकास के दौरान उभरे तंत्र

लेखक तीन तंत्रों का विश्लेषण करते हैं:

• आउटपुट को सीमित करना;
• इतिहास को संक्षिप्त करना;
• स्वतंत्र सत्यापन।

आउटपुट को सीमित करने से उत्तर का आकार नियंत्रित होता है। इतिहास को संक्षिप्त करने से संदर्भ छोटा होता है। स्वतंत्र सत्यापन से परिणाम की जाँच जुड़ती है। ये तंत्र harness में किए गए बदलावों से उभरे, इन्हें किसी व्यक्ति ने पहले से तय नहीं किया था।

व्यावहारिक कसौटी: उभरे हुए तंत्र अपने ढाँचे का मूल्यांकन करते समय दिशा-निर्देश देते हैं।