CyberArena: AI एजेंटों के युग्मित मुकाबले स्थिर साइबर बेंचमार्क की सीमाएँ उजागर करते हैं

13 नवम्बर 20263 बार देखा गया

यह बेंचमार्क दो एजेंटों को लगातार बदलती सेवाओं वाले सैंडबॉक्स में रखता है और कई राउंड के बाद उनके कार्यों को आक्रामक और रक्षात्मक कौशल के बहुआयामी स्कोर में बदलता है। 12 आधुनिक मॉडलों के साथ 466 मैचों में इसने उन क्षमताओं के बीच अंतर पहचाना, जहाँ एकतरफ़ा परीक्षण अपनी सीमा पर पहुँच जाते हैं—जिनमें कई चालों की योजना बनाना और बैकडोर बनाना शामिल है।

CyberArena: AI एजेंटों के युग्मित मुकाबले स्थिर साइबर बेंचमार्क की सीमाएँ उजागर करते हैं

बेंचमार्क क्या जाँचता है

CyberArena एक गतिशील, सममित प्रतिस्पर्धी बेंचमार्क है। इसमें हमले और बचाव के साथ कई दौर की लड़ाई होती है। बेंचमार्क स्थिर लक्ष्यों को बदलते रहने वाले अर्ध-खुले कार्यों में बदल देता है। यह जाँचता है कि एजेंट कमजोरियों का पता लगाने, उनका फायदा उठाने और उन्हें ठीक करने में कितने तेज़ और सटीक हैं।

जाँच के मुख्य तत्व:

  • स्थिर लक्ष्यों की जगह बदलते रहने वाले अर्ध-खुले कार्य;
  • कई दौर की लड़ाई;
  • एक साथ हमला और बचाव;
  • कमजोरियों का पता लगाना;
  • कमजोरियों का फायदा उठाना;
  • कमजोरियों को ठीक करना।

निष्कर्ष: बेंचमार्क बदलते परिवेश में एजेंट के व्यवहार का मूल्यांकन करता है। इस तरह की जाँच के लिए किसी स्थिर कार्य को एक बार हल कर देना पर्याप्त नहीं है।

जोड़ी वाला मैच कैसे होता है

CyberArena में दो एजेंट समान नियमों के तहत अलग-अलग सैंडबॉक्स में प्रतिस्पर्धा करते हैं। दोनों एक साथ हमलावर और रक्षक की भूमिका निभाते हैं। उनकी कार्रवाइयाँ लगातार बदलती सेवाओं पर होती हैं।

मैच के चरण:

  1. एजेंटों को समान नियम और अलग-अलग सैंडबॉक्स मिलते हैं।
  2. दोनों एक साथ हमला और बचाव करते हैं।
  3. लड़ाई के दौरान सेवाएँ बदलती रहती हैं।
  4. मैच कई दौर तक चलता है।
  5. एक पाइपलाइन नए परिवेश बनाती है, उनकी जाँच करती है और उन्हें वैध ठहराती है।

स्वचालित एजेंट पाइपलाइन लगातार नए परिवेश बनाती है, उनकी जाँच करती है और उन्हें वैध ठहराती है। निष्कर्ष: मैच बदलते लक्ष्यों के बीच कमजोरियों का पता लगाने, उनका फायदा उठाने और उन्हें ठीक करने की क्षमता जाँचता है।

मैच कैसे मूल्यांकन में बदलते हैं

जोड़ी वाली प्रतिस्पर्धाओं का मात्रात्मक मूल्यांकन करने के लिए लेखक एक गतिशील मॉडल प्रस्तुत करते हैं। यह मॉडल मैचों के घटनाक्रम को आक्रामक, रक्षात्मक और विषय-विशिष्ट क्षमताओं के एकसमान बहुआयामी मूल्यांकनों में बदलता है। CyberArena में 12 अग्रणी LLM एजेंटों का मूल्यांकन 466 मैचों में 40 परीक्षणों के आधार पर किया गया। लेखकों का कहना है कि यह बेंचमार्क मॉडलों की क्षमताओं के बीच अंतर दिखाता है, जबकि एकल-एजेंट के बुनियादी परीक्षण अपनी अधिकतम सीमा तक पहुँच जाते हैं।

मानदंडएकल-एजेंट के बुनियादी परीक्षणजोड़ी वाले मैच
परिवेशस्थिर लक्ष्यबदलते रहने वाले अर्ध-खुले कार्य
मॉडलों के बीच अंतरअपनी अधिकतम सीमा तक पहुँच जाते हैंमॉडलों की क्षमताओं के बीच अंतर दिखाते हैं

निष्कर्ष: मॉडलों की तुलना के लिए बहुआयामी प्रोफ़ाइल उपयोगी होती है। यह आक्रामक, रक्षात्मक और विषय-विशिष्ट क्षमताएँ दिखाती है। व्यावहारिक मानदंड: ऐसे मूल्यांकनों को देखें जो मॉडलों के बीच अंतर दिखाते हों, न कि केवल स्थिर परीक्षण की अधिकतम सीमा को।

स्थिर बेंचमार्क की सीमाएँ

स्थिर लक्ष्य एकल-एजेंट के बुनियादी परीक्षणों के लिए अधिकतम सीमा तय करते हैं। CyberArena बदलते परिवेश में जोड़ी वाले मैच आयोजित करता है। इन मैचों में बचाव की गलतियाँ और कई दौर की रणनीतियाँ सामने आईं।

मैचों से क्या पता चला:

  • रक्षकों ने एक कमजोरी ठीक की, लेकिन अगली पर ध्यान नहीं दिया;
  • रक्षकों ने पुराने डेटा के आधार पर सुधारों की पुष्टि की;
  • सक्षम एजेंटों ने एक चाल आगे की योजना बनाई;
  • सक्षम एजेंटों ने बाद के दौरों के लिए बैकडोर बनाए;
  • एक एजेंट ने प्रतिद्वंद्वी पर नज़र रखने के लिए अपना नेटवर्क पैकेट विश्लेषक बनाया।

निष्कर्ष: स्थिर परीक्षण यह नहीं दिखाता कि सुधार नए मामलों में लागू होता है या नहीं, डेटा पुराना पड़ने का क्या असर होता है और कई दौर की रणनीति कैसी होती है। चयन का व्यावहारिक मानदंड: बेंचमार्क को उन स्थितियों में मॉडलों के बीच अंतर दिखाना चाहिए जहाँ एकल-एजेंट परीक्षण अपनी अधिकतम सीमा तक पहुँच जाते हैं। ऐसे बेंचमार्क में बदलता परिवेश, एक साथ हमला और बचाव, तथा क्षमताओं के बहुआयामी मूल्यांकन शामिल होते हैं।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
FedSocket: बहुमाध्यमीय विषमता में प्राप्तकर्ता-पक्ष पर अनिवार्य निष्पादन-क्षमता वाले विनिमेय मॉडल
समाचार

FedSocket: बहुमाध्यमीय विषमता में प्राप्तकर्ता-पक्ष पर अनिवार्य निष्पादन-क्षमता वाले विनिमेय मॉडल

FedSocket का प्रस्ताव है—एक ऐसा दृष्टिकोण जिसमें साझा किया जाने वाला मॉडल प्राप्तकर्ता की ओर से गणना योग्य होना चाहिए, और विषम निजी मॉडलों को पूर्वानुमानों के साझा इंटरफ़ेस Q से जोड़ा जाता है। लेख में सदस्यता को ध्यान में रखकर किए जाने वाले एग्रीगेशन, केवल Q के पैरामीटर और काउंटरों को अग्रेषित करने, तथा छह डेटासेट पर किए गए प्रयोगों का वर्णन है, जो अनुपलब्ध मॉडैलिटीज़ के बावजूद सटीकता में वृद्धि और स्वतंत्र एन्सेम्बल की तुलना में Joint-इन्फ़रेंस की श्रेष्ठता दर्शाते हैं।

13 नवम्बर 2026
पैराफ्रेज़ किए गए मशीन-जनित पाठ के प्रति डिटेक्टरों की मजबूती: परीक्षणों में क्या सामने आया
अनुसंधान

पैराफ्रेज़ किए गए मशीन-जनित पाठ के प्रति डिटेक्टरों की मजबूती: परीक्षणों में क्या सामने आया

इस सामग्री में उन टूल्स की जाँच के नतीजे संकलित हैं, जो जनरेट किए गए अंशों को अधिक स्वाभाविक शैली में दोबारा लिखते हैं। इस प्रक्रिया के बाद पहचान की संभावना काफी कम हो जाती है, और बने रहने वाले फ़ॉल्स पॉज़िटिव के कारण डिटेक्टर के निष्कर्ष को प्रमाण नहीं माना जा सकता।

13 नवम्बर 2026
सिंथेसिस के दौरान नए कमांड: 3D मानव गतियों के लिए मल्टी-ट्रैक टाइमलाइन
समाचार

सिंथेसिस के दौरान नए कमांड: 3D मानव गतियों के लिए मल्टी-ट्रैक टाइमलाइन

एक ऐसी विधि प्रस्तावित की गई है, जो संश्लेषण के दौरान ही नए टेक्स्ट निर्देश स्वीकार करती है और क्रियाओं के परस्पर अतिव्यापी अंतरालों को स्वतंत्र रूप से निर्धारित करने देती है। शरीर के विभिन्न अंगों की एक साथ होने वाली गतिविधियों का समन्वय अंतराल-आधारित कंडीशनिंग और शरीर के अंगों को ध्यान में रखने वाली डिनॉइज़िंग प्रक्रिया के ज़रिए किया जाता है; TimelineMotion और MTT पर लेखक बताते हैं कि स्ट्रीमिंग बेसलाइन समाधानों की तुलना में यह अर्थ और समय-संबंधी सीमाओं के साथ बेहतर मेल खाता है।

12 नवम्बर 2026
CyberArena: AI एजेंटों के युग्मित मुकाबले स्थिर साइबर बेंचमार्क की सीमाएँ उजागर करते हैं