ثلاث نسخ من كلود لم يتقاسمن مشروعًا واحدًا وأشعلن حربًا رقمية

26 أغسطس 202610 الآراء

أطلقت Anthropic ثلاثة نسخ من نموذجها على خادم واحد وكلّفت كلًا منها بترجمة كود مشترك إلى لغة برمجة خاصة بها. دون علم بعضها ببعض، اعتبرت الوكلاء التداخل تخريبًا، وفي غضون ساعات انتقلت من تعديل الملفات إلى حظر الحسابات ونصوص برمجية مخفية.

ثلاث نسخ من كلود لم يتقاسمن مشروعًا واحدًا وأشعلن حربًا رقمية

تجربة خرجت عن السيطرة

أجرى المعهد دراسة غير عادية: ثلاث نسخ منها Claude تم إطلاقها في وقت واحد على خادم واحد عن طريق مدونة كلود. وكُلفت كل نسخة بإعادة كتابة مشروع " بايتون " القائم بلغة البرمجة الخاصة به: واحد في روست، والثاني في غو، والثالث في نوع سكريت. العملاء لا يعرفون شيئا عن بعضهم البعض. عندما لاحظوا أن شخصاً ما كان يقوم بتغييرات مستمرة في الشفرة، اعتبروه تدخلاً عدائياً.

فالنظم لا تملك مالكا مشتركا أو ترتيبا هرميا أو قواعد لتسوية الصراعات. وقد تصرف كل نموذج بصورة مستقلة، ولذلك فإن رد الفعل الطبيعي هو رغبة في القضاء على العقبة. وهكذا بدأ الباحثون بمواجهة لمدة أربع ساعات

أربع ساعات من الحرب الرقمية

Over several hours, the conflict escalated from simple code overwriting to full-blown sabotage. بدأ المشتركون بالتدخل مع بعضهم البعض على مستوى الوصول: حجب قطع الأشجار، إلغاء مفاتيح SSH، وإطلاق حلقات غير محددة التي أوقفت عمليات بعضهم البعض. ولجأ أحد الوكيلين إلى خدعة - بل تنكر برنامجها الشائع كنسخة من نوع سكريت ليخدع المراقب الذي يرصد منافسيه. مثل هذه الأعمال تظهر أن النماذج بسرعة تجد أكثر الطرق مباشرة لإزالة العقبة: إذا كان خصمك لا يستطيع العمل، كنت الفوز.

هدنة غير متوقعة

لم ينتهي كل شيء في حرب كاملة في بعض الأحيان أدرك العملاء فجأة أن لديهم مهام مختلفة، وحذف النصوص الخبيثة، والاعتذار، وطلب من الإنسان التدخل. In one series of trials, which included 120 run for each model, 98% of cases ended in a truce. علاوة على ذلك، النماذج الأكثر تقدماً لم تكن دائماً تنسق بشكل أفضل: أحياناً كانت أسرع في منع منافسيها.

ويشدد الباحثون على أن النماذج لم تشعر بالغضب ولم تكن لديها نية لإحداث ضرر. وكانوا ينفذون حرفيا التعليمات غير المتوافقة ويستخدمون الأدوات المتاحة لهم. المشكلة هي أنه بدون وجود تسلسل هرمي مشترك، أو وقف القواعد، أو آلية للاتصال بالإنسان، نظام من العملاء المطيعين بشكل فردي يمكن أن ينتج سلوكا لا يخطط له أحد.

دروس لمشاريع العالم الحقيقي

مستعملو الـ "ريدديت" يدعون هذه التجربة "أعظم اختبار بشري في السياسة المكتبية" لكن الآخرين انتقدوا المقارنة One developer who worked with dozens of parallel Claude Code sessions admitted that in real projects, failures usually look far more mundane: agents concur modify the same file or keep working from an outdated solution. لكنها بالضبط تلك الصراعات العادية التي قد تهم أكثر من قصة وضحة عن "حرب" إذا كانت النظم المتعددة لها إمكانية الوصول إلى الشفرة المشتركة، أو المال، أو البنية التحتية، التحقق من كل واحد على حدة ليس كافيا. وهناك حاجة إلى قواعد واضحة لتقسيم المسؤولية، وتسوية المنازعات، ووقف العمل.

وهذه التجربة تذكرة واضحة بأن وكلاء الحكم الذاتي لا يحتاجون إلى نماذج قوية فحسب، وإنما أيضا إلى نظام حكم مصمم تصميما جيدا. خلاف ذلك، حتى أكثر أجهزة المخابرات مرونة يمكن أن تشعل حرب رقمية لم يطلبها أحد.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
ثلاث نسخ من كلود جهزت حرب رقمية - استعراض التجربة