المشكلة: سياسة مثالية تنهار عند الاصطدام بالواقع
يمكن للروبوتات المدربة عبر التعلم بالمحاكاة أن تظهر نتائج مبهرة في المختبر. على سبيل المثال، نهج Action Chunking with Transformers (ACT) — وهو أسلوب اشتهر بقدرته على إعادة إنتاج مسارات معقدة يعرضها الإنسان — ينجح في التعامل مع العديد من المهام في الظروف المثالية. ولكن بمجرد أن تتغير الظروف ولو قليلاً، يبدأ كل شيء في السير بشكل خاطئ. خطأ بسيط في معايرة الإمساك، أو جسم موضوع على بُعد بضعة ملليمترات من مكانه الصحيح، أو حتى تغيّر ملمس السطح — وتبدأ السياسة التي كانت نموذجية قبل لحظات في التصرف بتردد.
هذه الحساسية تجاه التحولات التوزيعية هي مشكلة معروفة في التعلم بالمحاكاة. فالنموذج يحفظ مسارات وسياقات محددة، وليس مهارة مجردة. وفي العالم الحقيقي، حيث يتغير كل شيء كل ثانية، يجعل هذا الروبوتات عديمة الفائدة عملياً دون ضبط إضافي.
الطريقة التقليدية للإصلاح هي جمع عروض توضيحية جديدة تأخذ الأخطاء في الاعتبار، وخلطها مع البيانات القديمة، ثم إعادة تشغيل التدريب من جديد. هذا مكلف حسابياً ويستغرق وقتاً. وإذا كان الأمر يتعلق بالعمل في الوقت الفعلي — على سبيل المثال، على خط إنتاج — فإن هذا الخيار غير مقبول إطلاقاً: فبينما يعاد تدريب الروبوت، يكلف التوقف المال.
ORPA: وحدة خفيفة بدلاً من إعادة تدريب ثقيلة
قدمت مجموعة من الباحثين من اليابان — Muhammad A. Muttaqien وTomohiro Motoda وRyo Hanai وYukiyasu Domae — إطار عمل ORPA (Online Residual Policy Adaptation). الفكرة أنيقة للغاية: بدلاً من إعادة تدريب الشبكة الأساسية، يُقترح إضافة وحدة خارجية خفيفة إليها تتولى فقط تصحيح الإجراءات.
كيف يعمل التكيف المتبقي
في أي لحظة زمنية، تستقبل وحدة ORPA إشارة من المشغل — قد تكون أمراً مثل «أدر قليلاً»، أو «انقل»، أو متجه تصحيح أكثر تعقيداً. بناءً على هذه الإشارة، تتنبأ الوحدة بالتغيير المتبقي الذي يجب إدخاله على التحكم في الروبوت. المهم أن التنبؤ يحدث مباشرة في فضاء المفاصل — أي على مستوى زوايا دوران كل مفصل من مفاصل الذراع الآلية. وهذا يسمح بإدخال تعديلات دقيقة للغاية ومحلية، دون المساس بالاستراتيجية العامة للسلوك.
تبقى السياسة الأساسية مجمدة: أوزانها لا تتغير. وهذا يعني أن المعرفة والمهارات المتراكمة التي اكتسبتها أثناء التدريب لا تُدمر. أما وحدة التصحيح المتبقي فهي ضبط دقيق فوق حل جاهز. وعلى سبيل القياس: إذا كنت تقود سيارة مزودة بطيار آلي، فأنت لا تعيد برمجة عقولها، بل تكتفي بتوجيه المقود بلطف.
بفضل هذه البنية، يمكن لـ ORPA العمل في وقت التشغيل. لا حاجة لانتظار انتهاء دورة التدريب أو حتى الوصول إلى كود التدريب — يكفي توصيل الوحدة بالنظام العامل، وستبدأ في تكييف السلوك.
مزايا للعمل في الوقت الفعلي
من أهم مزايا هذا النهج خفته الحسابية. فبما أن الوحدة صغيرة، فإنها لا تتطلب قدرات مخصصة ويمكنها العمل بشكل شبه فوري. وهذا يفتح الطريق لاستخدام ORPA في المهام التي تتطلب استجابة خلال أجزاء من الثانية، مثل العمل التعاوني بين الإنسان والروبوت.
كيف تم التحقق من ذلك: تجارب على ALOHA
للتأكد من أن ORPA تعمل فعلاً، أجرى المؤلفون سلسلة تجارب على منصة ALOHA. تشتهر هذه المنصة بقدرتها على تمكين الروبوتات ذات الذراعين من التعلم من العروض التوضيحية البشرية وتنفيذ عمليات دقيقة — من التجميع إلى التعامل مع الأشياء الصغيرة.
في التجارب، قورنت ثلاثة أساليب: السياسة الأساسية للتحكم، وسياسة مع تصحيحات قائمة على القواعد باستخدام علم الحركة العكسي، وسياسة مع إضافة ORPA. تم قياس مؤشرين رئيسيين: نسبة نجاح تنفيذ المهمة والقدرة على التعافي بعد الاضطرابات الصغيرة — على سبيل المثال، عندما يُزاح الجسم فجأة أثناء الحركة.
النتائج كانت مبشرة
أظهرت ORPA تحسناً في كلا المؤشرين. الروبوت المزود بوحدة التكيف المتبقي نفّذ المهام الدقيقة بنجاح أكبر من السياسات الأساسية، وفي الوقت نفسه عاد إلى المسار الصحيح بشكل أسرع بعد التدخل الخارجي. كما لم تتمكن أساليب علم الحركة العكسي القائمة على القواعد من منافسة ORPA — ربما لأنها تعتمد على قواعد محددة مسبقاً لا تراعي جميع الفروق الدقيقة في الوضع الحالي.
من المهم التأكيد على أن جميع التحسينات تحققت دون تغيير معايير السياسة الأصلية. وهذا يعني أن التقنية المقترحة يمكن استخدامها كـ«رقعة» للأنظمة الروبوتية العاملة بالفعل، دون مقاطعة تشغيلها. يكفي توصيل الوحدة، وضبطها للمهمة المحددة — ثم مواصلة العمل بدقة أعلى.
ما الذي يقدمه هذا عملياً
ظهور أطر عمل مثل ORPA يجعل السيناريو التالي حقيقة واقعة: يمكن للمشغل تصحيح سلوك الروبوت «أثناء الطيران»، دون توقفات طويلة لإعادة التدريب. بالنسبة للمؤسسات، يعني هذا تقليل فترات التوقف ومرونة إنتاجية أكبر: إذا تغير خط الإنتاج، يكفي ضبط الروبوت قليلاً، بدلاً من إيقاف كل شيء لعدة أيام. وبالنسبة للمختبرات البحثية، تنفتح إمكانيات جديدة للنمذجة السريعة، وبالنسبة للمشغلين — أداة مريحة للضبط الدقيق.
بطبيعة الحال، قبل التبني الصناعي، لا يزال هناك عدد من الأسئلة التي يجب حلها: كيف يمكن نقل إشارات التغذية الراجعة إلى المشغل بأفضل طريقة، وما الأوامر البديهية، وكيفية دمج ORPA مع أنظمة التحكم الحالية. لكن الفكرة نفسها — تدريب الروبوتات ليس من الصفر، بل صقل مهاراتها بشكل نقطي عبر تصحيح خارجي — تبدو واعدة للغاية، ووفقاً للنتائج، أثبتت بالفعل جدواها في التجارب.
