স্টর্দ, লেরবট এবং হুগিং ফেস বুক বুক বুকিং অন লুপের জন্য — রেকর্ডিং থেকে পাঠানোর জন্য

প্রসঙ্গ পরিবর্তন ছাড়া লুপ বন্ধ করা হবে

ঐতিহ্যবাহী রোবটিক্স প্রজেক্ট পাইপলাইন বিচ্ছিন্ন পর্যায়ে ভাগ হয়ে গেছে: প্রথমে, বিক্ষোভকে বাস্তব বা অনুকরণ হার্ডওয়্যারে সংগ্রহ করা হয়, তারপর এই ডাটাকে প্রশিক্ষণ ব্যবস্থায় আলাদা পদ্ধতিতে স্থানান্তর করা হয়, আর এরপর এর পরে এর পর - প্রশিক্ষিত মডেলটিকে রোবটে ফিরিয়ে নিয়ে যেতে হবে। রূপান্তর করতে প্রতিটি রূপান্তরের জন্য রূপান্তরের বিন্যাস পরিবর্তন করা আবশ্যক, ম্যানুয়াল ও পরিবেশ পুনরুদ্ধারের জন্য। ফলে, এই নীতি কার্যকর করার জন্য প্রথম পর্বের রেকর্ডিং থেকে অনেক সময় পার হয়ে গেছে এবং যে কোন পরিবর্তন একটি পৃথক অপারেশনে পরিণত হয়েছে।

আগস্টের ২০ তারিখে এডাব্লিউএস দলের উপস্থাপনকৃত নতুন পদ্ধতিটি একটি জায়গায় এই লুপটি বন্ধ করে দিয়েছে। বেশ কিছু সংযোগ বিচ্ছিন্ন উপাদানের পরিবর্তে একজন এজেন্ট প্রস্তাব করেছেন যে বিক্ষোভ রেকর্ড করতে পারে, তাদের মেঘের সংগ্রহশালায় পাঠাতে পারে, তাদের উপর একটা মডেল প্রশিক্ষণ দিতে পারে, আর তারা আবার রোবটে সর্বশেষ চেক পয়েন্ট ফেরত চায়। কি-ফাইলের মধ্যে তথ্য বিনিময় করার উদ্দেশ্যে অনুমোদিত নয় ( ১ করি.

এজেন্ট টুল এবং SDK

সমস্যার ভিত্তি হল স্ট্র্যান্ডস্ —এডাব্লিউএস ২. ০ লাইসেন্সের অধীনে এডাব্লিউএস-এর একটি ওপেনডিকে। এটা রোবটিক্সকে শক্ত করে, অনুকরণ করে লেবোট এজেন্ট সরঞ্জামের সেট হিসেবে. এই যন্ত্রগুলো একটি স্ট্রনড এজেন্টের মধ্যে তৈরি করা হয়েছে: রোবট, সিমুলেটর এবং তথ্য উৎপাদনযোগ্য মডিউল।

কেন্দ্রীয় Robot() একটি সমর্থিত ডিভাইসগুলির নামের তালিকাবদ্ধ করা হয় । এই নিবন্ধনের মধ্যে রয়েছে পরিবর্তনের কৌশল, মানবীয় রোবট, মোবাইল বেস, এবং স্থায়ী বাহু। একটি প্রাপ্তিসাধ্য কনফিগারেশন হল সো-১০০, একটি লাইটওয়েট পরিবর্তনের জন্য ব্যবহৃত হয়। এই রেজিস্ট্রিটির জন্য ধন্যবাদ, সিমুলেশনের সাথে একই কোড কাজ করে: শুধুমাত্র মোডটি পরিবর্তন করা প্রয়োজন।

এজেন্টটি স্বাভাবিক ভাষায় একটি কমান্ড পায়, যেমন "একটি বিক্ষোভ প্রদর্শন এবং এটিকে সিঙ্ক। একটি বালতিতে," এবং উপযুক্ত হাতিয়ারকে কল করে। এই উদ্যোগটি কোন শক্ত পদক্ষেপের ক্রম ছাড়াই জটিল দৃশ্য নির্মাণ করতে সাহায্য করে- যুক্তি ভাষার মডেলকে নিয়ন্ত্রণ করে, এদিকে এসডিকে রোবট এবং ডাটা দিয়ে নিম্ন মানের অপারেশন পরিচালনা করে।

ছবির বিন্যাস অজানা

একটা গুরুত্বপূর্ণ বিষয় হলো লেবোট ডাটা বিন্যাস । প্রকাশনার সময়, ৯০,০০০ এরও বেশি তথ্য এবং মডেল হুং ফেস হাব ইতোমধ্যে এই ফরম্যাটটি ৮,০০০ এরও বেশি ভিন্ন লেখক প্রকাশ করেছেন। এই দত্তক নেবার জন্য ধন্যবাদ, লেরোবট রোবটবিদ্যার বিক্ষোভ সংরক্ষণ করার ক্ষেত্রে বাস্তবতা স্বরূপ হয়ে উঠেছে।

স্ট্র্যান্ডস রোবোটের মাধ্যমে তৈরি একটি রেকর্ডিং সরাসরি লেরবোবট ডাটাসেট বিন্যাসে সংরক্ষিত হয়েছে। এর মানে হচ্ছে, লেবটবোট পড়তে পারে এমন কোন টুল এই তথ্য কোন রূপান্তর ছাড়া কাজ করতে পারে। প্রতিটি ব্যাক- এন্ডের জন্য আলাদা রূপান্তরের প্রয়োজন নেই: তথ্য প্রশিক্ষণ স্ক্রিপ্ট, কল্পনা টুল এবং অন্যান্য রোবটিক্স কাঠামোর সমানভাবে পড়া হয়।

সংগ্রহস্থল প্রস্তুত করা হচ্ছে

বিক্ষোভের বিশাল ভলিউম সংরক্ষণ করার জন্য, মুখোমুখি ফেস সংগ্রহস্থল বাকেট এটি ব্যবহার করা হয় — মার্চের ২০ তারিখে চালু করা হয় । নিয়মিত ডাটা রিপোজিটরির মত নয়, জাট প্রযুক্তিতে নির্মিত একটি বালতি। এটি দুটো গুরুত্বপূর্ণ সুবিধা প্রদান করে: নতুন সংস্করণ তৈরি না করে লেখা এবং আপডেট করা তথ্য, এবং সুসংগতির সময় প্রয়োজনীয় বাইটকে কেবল পরিবর্তন করা।

বালতিও একই থাকে hf:// রেগুলার এক্সপ্রেশন হিসাবে নেম-স্পেস যেমন, পরিচিত hf CLI এটা দিয়ে কাজ করা হয়। সম্পূর্ণ তথ্য ধারণ না করে সংগ্রহস্থল থেকে সরাসরি স্ট্রিম উদ্ধার করা যাবে। বড় বড় বিক্ষোভ ভিডিওর জন্য, এটা জটিল: একটি পূর্ণ ডাউনলোড শুরু করার জন্য অপেক্ষা করার প্রয়োজন নেই।

তথ্য আদান-প্রদানে

এটা কি করে একসাথে কাজ করে তা বোঝার জন্য, আসুন আমরা সরকারি এডাব্লিউএস ব্লগ থেকে একটি উদাহরণ দেখি। স্ট্র্যান্ডস্'%s' লেবোটএবং মুখোমুখি ফেস সংগ্রহস্থল বাকেট একটা সম্পূর্ণ লুপের জন্য স্ট্যাক ব্যবহার করা হয়। একটি রোবট টুল দিয়ে একজন এজেন্ট তৈরি করা হয়েছে, ডিফল্টরূপে অনুকরণযোগ্য মোড দিয়ে:

Syndrounds থেকে এজেন্ট ইম্পোর্ট করুন

সহজ = রোবট("FO10)

এজেন্টটিকে স্বাভাবিক ভাষায় একটি কমান্ড দেয়া যেতে পারে: "একটি পিক-কিউকিউব বিক্ষোভের আয়োজন এবং তা খুঁজে বের করুন my-org/robot-fave সংগ্রহস্থল " কমান্ডকে পূর্বনির্ধারিত টেমপ্লেট দ্বারা পার্স করা হয় না — এজেন্টের যুক্তি মডেল নিজেই কাজের ধারা নির্ধারণ করে: রেকর্ডিং শুরু করুন, একটি ডাটাসেট গঠন করুন এবং এটি পাঠান বালতির কাছে।

পাইথন এজেন্ট ("Re-theki-de-org/rob-fv-ave ডেমো") এবং এটি আমার ওয়েব-সাইট বারোব-ফাইভ-এর সাথে মিলে যায়।

সুসংগতির উদ্দেশ্যে চিহ্নিত ব্যাক-আপ করা হয়েছে যাতে পুনরাবৃত্তি করা যায়, শুধুমাত্র পরিবর্তিত বাইটগুলো আপলোড করা হয়েছে- সম্পূর্ণ তথ্য সংরক্ষণ করার প্রয়োজন নেই। বিক্ষোভের পর, একই সাথে Robot() মূল বস্তুটি ব্যাক- ট্রেস থেকে ফিরে যেতে পারে । ভিতরে stream_dataset() পদ্ধতি, ফ্রেমের মধ্যে তথ্য পড়া হয়, ভিডিও ফাইল ডি-কোড করা হয় আর তাই তথ্যের স্থানীয় প্রতিলিপি প্রয়োজন হবে না।

Python-র জন্য part/data data/dev/fobilkseper-র মধ্যে plaper-র ক্ষেত্রে partse per-র মান:, "my BAR hypersectpers("), Xper-র মধ্যে সুসংগত করুন...

প্রশিক্ষণ প্রক্রিয়ার মাধ্যমে এই কোডটি সরাসরি ব্যবহার করা যাবে: সংরক্ষণ থেকে ব্যাচ আসা, মডেল প্রশিক্ষণ, এবং এ. এরপর প্রস্তুত চেক পয়েন্ট একই রকম চালু হয়েছে। Robot() * এর জন্য, আপনাকে শুধুমাত্র একটি কী-ওয়ার্ড আর্গুমেন্ট পরিবর্তন করতে হবে । আসল হার্ডওয়্যারে রেকর্ডকৃত বিক্ষোভ একই ভাবে পাওয়া যায় এবং পরবর্তী প্রশিক্ষণে পাওয়া যায়। ফলাফল একটি লাগাতার লুপ: তথ্য সংগ্রহ করা হয়েছে, মডেলটি স্ট্রিমিং ডাটার উপর প্রশিক্ষণ দিচ্ছে, আপডেট পলিসি বাতিল করা হচ্ছে রোবটের কাছে, আর প্রক্রিয়া পুনরাবৃত্তি।

চলমান হওয়ার জন্য আবশ্যক

পরীক্ষাটা নতুন করতে হলে, আপনার পাইথন ৩.১২ বা লিনাক্স বা লিনাক্সের প্রয়োজন হবে। আপেল সিলিকনে, MuJoooco সিমুলেশনের জন্য ব্যাক-এন্ড সমর্থিত হয় না। কমান্ড সহযোগে এই প্যাকেজটি ইনস্টল করা হয়েছে:

pip ইন্সটল করা "stravts-রোবট"[simi-jooco, Filbt.0.5. 1

তাছাড়া, lerobot সেট অন্তর্ভুক্ত করা হয়েছে, যার মধ্যে অন্তর্ভুক্ত লেবোট ( অন্তত সংস্করণ 0.6.1) datasets'%s' avএবং torchcodec লাইব্রেরী। এজেন্টটি চালানোর জন্য একজন সমর্থিত মডেল সরবরাহকারীর প্রয়োজন: অ্যামাজনিক কনফিগার করা AWS পরিচয় সহ, ন্থোপিক API'%s' OpenAIঅথবা স্থানীয় Ollamaএই চয়ন করার ফলে মেঘ এবং স্থানীয়ভাবে পরীক্ষা সুবিধা দেয়।

একটি সক্রিয় সঙ্গী এই নিবন্ধের সঙ্গে যুক্ত — নোটবুক examples/notebooks/05_streaming_data_loop.ipynb- যা পুরো লুপকে ঘুরিয়ে দেয়। এটা দেখার জন্য একটা সুবিধাজনক জায়গা স্ট্র্যান্ডস্'%s' মুখোমুখি ফেস সংগ্রহস্থল বাকেটএবং লেবোট কাজের স্ট্যাক.

অন্তর্ভুক্ত

এর প্রধান ফলাফল হল, সমগ্র রোবটবিদ্যার নীতি উন্নয়ন চক্রকে একটা সীমার মধ্যে ফেলে দেওয়ার ক্ষমতা । রেকর্ড, সংরক্ষণ, প্রশিক্ষণ এবং অপারেশন একই ধরনের নকশা ও বিন্যাস ব্যবহার করা । এই আমূল দিক থেকে প্রাথমিক পর্যায়ে এবং সরলভাবে পরীক্ষামূলক পরীক্ষা: তথ্য পরিবর্তনের জন্য, আপনাকে শুধু বালতিতে বিক্ষোভটি আপডেট করতে হবে। নীতিটি আপডেট করার জন্য, আপনি শুধুমাত্র তথ্য প্রবাহের মডেলকে নিয়ন্ত্রণ করেন এবং রোবট তৈরির সময় একটি আর্গুমেন্ট পরিবর্তন করেন।