Anyscale

যে কোন কে. ডি. ই. প্লাটফর্ম ব্যবহার করে আপনি যদি পাইথন অ্যাপ্লিকেশন এবং মেশিন শেখার কাজ করেন, তাহলে সেটি ব্যবহার করে তার জন্য নিজ নিজ হাতে তুলে দিন । এই পরিষেবাটি ওপেন সোর্স রায় কাঠামোর উপর নির্মিত, যা বেশ কয়েক বছর ধরে পাইথনের সাথে তুলনা করা হয়েছে। যে কোন মাত্রার সব অবকাঠামোকে নিয়ন্ত্রণ করে: নোড সৃষ্টি, লোড, ভারসাম্য, মেমরি বরাদ্দ, এবং মনিটরিং এর মাধ্যমে ডেভেলপারকে কোড দিয়ে চলে যায়।

এই পণ্যটি বিভিন্ন দলের জন্য একটি সমাধান হিসেবে স্থাপন করা হয়েছে, যে দলের দ্রুত উৎপাদন করা প্রয়োজন। যদি আপনার স্থানীয় কোড রে-এর কাছে লেখা হয়, তাহলে যে কোন টরেন্টে যাওয়ার জন্য আর কোন প্রয়োজন নেই- প্লাটফর্ম বিদ্যমান যুক্তি তুলে ধরে এবং তা সম্পূর্ণ সম্পদ জুড়ে বিতরণ করে। একটি বড় ভাষার মডেল এবং প্রসাধনী প্রোগ্রাম দ্বারা কাজ করছে যার মধ্যে জরিমানা-প্রশ্নশীলতা এবং চলমান পরিকল্পনা সমূহও রয়েছে।

যে কোনো বৈশিষ্ট্য

কে আসছে?

ডাটা ইঞ্জিনিয়ার এবং উপাত্ত বিজ্ঞানী

যে কোন দক্ষ পেশাজীবি যারা প্রতিদিন প্রচুর পরিমাণ উপাত্তের সঙ্গে কাজ করে এবং প্রায়ই একটা একক যন্ত্রের সীমা অতিক্রম করে । এই প্ল্যাটফর্মটি আপনাকে কয়েক ডজন বা শত নোডের মাধ্যমে তথ্য সংগ্রহ করতে দেয়, যার প্রয়োজন হবে দেবজার সরঞ্জামগুলো শিখতে হবে অথবা জটিল গুচ্ছ-ম্যানেজমেন্ট কোড লিখতে হবে।

এমএল ইঞ্জিনিয়ার এবং গবেষক

যারা প্রশিক্ষণ মডেল — ক্লাসিক গ্রেডিয়েন্ট থেকে বড় বড় পরিবর্তনকারীদের জন্য — প্ল্যাটফর্মটি জিপিইউ/আইটিপিসহ স্বয়ংক্রিয় বিতরণের প্রস্তাব দিয়েছে। এই পরীক্ষা-নিরীক্ষার সময় কেটে যাওয়া এবং স্থানীয় কাজ স্টেশন বা সস্তা ঘটনা নিয়ে চিন্তা না করেই দ্রুত গতি হ্রাস পায়।

উৎপাদন দল এবং চালু

দ্রুত উৎপাদনের জন্য জাহাজের AI-এর প্রয়োজন। একটি নিবেদিত অবকাঠামো ভাড়া বা ব্যয়বহুল অবকাঠামোর জন্য খরচ করার পরিবর্তে, দলের কেউ আসলে প্রস্তুত করার সময় পায় না। এর ফলে তারা কাজের বদলে ব্যবসার যুক্তির উপর মনোযোগ প্রদান করে।

ব্যবহার পদ্ধতি

রেকোড প্রস্তুত করা হচ্ছে

প্রথম পদক্ষেপটি রে লাইব্রেরি ব্যবহার করে পাইথন অ্যাপ্লিকেশনের জন্য একটি Python অ্যাপ্লিকেশন লেখা হচ্ছে (যেমন, উদাহরণস্বরূপ, ray.remote বিতরণের কাজের জন্য। যদি এই কোডটি স্থানীয়ভাবে চালু থাকে, তবে তার সাথে একটু হালকাতা দরকার: এই প্রক্রিয়াকে প্ল্যাটফর্ম ডকুমেন্টে বর্ণনা করা হয়েছে এবং সাধারণত কয়েক ঘন্টার বেশী সময় নেয় না।

প্ল্যাটফর্মে যাত্রা করা

এরপর, তুমি যেকোন কনসোল বা সিএলআই দিয়ে হামলা করবে। আপনাকে সুনির্দিষ্ট ইমেজ অথবা নির্ভরতার তথ্য উল্লেখ করতে হবে । প্ল্যাটফর্মটি স্বয়ংক্রিয়ভাবে পরিবেশ তৈরি করে । স্তবক আরম্ভ হয় খুব ধীরে: যে কোন নোডকে বরাদ্দ করা, সেগুলি বন্ধ করে দেয়, এবং বর্তমান লোডের জন্য প্রয়োজনীয় রিসোর্স নির্ধারণ করে।

'%s' পয়েন্টের সমাপ্তির অংশ চলছে

প্রসাধনী মডেলদের সাথে কাজ এবং কাজ করার জন্য, যেকোনো ধরণের সার্ভার-প্রজেক্ট তৈরি করার প্রস্তাব দেওয়া হয়। প্রশিক্ষণ দেওয়ার পর, আপনি কেবল মডেলটিকে নতুন একটি API হিসেবে প্রকাশ করেন এবং যে কোন অ্যাপ্লিকেশন থেকে এটি কল করা হয়। ক্রমবর্ধমান ট্রাফিক পরিচালনার জন্য স্বয়ংক্রিয় ভাবে মুদ্রার সমাপ্তি ঘটে।

কি-বোর্ডের সহায়ক প্রযুক্তি

স্বয়ংক্রিয় রিসোর্স পরিচালনব্যবস্থা

এই প্ল্যাটফর্মটি নির্ধারণ করে যে, যেকোনো সময় কতগুলো নোড প্রয়োজন এবং সেগুলোর দৈর্ঘ্য শূন্য থেকে শত শত মেশিন পর্যন্ত বাড়িয়ে দেয় । যখন লোডশেডিং, সম্পদকে স্বয়ংক্রিয় ভাবে ছেড়ে দেওয়া হয়, তখন অলস ক্ষমতার উপর খরচ রোধ করা যায়।

পরিধি অনুযায়ী প্রস্তুত করা

যে কোনো গুণের সাহায্যে আপনি ওয়েব কাঠামো, ডকার কন্টেইনার অথবা লোড ভারসাম্য বজায় রাখার জন্য একটি মডেল তৈরি করতে পারেন। রে কাজ করার সাথে সাথে সকল মডেলের মানও মিলে যায়।

বড়-মের প্রশিক্ষণ সমর্থন

বড় ভাষার মডেলদের প্রশিক্ষণ দেওয়ার জন্য এই প্ল্যাটফর্মটি তৈরি করা হয়েছে। এই প্রশিক্ষণ প্রক্রিয়া জিপিইউএস জুড়ে কয়েক ডজনের মধ্যে ভাগ করা হয়েছে।

রে বাস্তুসংস্থান সমর্থন

যখন থেকে র‍্যাপ্যাট নির্মিত হয়, তখন ব্যবহারকারীরা সকল কাঠামোগত লাইব্রেরিতে প্রবেশ করতে পারে: হাইপারপ্লেন্সের জন্য রে তুন টুন, ডাটাসেটিং এর জন্য রে ডাটা ডাটা ডাটা এবং রায় ট্রেইনিং এর মডেল প্রশিক্ষণের জন্য। এটি সব গণনা কাজের জন্য একটি একক এন্ট্রি পয়েন্ট উল্লেখ করে ।

যে কোন মাত্রার সুবিধা

কোন সহায়িকা দেখানো হবে না

এর কারণ হচ্ছে অবকাঠামো ব্যবস্থাপনার সম্পূর্ণ অনুপস্থিতি। এখানে কোন কুবাজারনেট সেট, SSH অ্যাক্সেস বা মেমরি-লেক্রেট মনিটর নেই। সিস্টেমের দ্বারা সব নিয়ন্ত্রণ করা হয় ; এবং ডেভেলপার শুধুমাত্র কাজের পরিবেশ দেখে।

পুনঃলিখনযোগ্য নয়

রে'কে ধন্যবাদ, অ্যাপ্লিকেশন দ্বারা সোর্স কোড পরিবর্তন করা যাবে না। একটা ল্যাপটপের মাধ্যমে যা হয়েছে তা ২০০ টার উপরে কোন সমস্যা ছাড়াই চলছে।

দ্রুত আরম্ভ করা হবে

মঞ্চটি কয়েক মিনিটের মধ্যে একটি কাজের গুচ্ছের স্পিন আপ করতে পারে। সার্ভার বরাদ্দের জন্য অপেক্ষা না করে ট্রাফিক বৃদ্ধি বা জরুরি প্রশিক্ষণ পরিচালনা করা খুবই জটিল।

বিল্ট-ইন নিরীক্ষণ ও লগ-ইন ব্যবস্থা

ইনট্রান্সমিটারের সাহায্যে স্ক্যান করা যায়। আপনি দেখতে পারেন CPU/GPUPU সফটওয়্যার, লগ-ইন পরিচালন ব্যবস্থা ও কর্ম সঞ্চালনের সময়ে এই ধরনের কর্ম সঞ্চালন করা হয়।

যে কোন মাত্রার সীমা

সুনির্দিষ্ট প্রযুক্তি স্ট্যাক- এ লক করুন

এই প্ল্যাটফর্ম কেবলমাত্র পাইথন আর রে কাঠামোর জন্য তৈরি করা হয়েছে। যদি একটি প্রকল্পকে অন্য ভাষার জন্য প্রয়োজন হয় (যেমন গ, জাভা, অথবা সি+++), যা গণনাকৃত কিছু অংশের জন্য অসম্ভব বা অত্যন্ত কঠিন হয়ে ওঠে।

মাপকাঠিতে খরচ

সেখানে কোন ফ্ল্যাট ফি নেই — ভোগ করার মতো সম্পদের ওপর ভিত্তি করে । উচ্চ ভারের মধ্যে (যেমন ১০০ জিপিইউএস এর মধ্যে ২৪/৭), এই বিলের মূল্য সরাসরি প্রদান করা সার্ভার ভাড়ার চেয়ে কম।

একটি অ্যানালগ এবং ডিজিটাল ঘড়িGenericName

এমএল সম্প্রদায়ের কাছে রে খুব জনপ্রিয় হলেও নতুনদের সময় দরকার তাদের প্যারাগম (অথবা কর্ম, কাজের) শেখার। শুধুমাত্র একটা যন্ত্রের উপর চালানো স্ক্রিপ্টের জন্য, এটা শেষ হয়ে যাচ্ছে।

কোন সমস্যা?

প্লাটফর্মটি যে দৃশ্য তুলে ধরেছে তা হল:

• ML মডেল প্রশিক্ষণ: ছোট পরীক্ষা থেকে বড় ভাষার মডেল (এলএমএস) এর জন্য শত শত বছরের স্মৃতি দরকার।
• Batch তথ্য প্রসেসিং: ইটিএল প্রসেসের অনুরূপ এবং tetra-ট্রান্সমিটার ডাটাকে একক-সংযুক্ত মোড থেকে দ্রুত রূপান্তর করা।
• সঠিক সময়কাল: ব্যবহারকারীদের অ্যাপ্লিকেশন থেকে আবেদনের অনুরোধের জন্য প্রশিক্ষণপ্রাপ্ত মডেলসমূহ প্রকাশ করা হচ্ছে।
• গুরুত্বের গণনা করুন: ML-এর সাথে সম্পর্কিত যে কোন কাজ, যেমন অনুকরণ, ছবি প্রক্রিয়াকরণ, বা পরীক্ষা।

যে কোন মাত্রার গোপনীয়

উপলব্ধ উৎসের মধ্যে সুনির্দিষ্ট সাবস্ক্রিপশনের পরিসংখ্যান উপলব্ধ নেই। বিতরণের মডেল টাকা পেয়ে পরিচিত। প্ল্যাটফর্মটি একটি পে-গুগ পদ্ধতি ব্যবহার করে, যেখানে চূড়ান্ত বিল গণনাকৃত সম্পদ, স্মৃতি, এবং জিপিইউ ঘন্টাের উপর ভিত্তি করে তৈরি করা হয়েছে। বর্তমান দামের একটি তালিকাতে বলা হয়েছে, সরবরাহকারীর নিজস্ব ওয়েবসাইট বা বাণিজ্যিক নথিপত্রের কথা।

যে কোন শব্দ ব্যবহার করতে হবে

যে কোন বানানকে বাণিজ্যিক লাইসেন্সের অধীনে বাধ্যতামূলকভাবে নিবন্ধন করা হবে। প্ল্যাটফর্মটি একটি মেঘ পরিবহন মডেল ব্যবহার করে: সরবরাহকারীর সার্ভারে সব ধরণের কম্পিউটিং হয়। ব্যবহারকারীরা কোন কর্পোরেট চুক্তি ছাড়াই সম্পূর্ণ হার্ডওয়্যারের সংস্করণ ডাউনলোড করতে এবং একটি পূর্ণ সংস্করণ পাঠাতে পারবেন না। এই শর্তাবলীর মধ্যে রয়েছে সাধারণ তথ্য উৎপাদন নীতি এবং একটি সার্ভিস লেভেল চুক্তি (এসএলএ), যা সার্ভিসের অফিসিয়াল কাগজপত্রের বিস্তারিত।

মুদ্রণের যোগ্য

এই সেবাটি সাসাএস হিসেবে দেয়া হয়েছে, যার মানে আপনাকে একটি ওয়েব ব্রাউজার এবং একটি স্থায়ী ইন্টারনেট সংযোগ প্রয়োজন। যে কোন বানান ওয়েব ইন্টারফেস এবং CLI টুলের মাধ্যমে পাওয়া যাবে। ব্যক্তিগত কম্পিউটারের জন্য কোনো অফলাইন অথবা স্থানীয় ইনস্টলেশন প্যাকেজ উপস্থিত নেই। পাবলিক মেঘের তথ্য কেন্দ্রগুলোতে প্ল্যাটফর্মটি পরিচালনা করা হয় যাতে নেটওয়ার্ক ব্যবহারের মাধ্যমে এটি ব্যবহার করা যায়।

[ পাদটীকা]

একটি স্তর

কুঞ্জারনেটস বা AWS Batch এর মত না, যে কোনটাই পাইথন অ্যাপ্লিকেশন লেভেলে কাজ করে। পড প্লেস বা ডকার ছবি কনফিগার করার প্রয়োজন নেই। রে'র লেখা "দেখে দেখা" প্ল্যাটফর্মটি নিজের পছন্দ মতো করে সিদ্ধান্ত নিয়েছে যে এটা কিভাবে ঠিক করা যায়।

SL এর সাথে উল্লম্ব একত্রীকরণ

বেশিরভাগ মেঘ সরবরাহকারীরাই পয়:নিষ্কাশন সরঞ্জাম সরবরাহ করে (এবার, কুব্বারফ্লো), কিন্তু এর উদ্দেশ্য মডেল লাইফসাইকেল। এটি একটি প্ল্যাটফর্মের মধ্যে দিয়ে তৈরি করা হয়েছে।

শক লাগবে না

বিকল্প (যেমন একজন স্ব-ব্যবস্থাপনাকারী কুবাজারনেটস টাওয়ার)-এর ক্রমাগত তত্ত্বাবধান করা এবং তা বয়ে আনা প্রয়োজন। যে কোন মাত্রার বিক্রি শুধু সম্পদই নয় বরং একটি সেবা হিসেবে আইন কার্যকর করেছে, যা নাটকীয়ভাবে ছোট দলের মালিকানার মূল্য কমিয়ে দিয়েছে। তুলনা করে বলা যায়, বেশীরভাগ ইরাহ সেবা প্রদানকারী প্রতিষ্ঠান ব্যবহারকারীদের উপর যে দায়িত্ব বর্হিভূত, তা পর্যবেক্ষণ করছে।

অন্তর্ভুক্ত

যেটাই হোক না কেন, তা পাইথন স্ট্যাকের দলের জন্য একটি ব্যবহারিক সমাধান। প্ল্যাটফর্মটি কার্যকরভাবে বিতরণ করা প্রশিক্ষণ, ব্যাচ প্রক্রিয়াকরণ এবং স্বল্পতা, বিশেষ করে বড় ভাষার মডেলসহ। প্রধান সীমাবদ্ধতা হচ্ছে রে বাস্তুসংস্থানের জন্য লকিং এবং একটি অর্থসংস্থানের মডেল, যা কিনা খাওয়া সম্পদের উপর ভিত্তি করে নির্ধারিত। তারপরেও যারা রায় ব্যবহার করে বা যারা তা ব্যবহার করে, তাদের জন্য, বিশেষ করে নিম্ন মাত্রার নিম্নস্থান। কম্পিউটার বিতরণের ক্ষেত্রে বাধা।