Underdog Saluki 27B চালানো: 2-বিট GGUF-এর তুলনা এবং llama.cpp-এ টুল কলিং পরীক্ষা

18 নভেম্বর 2026০ প্রদর্শন

এই নির্দেশিকায় Qwen3.8-27B-ভিত্তিক Saluki বিল্ড এবং ISTA-এর GSQ-RCO সংস্করণের সঙ্গে এর তুলনা বিশ্লেষণ করা হয়েছে: GGUF-এর কাঠামো ও মেমোরি ব্যবহার থেকে শুরু করে llama.cpp-এর মানসম্মত টুল দিয়ে চালানোর সময় BFCL কাজগুলোতে এর আচরণ পর্যন্ত। পাঠক এতে মূল্যায়নের একটি পুনরুৎপাদনযোগ্য পদ্ধতি এবং দ্বি-বিট কোয়ান্টাইজেশন নিয়ে কাজ করার ব্যবহারিক দিকনির্দেশনা পাবেন।

Underdog Saluki 27B চালানো: 2-বিট GGUF-এর তুলনা এবং llama.cpp-এ টুল কলিং পরীক্ষা

Underdog Saluki 27B কী

Underdog Saluki 27B হলো 7.9 GB আকারের Qwen3.8-27B-এর একটি বিল্ড। নির্মাতাদের দাবি, প্রতি ওজনে প্রায় দুই বিট নির্ভুলতা বজায় রেখেও এটি টুল কলিং সমর্থন করে। তাদের 120টি টাস্কের বেঞ্চমার্কে এই বিল্ডটি 54 GB আকারের পূর্ণ মডেলকে ছাড়িয়ে যায়। এর ভিত্তি হলো ISTA-DASLab-এর একই মডেল, যাতে GSQ-RCO কোয়ান্টাইজেশন করা হয়েছে।

দাবি করা সুবিধাটি নির্মাতাদের নিজস্ব বেঞ্চমার্কের ক্ষেত্রে প্রযোজ্য। ব্যবহারিক মানদণ্ড: অন্যদের সিদ্ধান্ত সরাসরি প্রয়োগ না করে, কাজের টাস্কে বিল্ডটি যাচাই করুন।

তুলনার আগে ফাইল যাচাই

স্ট্যান্ডার্ড llama.cpp-এ Underdog Saluki 27B এবং ISTA-DASLab-এর বিল্ড তুলনা করা হয়েছে। প্রথমে GGUF হেডারগুলোর টেনসর মিলিয়ে দেখা হয়। এরপর দুটি ফাইল বাইট ধরে যাচাই করা হয়। তারপর মেমরি ও গতি মাপার জন্য একই GPU-তে দুটি মডেল চালানো হয়।

প্যারামিটারSalukiISTA
রিপোজিটরিConwayResearch/Underdog-Saluki-27B-1.0ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
সংস্করণ4f60eba09f4b6db63c72915d328d97e1d93edb8cd562806dbafae37109975e970aae91b43e73b440
ফাইলUnderdog-Saluki-27B-1.0-IQ2-mix.ggufQwen3.8-27B-GSQ-RCO-IQ2_XS.gguf
আকার, বাইট78983691528422841472
SHA-2564a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efbf0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c

যাচাই নিশ্চিত করে যে প্রত্যাশিত ফাইল দুটিই তুলনা করা হচ্ছে। হেডার বা বাইটে অমিল থাকলে চালানো বন্ধ করার কারণ রয়েছে।

চালানোর পরিবেশ ও llama.cpp-এর সংস্করণ

llama.cpp ব্যবহার করা হয়েছে b11565 সংস্করণে — 2026-10-12-এর রিলিজ, commit f9a95aeb2। কোডটি Linux-এ NVIDIA GPU (Colab T4) এবং Apple silicon-যুক্ত Mac সমর্থন করে।

গাইডের কোডে সংস্করণ ও commit নির্দিষ্ট করে রাখা হয়েছে। এভাবে নির্দিষ্ট না করলে মেমরি ও গতির পরিমাপ পুনরায় করা যায় না। ব্যবহারিক মানদণ্ড: প্রতিটি পরিমাপকে নির্দিষ্ট রিলিজ ও commit-এর সঙ্গে যুক্ত করুন।

টুল কলিং কীভাবে যাচাই করা হয়

টাস্কগুলো নেওয়া হয়েছে Berkeley Function Calling Leaderboard (BFCL)-এর v4 সংস্করণ থেকে। নির্দিষ্ট seed-সহ 120টি টাস্ক ব্যবহার করা হয়েছে। পাঁচটি সেট—simple_python, multiple, irrelevance, parallel এবং parallel_multiple—প্রতিটিতে 24টি করে টাস্ক রয়েছে। Underdog Bench-এর তালিকা প্রকাশিত হয়নি বলে টাস্কের তালিকা নির্মাতারা তৈরি করেছেন।

BFCL-এর স্ট্যান্ডার্ড চেকার দিয়ে strict ও lenient মোডে মূল্যায়ন করা হয়। চেকারের কোড Gorilla-এর commit 6ea57973c7a6097fd7c5915698c54c17c5b1b6c8-এর সঙ্গে নির্দিষ্ট করা আছে। strict মোডে রেফারেন্সের সঙ্গে মিল আরও কঠোরভাবে মূল্যায়ন করা হয়, lenient মোডে তুলনামূলকভাবে শিথিলভাবে। ব্যবহারিক মানদণ্ড: দুটি মোডের ফলই দেখুন, না হলে কলের কিছু অমিল চোখ এড়িয়ে যাবে।

দুটি 2-বিট ফাইলের মধ্যে বেছে নেওয়ার মানদণ্ড

  • আকার। Saluki ফাইলটি 7898369152 বাইট, ISTA ফাইলটি 8422841472 বাইট।
  • দাবি করা নির্ভুলতা। টুল কলিং বজায় রেখে প্রতি ওজনে প্রায় দুই বিট।
  • মেমরি ও গতি। দুটি মডেলই একই GPU-তে চালানো হয়, একই পরিবেশে পরিমাপ নেওয়া হয়।
  • টুল কলিং। নির্দিষ্ট seed-সহ BFCL v4-এর 120টি টাস্ক এবং দুটি মোডে স্ট্যান্ডার্ড চেকার।
  • পুনরুৎপাদনযোগ্যতা। llama.cpp সংস্করণ b11565, commit f9a95aeb2 এবং নির্দিষ্ট চেকার commit।

নির্বাচনের মানদণ্ড তিনটি পরিমাপের ওপর ভিত্তি করে: মেমরি, গতি এবং কাজের কাছাকাছি টাস্কে টুল কলিংয়ের ফল। 54 GB আকারের পূর্ণ মডেলের তুলনায় শ্রেষ্ঠত্বের দাবিটি স্বাধীনভাবে যাচাই না হওয়া পর্যন্ত নির্মাতাদের বক্তব্য হিসেবেই থাকবে।

সাধারণ প্রশ্নোত্তর

বিভিন্ন উপাদান

সব উপাদান
Letta-তে প্রকৌশল সহকারী: স্বয়ং-হালনাগাদ স্মৃতি, আর্কাইভ অনুসন্ধান এবং স্থানান্তরযোগ্য ওয়ার্কফ্লো
লেখার সময়

Letta-তে প্রকৌশল সহকারী: স্বয়ং-হালনাগাদ স্মৃতি, আর্কাইভ অনুসন্ধান এবং স্থানান্তরযোগ্য ওয়ার্কফ্লো

এতে এমন একটি এজেন্ট তৈরির প্রক্রিয়া তুলে ধরা হয়েছে, যা নিজে থেকেই মেমরির মূল ব্লকগুলো পরিচালনা করে, ভেক্টর আর্কাইভে প্রবেশ করে এবং ডিটারমিনিস্টিক টুল ব্যবহার করে; পাশাপাশি একাধিক এজেন্টের শেয়ার করা অবস্থা, স্ট্রিমিং আউটপুট এবং ওয়ার্কফ্লোকে বহনযোগ্য ফাইলে এক্সপোর্ট করার বিষয়ও আলোচনা করা হয়েছে।

16 নভেম্বর 2026
CyberArena: AI এজেন্টদের মুখোমুখি ম্যাচ স্থির সাইবার বেঞ্চমার্কের সীমাবদ্ধতা উন্মোচন করে
সংবাদ

CyberArena: AI এজেন্টদের মুখোমুখি ম্যাচ স্থির সাইবার বেঞ্চমার্কের সীমাবদ্ধতা উন্মোচন করে

বেঞ্চমার্কটি দুই এজেন্টকে ক্রমাগত পরিবর্তনশীল পরিষেবাসহ স্যান্ডবক্সে রাখে এবং কয়েক দফা শেষে তাদের কার্যকলাপকে আক্রমণাত্মক ও প্রতিরক্ষামূলক দক্ষতার বহুমাত্রিক স্কোরে রূপ দেয়। ১২টি আধুনিক মডেলের সঙ্গে ৪৬৬টি ম্যাচে এটি এমন সক্ষমতার পার্থক্য শনাক্ত করেছে, যেখানে একমুখী পরীক্ষাগুলো সর্বোচ্চ সীমায় পৌঁছে যায়—এর মধ্যে রয়েছে কয়েক ধাপ এগিয়ে পরিকল্পনা করা এবং ব্যাকডোর তৈরি করা।

13 নভেম্বর 2026
OpenCollab: এজেন্টদের প্রোগ্রামযোগ্য সমন্বয়, নিয়ন্ত্রিত রানটাইম পরিবেশ এবং প্রোটোকল মেনে চলার মেট্রিক
সংবাদ

OpenCollab: এজেন্টদের প্রোগ্রামযোগ্য সমন্বয়, নিয়ন্ত্রিত রানটাইম পরিবেশ এবং প্রোটোকল মেনে চলার মেট্রিক

ফ্রেমওয়ার্কটি এজেন্টদের পারস্পরিক ক্রিয়াকলাপের কাঠামো নির্ধারণ, পরীক্ষার জন্য একটি অভিন্ন পরিবেশ এবং ইভেন্টের বিস্তারিত ট্রেসিংকে একত্র করে; নতুন প্রবর্তিত Adherence মেট্রিকটি দেখায়, বাস্তব সম্পাদন ঘোষিত কাঠামোর সঙ্গে কতটা সামঞ্জস্যপূর্ণ। বেঞ্চমার্কে Duo কনফিগারেশন নতুন SOTA অর্জন করে, অন্যদিকে একক-এজেন্ট সংস্করণে টোকেন খরচ সবচেয়ে কম।

11 নভেম্বর 2026
Underdog Saluki 27B চালানো: 2-বিট GGUF-এর তুলনা এবং llama.cpp-এ টুল কলিং পরীক্ষা