Toollery: اختيار الأدوات لوكلاء LLM من بين عشرات الآلاف من الخيارات دون إعادة تدريب

11 نوفمبر 20264 الآراء

ينشئ Toollery فهرسًا للبحث في أوصاف المهارات والأدوات، وعند تلقي طلب يمرّر إلى النموذج مجموعة محدودة فقط من الخيارات المرشحة. في تجارب على مكتبات تضم ما يصل إلى عشرات الآلاف من الوظائف، يتيح هذا النهج الحفاظ على جودة الاختيار عند قيمة top-K ثابتة، مع أن الأثر النهائي يعتمد على نمط عبء العمل والتخزين المؤقت لدى مزوّد الخدمة.

Toollery: اختيار الأدوات لوكلاء LLM من بين عشرات الآلاف من الخيارات دون إعادة تدريب

لماذا تجعل المكتبة الكبيرة للأدوات الاختيار أكثر صعوبة

تنمو المكتبة لتضم مئات وآلافًا وعشرات الآلاف من المهارات والأدوات ووظائف API. يؤدي إدراج المكتبة بأكملها في prompt إلى زيادة عدد الرموز وزمن الاستجابة. وتضيف قوائم المرشحين الطويلة خيارات مشتتة لانتباه LLM عند الاختيار.

يترتب على ذلك أثران:

  • زيادة عدد الرموز وزمن الاستجابة.
  • خيارات مشتتة في قوائم المرشحين الطويلة.

معيار الاختيار: إذا كانت المكتبة تضم مئات وآلافًا وعشرات الآلاف من العناصر، فتحقق مما إذا كان النظام يقلّص عدد المرشحين قبل القرار النهائي لـ LLM.

كيف يعمل تقليص قائمة المرشحين

Toollery هو إطار عمل لا يتطلب تدريبًا لتقليص قائمة المرشحين عند اختيار المهارات والأدوات. لا تتطلب الطريقة تدريبًا إضافيًا. وهي تعمل مع مكتبات المهارات وسجلات الأدوات على حد سواء.

يحدث التقليص قبل القرار النهائي لـ LLM. مراحل الطريقة:

  1. يأخذ النظام مواصفات كل مهارة أو أداة.
  2. وبناءً عليها، ينشئ استعلامات تعكس نوايا المستخدم.
  3. ينشئ فهرسًا للبحث.
  4. عند ورود استعلام فعلي من المستخدم، ينشئ الفهرس مجموعة مرشحين موجزة من أفضل K مرشحين.
  5. يتخذ LLM القرار النهائي بناءً على هذه المجموعة.

يتعامل النظام مع المهارات من المستوى الأعلى والأدوات الذرية باعتبارها إمكانات قابلة للاختيار. معيار قابلية التطبيق: توفر مواصفات للمهارات والأدوات. ولا يتطلب التقليص تدريبًا إضافيًا.

ما الذي أظهرته التقييمات

تغطي تقييمات Toollery ثلاث مجموعات:

  • SkillRouter: 79K إمكانات.
  • BFCL-V4: أكثر من 440 أداة ذرية.
  • مجموعة لنظام سيارات: 3396 استعلامًا و220 أداة؛ وقد وفّرت الشركة هذه المجموعة.

يقيّد Toollery الاختيار أثناء التشغيل بمجموعة موجزة من أفضل K مرشحين. وتحسّن الطريقة الاسترجاع مقارنةً بالبحث المعتاد في المواصفات.

عند تثبيت الميزانية على أفضل 10 مرشحين، يحسّن Toollery الاختيار الشامل على مجموعة نظام السيارات. وعلى BFCL-V4، تحافظ الطريقة على دقة AST Accuracy بمستوى مماثل.

المعيار العملي: تقييم الاسترجاع عند قيمة محددة لـ top-K والاختيار الشامل. وتظل AST Accuracy عند top-10 مماثلة على BFCL-V4.

الحالات التي يعتمد فيها الأثر على الظروف

يشير مؤلفو Toollery إلى أن مكاسب الجودة والتكلفة تعتمد على مدى تغطية أعباء العمل وعلى التخزين المؤقت لدى المزوّد. وتعتمد المكاسب على أعباء العمل التي تغطيها المكتبة. كما يُعد التخزين المؤقت لدى المزوّد من العوامل المؤثرة.

معيار الاختيار: تحقق من الأثر على أعباء العمل الخاصة بك، وخذ التخزين المؤقت لدى المزوّد في الحسبان.

معايير اختيار النهج

يلخّص الجدول معايير الاختيار التي يفحصها Toollery.

المعيارالسؤال العملي
حجم المكتبةهل تضم المكتبة مئات وآلافًا وعشرات الآلاف من المهارات أو الأدوات أو وظائف API؟
التصفية قبل LLMهل ينشئ النظام مجموعة موجزة من المرشحين قبل القرار النهائي لـ LLM؟
التدريب الإضافيهل تعمل الطريقة دون تدريب إضافي؟
الاسترجاعهل تحسّن التصفية الاسترجاع مقارنةً بالبحث المعتاد في المواصفات؟
ميزانية top-Kهل تحسّن الطريقة الاختيار الشامل على مجموعة نظام السيارات عند top-10؟
أعباء العمل والتخزين المؤقتهل أُخذ مدى تغطية أعباء العمل والتخزين المؤقت لدى المزوّد في الحسبان؟

معيار الاختيار هو الجمع بين حجم المكتبة ومتطلبات الاسترجاع وميزانية المرشحين top-K. وتُفحَص ظروف أعباء العمل والتخزين المؤقت على نحو منفصل.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح
الأخبار

OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح

يجمع إطار العمل بين تحديد بنية تفاعل الوكلاء، وبيئة مشتركة للتجارب، والتتبّع التفصيلي للأحداث، فيما يعكس مقياس Adherence المستحدث مدى توافق التنفيذ الفعلي مع المخطط المعلن. في الاختبارات المعيارية، يرتقي إعداد Duo إلى مستوى جديد من SOTA، بينما يتميز البديل أحادي الوكيل بأقل استهلاك للرموز.

11 نوفمبر 2026
التشخيص التدريجي لوكلاء واجهة المستخدم الرسومية أثناء تحليل لوحات المعلومات: معيار DashAct
البحوث

التشخيص التدريجي لوكلاء واجهة المستخدم الرسومية أثناء تحليل لوحات المعلومات: معيار DashAct

يقدّم DashAct معيارًا مرجعيًا يضم 348 مسارًا راجعها بشر، ويحلّل عمل وكلاء واجهات المستخدم الرسومية مع لوحات التحكم التفاعلية إلى ثلاث مراحل وأربعة شروط بصرية. وتُظهر النتائج مشكلات مستمرة في التنبؤ بالإجراءات وربطها بالأهداف البصرية، فضلًا عن اعتماد استجابة الوكلاء على الدعم السياقي والمكاني.

11 نوفمبر 2026
WILSON: دمج مستويات التكبير وشرائح المريض للتحليل الباثومورفولوجي وإعداد التقارير
الأخبار

WILSON: دمج مستويات التكبير وشرائح المريض للتحليل الباثومورفولوجي وإعداد التقارير

تقدّم هذه الورقة البحثية الأولية نموذج WILSON، وهو نموذج للرؤية واللغة يرمّز صور الشرائح الكاملة وسلاسل العينات لمريض واحد عند درجات تكبير مختلفة، بدلًا من الاقتصار على شريحة منفردة «أفضل». ومن دون ضبط دقيق للمهمة، يتفوّق على نماذج الشرائح المتخصصة والأكبر حجمًا في عدد من المقاييس، مع عبء حوسبي أقل بكثير، كما حصلت أوصافه التشخيصية على تقييمات أعلى من اختصاصيي علم الأمراض.

11 نوفمبر 2026
Toollery: اختيار الأدوات لوكلاء LLM من بين عشرات الآلاف من الخيارات دون إعادة تدريب