Toollery: выбор инструментов для LLM-агентов из десятков тысяч опций без дообучения

11 ноября 20264 просмотров

Toollery строит поисковый индекс по описаниям навыков и инструментов, а при запросе передаёт модели лишь ограниченный набор кандидатов. В экспериментах на библиотеках масштабом до десятков тысяч функций подход позволяет удерживать качество выбора при фиксированном top-K, хотя итоговый эффект зависит от профиля нагрузки и кэширования у провайдера.

Toollery: выбор инструментов для LLM-агентов из десятков тысяч опций без дообучения

Почему большая библиотека инструментов усложняет выбор

Библиотека растет до сотен и десятков тысяч навыков, инструментов и API-функций. Подача всей библиотеки в prompt увеличивает число токенов и задержку. Длинные списки кандидатов добавляют отвлекающие варианты для выбора LLM.

Два эффекта создают издержки:

  • Рост числа токенов и задержки.
  • Отвлекающие варианты в длинном списке кандидатов.

Критерий выбора: при библиотеке в сотни и десятки тысяч позиций проверять, сокращает ли система кандидатов до финального решения LLM.

Как устроено сжатие списка кандидатов

Toollery — training-free framework для сжатия списка кандидатов при выборе навыков и инструментов. Метод не требует дообучения. Он работает и с библиотеками навыков, и с реестрами инструментов.

Сжатие происходит до окончательного решения LLM. Этапы метода:

  1. Система берет спецификацию каждого навыка или инструмента.
  2. На ее основе генерирует запросы, отражающие пользовательские намерения.
  3. Строит индекс поиска.
  4. По реальному запросу пользователя индекс формирует компактный набор кандидатов top-K.
  5. LLM принимает окончательное решение по этому набору.

Система рассматривает навыки верхнего уровня и атомарные инструменты как выбираемые возможности. Критерий применимости: наличие спецификаций для навыков и инструментов. Сжатие не требует дообучения.

Что показали оценки

Оценки Toollery охватывают три набора:

  • SkillRouter: 79K возможностей.
  • BFCL-V4: более 440 атомарных инструментов.
  • Набор для автомобильной системы: 3396 запросов и 220 инструментов; набор предоставила компания.

Toollery ограничивает онлайн-выбор компактным набором кандидатов top-K. Метод повышает recall по сравнению с обычным поиском по спецификациям.

При фиксированном бюджете top-10 Toollery улучшает сквозной выбор на наборе для автомобильной системы. На BFCL-V4 метод сохраняет сопоставимую AST Accuracy.

Практический критерий: оценивать recall при заданном top-K и сквозной выбор. AST Accuracy при top-10 остается сопоставимой на BFCL-V4.

Где эффект зависит от условий

Авторы Toollery отмечают зависимость выигрыша в качестве и стоимости от охвата рабочих нагрузок и кэширования провайдера. Выигрыш зависит от того, какие нагрузки покрывает библиотека. Кэширование провайдера также входит в условия.

Критерий выбора: проверять эффект на своих рабочих нагрузках и учитывать кэширование провайдера.

Критерии выбора подхода

Таблица сводит критерии выбора, которые проверяет Toollery.

КритерийПрактический вопрос
Размер библиотекиДостигает ли библиотека сотен и десятков тысяч навыков, инструментов или API-функций?
Отбор до LLMФормирует ли система компактный набор кандидатов до окончательного решения LLM?
ДообучениеРаботает ли метод без дообучения?
RecallПовышает ли отбор recall по сравнению с обычным поиском по спецификациям?
Бюджет top-KУлучшает ли метод сквозной выбор на наборе для автомобильной системы при top-10?
Нагрузки и кэшУчтены ли охват рабочих нагрузок и кэширование провайдера?

Критерий выбора — сочетание размера библиотеки, требований к recall и бюджета кандидатов top-K. Условия нагрузки и кэш проверяются отдельно.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct
Исследования

Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct

Представлен DashAct — бенчмарк из 348 проверенных человеком траекторий, который разбирает работу GUI-агентов с интерактивными панелями на три этапа и четыре визуальных условия. Результаты показывают устойчивые проблемы с предсказанием действий и привязкой к визуальным целям, а также зависимость реакции агентов от контекстной и пространственной поддержки.

11 ноября 2026
WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений
Новости

WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений

Препринт представляет WILSON — vision-language модель, которая кодирует изображения целых стёкол и серии препаратов одного пациента при разных увеличениях, а не только отдельный «лучший» слайд. Без дообучения под задачу она обходит специализированные и более крупные слайды-модели по ряду метрик при существенно меньшей вычислительной нагрузке, а её диагностические описания получили более высокие оценки патологов.

11 ноября 2026
Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны
Новости

Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны

Работа проверяет, оправдано ли включение физических законов в обучаемые модели динамики: инварианты, извлечённые из траекторий и приведённые к каноническому виду через базисы Грёбнера, дают скромный выигрыш в прогнозах, но оказываются сильны в диагностике — они позволяют локализовать нарушенное ограничение и выявить конкретный ошибочный параметр.

10 ноября 2026
Toollery: выбор инструментов для LLM-агентов без дообучения