Toollery: выбор инструментов для LLM-агентов из десятков тысяч опций без дообучения
Toollery строит поисковый индекс по описаниям навыков и инструментов, а при запросе передаёт модели лишь ограниченный набор кандидатов. В экспериментах на библиотеках масштабом до десятков тысяч функций подход позволяет удерживать качество выбора при фиксированном top-K, хотя итоговый эффект зависит от профиля нагрузки и кэширования у провайдера.

Почему большая библиотека инструментов усложняет выбор
Библиотека растет до сотен и десятков тысяч навыков, инструментов и API-функций. Подача всей библиотеки в prompt увеличивает число токенов и задержку. Длинные списки кандидатов добавляют отвлекающие варианты для выбора LLM.
Два эффекта создают издержки:
- Рост числа токенов и задержки.
- Отвлекающие варианты в длинном списке кандидатов.
Критерий выбора: при библиотеке в сотни и десятки тысяч позиций проверять, сокращает ли система кандидатов до финального решения LLM.
Как устроено сжатие списка кандидатов
Toollery — training-free framework для сжатия списка кандидатов при выборе навыков и инструментов. Метод не требует дообучения. Он работает и с библиотеками навыков, и с реестрами инструментов.

Сжатие происходит до окончательного решения LLM. Этапы метода:
- Система берет спецификацию каждого навыка или инструмента.
- На ее основе генерирует запросы, отражающие пользовательские намерения.
- Строит индекс поиска.
- По реальному запросу пользователя индекс формирует компактный набор кандидатов top-K.
- LLM принимает окончательное решение по этому набору.
Система рассматривает навыки верхнего уровня и атомарные инструменты как выбираемые возможности. Критерий применимости: наличие спецификаций для навыков и инструментов. Сжатие не требует дообучения.
Что показали оценки
Оценки Toollery охватывают три набора:
- SkillRouter: 79K возможностей.
- BFCL-V4: более 440 атомарных инструментов.
- Набор для автомобильной системы: 3396 запросов и 220 инструментов; набор предоставила компания.
Toollery ограничивает онлайн-выбор компактным набором кандидатов top-K. Метод повышает recall по сравнению с обычным поиском по спецификациям.
При фиксированном бюджете top-10 Toollery улучшает сквозной выбор на наборе для автомобильной системы. На BFCL-V4 метод сохраняет сопоставимую AST Accuracy.
Практический критерий: оценивать recall при заданном top-K и сквозной выбор. AST Accuracy при top-10 остается сопоставимой на BFCL-V4.
Где эффект зависит от условий
Авторы Toollery отмечают зависимость выигрыша в качестве и стоимости от охвата рабочих нагрузок и кэширования провайдера. Выигрыш зависит от того, какие нагрузки покрывает библиотека. Кэширование провайдера также входит в условия.
Критерий выбора: проверять эффект на своих рабочих нагрузках и учитывать кэширование провайдера.
Критерии выбора подхода
Таблица сводит критерии выбора, которые проверяет Toollery.
| Критерий | Практический вопрос |
|---|---|
| Размер библиотеки | Достигает ли библиотека сотен и десятков тысяч навыков, инструментов или API-функций? |
| Отбор до LLM | Формирует ли система компактный набор кандидатов до окончательного решения LLM? |
| Дообучение | Работает ли метод без дообучения? |
| Recall | Повышает ли отбор recall по сравнению с обычным поиском по спецификациям? |
| Бюджет top-K | Улучшает ли метод сквозной выбор на наборе для автомобильной системы при top-10? |
| Нагрузки и кэш | Учтены ли охват рабочих нагрузок и кэширование провайдера? |
Критерий выбора — сочетание размера библиотеки, требований к recall и бюджета кандидатов top-K. Условия нагрузки и кэш проверяются отдельно.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct
Представлен DashAct — бенчмарк из 348 проверенных человеком траекторий, который разбирает работу GUI-агентов с интерактивными панелями на три этапа и четыре визуальных условия. Результаты показывают устойчивые проблемы с предсказанием действий и привязкой к визуальным целям, а также зависимость реакции агентов от контекстной и пространственной поддержки.
11 ноября 2026
WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений
Препринт представляет WILSON — vision-language модель, которая кодирует изображения целых стёкол и серии препаратов одного пациента при разных увеличениях, а не только отдельный «лучший» слайд. Без дообучения под задачу она обходит специализированные и более крупные слайды-модели по ряду метрик при существенно меньшей вычислительной нагрузке, а её диагностические описания получили более высокие оценки патологов.
11 ноября 2026
Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны
Работа проверяет, оправдано ли включение физических законов в обучаемые модели динамики: инварианты, извлечённые из траекторий и приведённые к каноническому виду через базисы Грёбнера, дают скромный выигрыш в прогнозах, но оказываются сильны в диагностике — они позволяют локализовать нарушенное ограничение и выявить конкретный ошибочный параметр.
10 ноября 2026