Введение: почему таблицы — это сложно
Табличное прогнозирование — одна из ключевых задач машинного обучения. Большие языковые модели научились работать с текстом и изображениями, но таблицы остаются особым вызовом. Чтобы применить LLM к таблицам, исследователи пошли двумя путями: дообучение специализированных моделей (TFM) или использование in-context learning.
Первый путь — создание Tabular Foundation Models, например TabPFN. Такие модели показывают впечатляющие результаты, но требуют больших вычислительных затрат. Переобучать их под каждый новый датасет — непозволительная роскошь.
Здесь на помощь приходит few-shot prompting: модели показывают несколько примеров из обучающего набора, и она предсказывает новое значение. Это дёшево и быстро, но встаёт вопрос: какие именно примеры выбрать? Случайный выбор часто даёт плохой результат.
ARASH: умный отбор примеров
Метод ARASH (Adaptive Retrieval And Shot Selection) решает именно эту проблему. Вместо случайного или эвристического выбора он анализирует локальную окрестность каждой точки в обучающем наборе. Идея в том, чтобы подобрать шоты, которые максимально похожи на текущий запрос и при этом репрезентативны для данных.
Алгоритм работает адаптивно: для каждого нового запроса отбор примеров происходит заново, с учётом его локального контекста. Это позволяет сократить число нужных примеров до минимума, сохраняя точность.
Что это даёт на практике
Эксперименты показали впечатляющие результаты. При использовании ARASH вместе с TabPFN длина промпта сокращается в 1261.5 раза, а потребление памяти — в 2.56 раза. При этом точность остаётся сопоставимой с полным промптом. Это означает, что модель можно использовать в средах с ограниченными ресурсами — на периферийных устройствах, в веб-приложениях, при обработке больших потоков данных.
Такие результаты достигаются за счёт того, что ARASH отбирает не просто похожие строки, а именно те, которые несут максимальную информацию для данного запроса. Это особенно важно, когда обучающий набор велик, а время на инференс ограничено.
Выводы
ARASH — ещё один шаг к тому, чтобы мощные табличные модели стали доступны в реальных приложениях. Сочетание генеративных моделей и умного отбора примеров открывает путь к эффективному few-shot обучению без потери качества.
В будущем можно ожидать развития этого направления: возможно, появятся методы, которые ещё сильнее сожмут промпты или адаптируются к другим типам данных.
