SPARSEUP от Linkup: разреженный энкодер на 149 млн параметров
Статья рассматривает архитектуру SPARSEUP и её результаты: 56,4 nDCG@10 на BEIR-13, а также более 97% полноты в связке с индексом Seismic примерно за 380 микросекунд на запрос. Разбор охватывает приёмы, сохраняющие разреженность векторов, сравнение с другими моделями и условия распространения по Apache 2.0.
Что такое модель и как получить доступ
SPARSEUP — открытый разреженный энкодер Linkup Research на 149 млн параметров. Его бэкбон — ModernBERT, а лицензия — Apache 2.0.
Веса доступны на Hugging Face. Модель можно загрузить через Transformers или Sentence Transformers, указав trust_remote_code=True.
Linkup называет модель сильнейшим известным компании публичным разреженным энкодером на основе словаря среди моделей с числом параметров менее 150 млн.
Как устроено разреженное представление
В SPARSEUP каждое измерение вектора соответствует токену словаря. Такие векторы подходят для инвертированных индексов и лучше сопоставляют редкие слова.
Модель рассчитывает активации по формуле log(1 + ReLU(x - 15)). Затем для каждого входного токена оставляет 12 сильнейших измерений до max pooling.
Это ограничивает число активных измерений на токен, а не общий размер вектора. Case folding объединяет варианты Byte-level BPE, например heat, Heat, Ġheat и ĠHeat, сохраняя наибольший вес.
После объединения число выходных измерений сокращается примерно с 50 тысяч до 34 тысяч. Запросы и документы получают префиксы [Q] и [D]; оценка выполняется скалярным произведением.
Максимальная длина при оценке составляет 128 токенов для запроса и 512 для документа. Эти ограничения важны при настройке обработки входных данных.
Как обучали модель
Обучение SPARSEUP началось с чекпойнта LateOn-unsupervised. Команда вернула исходную MLM-голову ModernBERT.
Для дообучения взяли смесь данных LightOn и применяли только контрастивное обучение. Для каждого запроса выбирали семь hard negatives из пула из 50, а также использовали in-batch negatives.
Команда не применяла дистилляцию cross-encoder. Обучение поместилось на один H100.
Что показывают сравнения
Средний результат SPARSEUP на BEIR-13 без MS MARCO — 56,4 nDCG@10. В model card приведены такие результаты разреженных энкодеров:
| Модель | BEIR-13, nDCG@10 |
|---|---|
| SPARSEUP | 56,4 |
| opensearch-neural-sparse-encoding-doc-v3-gte | 54,6 |
| opensearch-neural-sparse-encoding-v1 | 52,44 |
| ModernBERT-VT | 52,4 |
| splade-v3 | 51,7 |
| granite-embedding-30m-sparse | 50,6 |
LACONIC-1B набрал 58,7, но относится к другой размерной группе: модель содержит 1 млрд параметров.
В контролируемом сравнении на одинаковых бэкбоне и данных LateOn набрал 58,9, DenseOn — 57,9, а SPARSEUP — 56,4. В итогах статьи указано отставание от DenseOn на 1,52 пункта, от LateOn — на 2,5.
SPARSEUP опередил DenseOn на ArguAna и HotpotQA, а на Touché оказался лучше. На наборах с более семантическими запросами модель отстаёт; особенно заметно это на FiQA. DBPedia также отмечен как слабое место.
На decontaminated BEIR отрыв от DenseOn сокращается до 0,17 пункта. Для decontaminated NQ и MS MARCO использовали только 21 и 46 запросов соответственно, поэтому Linkup предупреждает о шумных результатах.
Разреженность и критерии выбора
На MS MARCO SPARSEUP использует в среднем 47 ненулевых термов на запрос и 190 на документ. Для SPLADE-v3 указаны 25 термов на запрос и 170 на документ.
С инвертированным индексом Seismic модель достигает более 97% recall относительно exact search примерно за 380 микросекунд на запрос в одном потоке.
SPARSEUP стоит рассматривать, если важны разреженное представление и поиск через инвертированный индекс. При оценке также стоит учитывать результаты на нужных наборах: модель слабее на семантических запросах, FiQA и DBPedia.
Linkup считает, что увеличение размера вектора могло бы добавить 1–2 пункта BEIR. Команда решила сохранить разреженность модели.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Проверка coding-агентов в интерактивной XR-разработке: итоги GenXR-Bench
Опубликован GenXR-Bench — набор из 112 экспертных заданий для сквозной оценки coding-агентов в интерактивной XR-разработке: от доработки функций и исправления дефектов до создания приложений с проверкой поведения на потребительском оборудовании. У десяти протестированных моделей лучший результат составил 50,9% Pass@1; среди повторяющихся сбоев — обработка асинхронных событий датчиков, привязка объектов к реальному пространству и понимание взаимодействия в физическом контексте.
5 ноября 2026
От скалярной награды к фронту Парето: LLM-синтез RTL с многокритериальным подкреплением
Предложен способ обучать языковую модель генерировать не одну схему, а набор RTL-кандидатов с разными компромиссами между площадью, задержкой и энергопотреблением; награда строится по вкладу варианта в гиперобъём фронта Парето. На RTLLM v2 относительный гиперобъём вырос на 13,3 п.п. относительно базовой версии без оптимизации PPA и на 14,4 п.п. относительно одноцелевого обучения с подкреплением.
5 ноября 2026
Медицинские LLM узнают о пересмотре рекомендаций, но часто отвечают по прежним правилам
Исследование ChronoEvo на 1709 изменениях клинических рекомендаций показывает: в основной модели 90,8% ответов фиксировали новшество, однако полностью применяли его только 58,5%, а разрыв в 32,3 п.п. сохранялся у 14 моделей. Даже усиление заметности обновлений не дало значимого прироста в полном переносе новых правил в клиническую рекомендацию.
4 ноября 2026