SPARSEUP de Linkup : encodeur parcimonieux de 149 millions de paramètres

Qu’est-ce que le modèle et comment y accéder

SPARSEUP est un encodeur sparse ouvert de Linkup Research comptant 149 millions de paramètres. Son backbone est ModernBERT et sa licence est Apache 2.0.

Les poids sont disponibles sur Hugging Face. Le modèle peut être chargé avec Transformers ou Sentence Transformers en indiquant trust_remote_code=True.

Linkup présente le modèle comme le meilleur encodeur sparse public à vocabulaire connu de l’entreprise parmi ceux comptant moins de 150 millions de paramètres.

Comment fonctionne la représentation sparse

Dans SPARSEUP, chaque dimension du vecteur correspond à un token du vocabulaire. Ces vecteurs conviennent aux index inversés et associent mieux les mots rares.

Le modèle calcule les activations selon la formule log(1 + ReLU(x - 15)). Puis, pour chaque token d’entrée, il conserve les 12 dimensions les plus fortes avant le max pooling.

Cela limite le nombre de dimensions actives par token, et non la taille totale du vecteur. La conversion de casse regroupe les variantes de Byte-level BPE, par exemple heat, Heat, Ġheat et ĠHeat, en conservant le poids le plus élevé.

Après regroupement, le nombre de dimensions de sortie passe d’environ 50 000 à 34 000. Les requêtes et les documents reçoivent les préfixes [Q] et [D] ; le score est calculé par produit scalaire.

La longueur maximale lors de l’évaluation est de 128 tokens pour une requête et de 512 pour un document. Ces limites sont importantes lors de la configuration du traitement des données d’entrée.

Comment le modèle a été entraîné

L’entraînement de SPARSEUP a commencé à partir du checkpoint LateOn-unsupervised. L’équipe a rétabli la tête MLM d’origine de ModernBERT.

Pour le fine-tuning, elle a utilisé un mélange de données de LightOn et uniquement un entraînement contrastif. Pour chaque requête, sept hard negatives étaient sélectionnés dans un pool de 50 ; des in-batch negatives étaient également utilisés.

L’équipe n’a pas appliqué de distillation cross-encoder. L’entraînement a tenu sur un seul H100.

Que montrent les comparaisons

Le résultat moyen de SPARSEUP sur BEIR-13, sans MS MARCO, est de 56,4 nDCG@10. La model card présente les résultats suivants pour les encodeurs sparse :

LACONIC-1B a obtenu 58,7, mais appartient à une autre catégorie de taille : le modèle compte 1 milliard de paramètres.

Dans une comparaison contrôlée avec le même backbone et les mêmes données, LateOn a obtenu 58,9, DenseOn 57,9 et SPARSEUP 56,4. Les résultats de l’article font état d’un retard de 1,52 point par rapport à DenseOn et de 2,5 points par rapport à LateOn.

SPARSEUP a devancé DenseOn sur ArguAna et HotpotQA, et s’est montré meilleur sur Touché. Le modèle est à la traîne sur les jeux de données comportant des requêtes plus sémantiques, en particulier sur FiQA. DBPedia est également cité comme un point faible.

Sur BEIR décontaminé, l’écart avec DenseOn se réduit à 0,17 point. Pour NQ et MS MARCO décontaminés, seuls 21 et 46 requêtes ont été utilisées, respectivement ; Linkup met donc en garde contre des résultats bruités.

Sparsité et critères de choix

Sur MS MARCO, SPARSEUP utilise en moyenne 47 termes non nuls par requête et 190 par document. Pour SPLADE-v3, les valeurs indiquées sont de 25 termes par requête et 170 par document.

Avec l’index inversé Seismic, le modèle atteint plus de 97 % de recall par rapport à une recherche exacte, en environ 380 microsecondes par requête sur un seul thread.

SPARSEUP est à envisager si une représentation sparse et une recherche via un index inversé sont importantes. Lors de l’évaluation, il convient également de tenir compte des résultats sur les jeux de données pertinents : le modèle est moins performant sur les requêtes sémantiques, FiQA et DBPedia.

Linkup estime qu’augmenter la taille du vecteur pourrait apporter 1 à 2 points sur BEIR. L’équipe a décidé de préserver la sparsité du modèle.