Introduction : pourquoi les tableaux sont difficiles
La prévision tabulaire est l'une des tâches clés de l'apprentissage automatique. Les grands modèles de langage ont appris à travailler avec du texte et des images, mais les tableaux restent un défi particulier. Pour appliquer les LLM aux tableaux, les chercheurs ont emprunté deux voies : l'affinage de modèles spécialisés (TFM) ou l'utilisation de l'apprentissage en contexte.
La première voie consiste à créer des modèles de fondation tabulaires, comme TabPFN. Ces modèles montrent des résultats impressionnants, mais nécessitent des coûts de calcul élevés. Les réentraîner pour chaque nouveau jeu de données est un luxe inabordable.
C'est là qu'intervient le prompting few-shot : on montre au modèle quelques exemples de l'ensemble d'entraînement, et il prédit une nouvelle valeur. C'est économique et rapide, mais la question se pose : quels exemples choisir exactement ? Une sélection aléatoire donne souvent un mauvais résultat.
ARASH : une sélection intelligente des exemples
La méthode ARASH (Adaptive Retrieval And Shot Selection) résout précisément ce problème. Au lieu d'une sélection aléatoire ou heuristique, elle analyse le voisinage local de chaque point de l'ensemble d'entraînement. L'idée est de choisir des shots qui ressemblent au maximum à la requête actuelle tout en étant représentatifs des données.
L'algorithme fonctionne de manière adaptative : pour chaque nouvelle requête, la sélection des exemples est refaite, en tenant compte de son contexte local. Cela permet de réduire le nombre d'exemples nécessaires au minimum tout en préservant la précision.
Ce que cela apporte en pratique
Les expériences ont montré des résultats impressionnants. Avec ARASH combiné à TabPFN, la longueur du prompt est réduite de 1261,5 fois et la consommation mémoire de 2,56 fois. La précision reste comparable à celle d'un prompt complet. Cela signifie que le modèle peut être utilisé dans des environnements aux ressources limitées — sur des appareils périphériques, dans des applications web, ou lors du traitement de grands flux de données.
Ces résultats sont obtenus parce qu'ARASH ne sélectionne pas simplement des lignes similaires, mais précisément celles qui apportent le maximum d'informations pour la requête donnée. C'est particulièrement important lorsque l'ensemble d'entraînement est vaste et que le temps d'inférence est limité.
Conclusions
ARASH est une étape de plus vers la mise à disposition de puissants modèles tabulaires dans des applications réelles. La combinaison de modèles génératifs et d'une sélection intelligente des exemples ouvre la voie à un apprentissage few-shot efficace sans perte de qualité.
À l'avenir, on peut s'attendre à des développements dans cette direction : peut-être verra-t-on apparaître des méthodes qui compresseront encore davantage les prompts ou s'adapteront à d'autres types de données.
