12 matériaux
Les chercheurs ont découvert que les méthodes standard de désapprentissage des LLM se brisent facilement lors d'un réentraînement sur un petit nombre d'exemples oubliés. Leur technique proposée, Margin Calibration, ajoute une pénalité de marge non saturante et réduit nettement le succès de telles attaques sur différents modèles et ensembles de données.
Une nouvelle étude montre qu'un juge LLM biaisé casse silencieusement le mécanisme d'élimination des compétences défaillantes : lorsque la proportion de faux succès dépasse 0,45, le système cesse de nettoyer la bibliothèque de compétences, et cela reste invisible dans les métriques agrégées. Les auteurs proposent un audit peu coûteux par injection de défauts pour vérifier le juge avant le déploiement.
Plusieurs experts en cybersécurité ont signalé avoir perdu l'accès au niveau Daybreak Blue dans le programme Trusted Access for Cyber. OpenAI a reconnu le problème de son côté et a demandé de refaire la vérification.
Le succès des modèles de langage ne tient pas seulement à la réutilisation des tokens, mais aussi à la manière dont la compression est structurée. Pour la musique, tenter de fixer à l'avance les relations, par exemple via le cycle des quintes, dégrade les prédictions — l'important est de laisser le contexte au modèle et de bien définir le temps.
Nous passons en revue les méthodes les plus fiables pour installer Stable Diffusion sur PC : l'installateur officiel ComfyUI Desktop, l'universel Pinokio et Forge Neo pour les modèles modernes. Nous expliquons quel GPU est nécessaire, pourquoi Automatic1111 n'est plus le meilleur choix et combien de temps il faudra avant la première image générée.
Les auteurs ont montré que l'ajustement contradictoire classique des invites force le modèle à s'accrocher à des caractéristiques pseudo-stables et à perdre en précision sur de nouvelles classes. La nouvelle méthode ADAPT avec des invites leurres résout ce problème en séparant les caractéristiques utiles des raccourcis généralisables.
Une nouvelle étude montre que même les agents d'IA prometteurs dotés d'une mémoire textuelle se dégradent fortement lors d'un changement d'ordre des tâches, et que leur évaluation est bruitée. Les auteurs appellent à des protocoles de test plus stricts et à la prudence lors des conclusions sur les améliorations.
La nouvelle approche InnerExpert exploite les particularités de routage et les divergences entre experts dans les modèles MoE pour détecter, token par token, les fragments inventés. La méthode s'entraîne sans annotation manuelle et atteint, sur cinq jeux de données, jusqu'à 0,91 de précision au niveau de la réponse et 0,76 au niveau du token en un seul passage.
Les auteurs ont testé six modèles linguistiques sur des questions concernant les vols, les appartements et les hôtels, et ont constaté que les réponses numériques sur la disposition à payer se contredisent systématiquement. De ce fait, ces estimations ne peuvent pas être décrites par une seule fonction d'utilité — ce qui signifie qu'il est risqué de s'y fier pour prendre des décisions.
