39 matériaux
Le nouveau framework ScienceFlow aide les agents IA à ne pas perdre leur objectif dans des tâches de recherche de plusieurs heures : le travail est découpé en segments récupérables, et les ressources sont réparties en fonction des progrès réellement confirmés. Sur MLE-bench, il a obtenu le meilleur résultat parmi les approches publiées.
Les chercheurs proposent d'envisager le domaine Text-to-SQL comme un classement consolidé, où les résultats sont répartis selon le degré d'autonomie du modèle lors de la génération de requêtes SQL. Ils effectuent des mesures sur Spider et montrent que les succès ne se transfèrent pas toujours à d'autres benchmarks, et que l'autonomie offre une certaine robustesse, mais exige des ressources de calcul considérables.
Un nouveau benchmark propose 100 scénarios de questions-réponses en anglais et en arabe, construits autour de données réelles d'un opérateur : site web, base SQL et archive web. Les tests sur 12 modèles montrent que même le meilleur ne résout que 71 % des tâches, et sur les catégories visuelles, le résultat tombe sous les 30 %.
Les chercheurs ont proposé une approche qui évalue les modèles non pas selon le volume de connaissances ni en dehors de la réalité, mais à travers des tâches exigeant simultanément raisonnement, contrôle du contexte et travail avec des contraintes. Le benchmark comprend 820 tâches originales, et ses auteurs ont également étudié l'impact des réglages de « réflexion » et d'autres paramètres des modèles sur les résultats.
Les chercheurs ont mis en évidence un sérieux déséquilibre interlinguistique dans la sécurité des grands modèles de langage : leur alignement est principalement réglé sur l'anglais, si bien que sur d'autres langues, les modèles contournent plus facilement les restrictions et reproduisent des préjugés nuisibles. Le nouveau benchmark INCLUDE, testé sur dix modèles et six langues indiennes, a montré que le niveau de partialité varie nettement selon la langue et le type de modèle.
Les auteurs ont proposé un prototype de système d’aide à la décision qui analyse six indicateurs issus des journaux de vol et les convertit en un indice métamorphique de l’état des hélices. Dans une expérience rétrospective sur les données DronePropA, le système a correctement distingué un cas sain de trois niveaux de défaillance et a indiqué quand une inspection ou une maintenance était nécessaire.
Le patron de Stripe qualifie l’accord de pas vers la singularité, mais le véritable motif est bien plus terre à terre : grâce au routeur de modèles, l’entreprise accède aux budgets IA des développeurs et à un nouveau centre de flux de trésorerie.
L'auteur propose un audit sans seuil des modèles de poids ouverts basé sur une paire de signaux complémentaires au sein de l'artefact. Lors de tests sur 273 points de contrôle, la méthode atteint un AUROC de 0,95, mais reste un triage, et non une protection contre un contournement délibéré.
Les chercheurs ont rassemblé plus de 11 000 tests basés sur les propriétés issus de projets Python réels et les ont automatiquement transformés en milliers de spécifications formelles Lean 4. Le benchmark ouvert qui en résulte permet d'évaluer dans quelle mesure les modèles et les agents parviennent à vérifier du code réel.
