Annonce et numéro d'ordre
Le 14 août, Zhipu (également appelé Z.ai) a dévoilé GLM-5.3, un modèle axé sur la programmation. Dans la version technique, il a immédiatement comparé le nouveau modèle avec des développements internationaux majeurs. La pièce maîtresse a été son résultat sur la référence CyberGym : 84,5% contre 83,8% pour Anthropic Mythos 5 et 83,6% pour OpenAI GPT-5.6 Sol. Cet avantage semble solide et a valu à l'annonce une place dans les journaux. Mais si vous creusez, il s'avère que cette victoire est presque le seul endroit où GLM-5.3 surpasse véritablement ses concurrents. Le développeur lui-même admet essentiellement que Bien que voilé.
Une précision importante: il ne s'agit pas de sécurité globale, mais de trouver des vulnérabilités dans le code source. C'est précisément le point qui se perd souvent lorsque l'information est relatée, créant une fausse impression de leadership.
CyberGym : pourquoi un test étroit ne fait pas d'un modèle un leader
CyberGym est assez simple : les modèles reçoivent un code source, et le modèle doit y trouver une vulnérabilité et la confirmer. C'est certainement une compétence utile, mais elle ne reflète que la première étape d'une véritable cyberattaque. Zhipu lui-même appelle CyberGym le plus étroit des trois métriques de sécurité publiées. Les deux autres tests, ExploitBench et ExploitGym, montrent qu'avec le cycle complet « Find → exploit », les choses ne sont pas si rose pour GLM-5.3. De plus, l'écart sur CyberGym n'est que de 0,7 point de pourcentage — compte tenu d'une seule opération (pass@1 sur 1 507 tâches) et d'aucune variance rapportée, cette différence est peu susceptible d'être statistiquement significative. En termes simples, ce résultat ne prouve pas la supériorité; il indique seulement que les modèles sont à peu près au pair dans une tâche spécifique étroite.
ExploitBench et ExploitGym : la situation réelle
Commençons par ExploitBench. Ici, GLM-5.3 obtient 54,4 %, soit le double de ce que son prédécesseur a réalisé (24,4 %). La croissance est impressionnante, mais elle est loin des concurrents : Anthropic Mythos 5 scores 78,0%, et OpenAI GPT-5,6 Sol scores 76,5%. La dynamique sur ExploitGym est encore plus révélatrice. En deux heures, GLM-5.3 effectue 105 tâches; en six heures, 130. Mythos 5 résout respectivement 181 et 247 tâches dans les mêmes délais. L'écart est multiple. Zhipu lui-même note : plus le long de la chaîne « découverte de vulnérabilité → exploitation », plus le délai du modèle est grand. En d'autres termes, si CyberGym est le seul point où GLM-5.3 se tient, dès que la tâche devient plus complexe, le modèle perd de plus en plus sensiblement.
Codage : résultats mitigés et comparaisons étranges
Comme le modèle est positionné comme un outil pour les développeurs, il est raisonnable de s'attendre à de bons résultats sur le codage des repères. En réalité, les choses sont mélangées. Dans le tableau principal, Zhipu compare GLM-5.3 avec Anthropic Opus 4.8 — et il gagne sur certains tests et perd sur d'autres. Dans les diagrammes de performance, un modèle différent est listé comme rival — Claude Fable 5 — et sur le test interne de Zhipu, les nouveaux arrivants sont derrière. Cette approche — en comparant les différents modèles dans différentes sections — rend impossible l'image complète. De plus, l'évaluation de GLM-5.3 a été effectuée à l'intérieur d'un agent anthropique, à savoir le code Claude 2.1.207. Cela signifie que nous voyons des résultats non pas d'un modèle autonome, mais d'une combinaison "modèle + environnement", qui affecte également les mesures finales.
Mises en garde méthodologiques et reconnaissance de ses propres faiblesses
Zhipu fait une remarque curieuse dans son rapport : sa capacité de cybersécurité « croît plus rapidement précisément là où elle accuse le plus de retard ». C'est un aveu honnête que le niveau de référence pour la comparaison est actuellement faible et que les progrès commencent à un point faible. Dans le même temps, la méthode de comparaison soulève des questions. Différentes sections du rapport utilisent différents modèles anthropos — Anthropic Opus 4.8, Claude Fable 5 et Anthropic Mythos 5. Le choix d'un rival « pour un test spécifique » peut créer une impression déformée. De plus, les budgets de temps pour ExploitGym sont normalisés en fonction du débit de l'analyse artificielle; Les coefficients de conversion sont donnés pour Kimi K3 et Qwen3.8 Max, mais pas pour Mythos 5. Sans ces coefficients, les résultats des concurrents pourraient ne pas être entièrement comparables. Pourtant, Zhipu fait le bon pas : les poids de GLM-5.3 seront publiés, tandis que le travail comparable d'Anthropic reste sous accès restreint. Cela donne aux chercheurs indépendants la possibilité de vérifier les chiffres réclamés.
2 436 vulnérabilités : nombres qui nécessitent un contexte
Le rapport détaille également le travail conjoint avec les équipes de sécurité chinoises. Le modèle a analysé de vrais projets open-source et a finalement trouvé 2 436 vulnérabilités dans 269 dépôts. Ces résultats sont déjà filtrés et doublonnés et ont fait l'objet d'un examen par des experts. La distribution de gravité ressemble à ceci :
- critique : 107;
- élevée: 990;
- Moyenne: 1,286;
- faible: 53.
Impressionnant, mais il y a une nuance. Dans la même publication, le comité de synthèse énumère 1 097 constatations « critiques et élevées », soit exactement la somme de 107 et 990. Toutefois, le texte du rapport décrit ces 1 097 comme étant « moyennes-élevées ». Certains médias ont apparemment copié la deuxième version sans remarquer l'écart. Cette incohérence donne à penser que le rapport a été élaboré rapidement. Autre fait curieux : la plus ancienne vulnérabilité constatée remonte à 1981, et l'âge moyen des résultats est de 26,6 ans. En d'autres termes, le modèle excelle à trouver des problèmes connus depuis longtemps, mais son succès dans la détection de nouvelles vulnérabilités est Bien moins évident.
Conclusions
L'annonce GLM-5.3 est une histoire de la façon dont le marketing et la réalité divergent. Sur un point de référence étroit, le modèle est sorti en haut, mais des tests plus complets nous ramènent à la terre : il y a un écart grave derrière les leaders en cybersécurité et en codage. Dans le même temps, Zhipu mérite le respect de son ouverture : il publie à la fois les poids et les données sur les points faibles du modèle. Il y a clairement des progrès significatifs par rapport à la version précédente, ce qui permet d'envisager l'avenir avec un optimisme prudent. Mais appeler GLM-5.3 un leader de sécurité basé sur un seul numéro d'une seule course serait une surestimation.
