Terminal-Bench et DeepSWE : V4.1 Flash devance les modèles frontière sur les tâches agentiques

La fiche du modèle DeepSeek-V4.1-Flash compare les performances avec les modèles frontière Opus-5.0, GPT-5.6 Sol, K3 et GLM-5.3, ainsi qu'avec deux prédécesseurs de la famille, DeepSeek-V4-Pro et DeepSeek-V4-Flash. Toutes les mesures ont été réalisées avec un effort de raisonnement maximal.

En raisonnement, V4.1-Flash obtient 90,9 points sur GPQA Diamond. Ses concurrents font légèrement mieux : GPT-5.6 Sol 94,1, Opus-5.0 93,4, K3 92,9, tandis que GLM-5.3 s'arrête à 88,1. Sur Codeforces, le modèle affiche un rating de 3471, nettement au-dessus de DeepSeek-V4-Pro (3348) et de DeepSeek-V4-Flash (3289).

Là où les agents comptent

Dans les tâches agentiques, la donne change. Sur Terminal-Bench 2.1, V4.1-Flash marque 90,6 points, le meilleur score du tableau, devant Opus-5.0 (89,1), GPT-5.6 Sol (88,8), K3 (88,3) et GLM-5.3 (88,2). Sur DeepSWE v1.1, qui évalue la résolution de problèmes de programmation réels, le modèle atteint 74,2 contre 74,0 pour Opus-5.0, 73,0 pour GPT-5.6 Sol, 67,5 pour K3 et 66,9 pour GLM-5.3.

Les versions plus récentes du test brossent un tableau plus sévère. Sur Terminal-Bench 3.0, le modèle est à 30,0 points, contre 43,3 pour Opus-5.0 et 34,4 pour GPT-5.6 Sol. Sur Terminal-Bench 4.0, il est à 31,2, contre 51,8 pour Opus-5.0 et 39,9 pour GPT-5.6 Sol. Dans ces deux ensembles plus difficiles, l'avance des modèles américains est nette, de l'ordre de plusieurs dizaines de points.

Le harness déplace le résultat de 8 points

DeepSeek publie également les résultats de V4.1-Flash dans différents « harness », c'est-à-dire des scaffolds d'agents. Sur DeepSWE v1.1, le même modèle obtient 74,2 dans le harness mini-SWE, 72,6 dans DSH Minimal, 70,5 dans DSH Standard et 67,6 dans DSH PTC. Dans des harness externes, il obtient 69,8 dans Claude Code, 66,2 dans Pi, 65,6 dans Codex et 65,5 dans OpenCode. Un écart de près de 9 points à poids identiques montre que le résultat d'un agent ne dépend pas seulement du modèle, mais aussi de la couche qui l'entoure.

Dans d'autres catégories, V4.1-Flash atteint 88,1 points sur CyberGym et 54,8 sur AutomationBench, et 63,9 sur HLE avec des outils. Le même tableau révèle un saut générationnel marqué au sein de la famille : sur Terminal-Bench 4.0, DeepSeek-V4-Pro était à 12,4 et V4-Flash à 7,0 points. V4.1-Flash a porté ce score à 31,2, soit plus du double, avec 8 milliards de paramètres actifs en entrée.

Le service indépendant Artificial Analysis rapporte deux modes pour ce même modèle : raisonnement maximal avec un indice d'intelligence de 39, et mode sans raisonnement avec un indice de 25. La confrontation de ces deux méthodologies distinctes rappelle la prudence nécessaire lors de la lecture de classements isolés.