DeepSeek V4.1 Flash : 552 milliards de paramètres et un encodeur-décodeur asymétrique

Le 10 septembre 2026, DeepSeek a lancé DeepSeek-V4.1-Flash. Ce modèle Mixture-of-Experts multimodal compte 552 milliards de paramètres de base et un contexte d'un million de tokens. L'architecture change, ainsi que le calcul du cache d'attention. Selon la fiche technique, V4.1-Flash n'active que 8 milliards de paramètres par token lors du prétraitement (prefill) et 16 milliards lors de la génération (decode).

Des coûts répartis inégalement, volontairement

L'architecture Causal Encoder-Decoder (CED) est au cœur du dispositif. Le Transformer de 40 couches se divise en un encodeur causal de 20 couches et un décodeur de 20 couches. Dans les modèles classiques, chaque couche du décodeur calcule son propre état caché. Ici, le KV cache global du décodeur est projeté depuis les états cachés finaux de l'encodeur. L'asymétrie 8 contre 16 milliards est assumée. Les tâches agentiques reposent surtout sur la lecture de longs contextes, d'où l'optimisation prioritaire de l'entrée.

La couche MoE comprend 1 expert partagé et 384 experts routés, dont 6 sont sélectionnés par token. La fiche technique mentionne aussi Single-Pass mHC (mélange modifié du flux résiduel via le kernel Mega-mHC), Engram (mémoire conditionnelle de 196 milliards de paramètres, rarement interrogée par recherche de tokens) et DSpark (décodage spéculatif avec génération de brouillon semi-autorégressive et vérification pilotée par un calendrier de confiance).

45 000 milliards de tokens et la vision dès le départ

Le modèle a été entraîné de zéro sur un corpus multimodal de 45 000 milliards de tokens. L'attention clairsemée a été apprise sur des séquences de 64 000 tokens. Le contexte n'a atteint 1 million de tokens qu'à l'étape des 34 000 milliards, soit après l'essentiel de l'entraînement. Après le pré-entraînement, le protocole standard a suivi : SFT, apprentissage par renforcement, puis distillation on-policy. DeepSeek précise que les modifications concernaient les données, non les algorithmes. Des tâches et environnements agentiques ont été synthétisés automatiquement à grande échelle.

L'entrée image est gérée par l'encodeur DeepSeek-ViT, entraîné de zéro avec 2D-RoPE et un downsampling 3×3 pixel-unshuffle, complété par un projecteur MLP à deux couches. Images et texte partagent un espace commun dès le début du pré-entraînement. Il ne s'agit pas d'un adaptateur ajouté a posteriori.

La fiche Hugging Face affiche 621 396 téléchargements le mois dernier et une licence MIT. Des variantes de déploiement existent pour vLLM, SGLang, TensorRT et Docker Model Runner, avec des quantifications FP8, BF16, GPTQ, AWG et GGUF. Le portail chinois IT之家 souligne le même point : dans les scénarios agentiques, les accès au cache pèsent lourd sur la facture. Une compression accrue du KV cache réduit directement le coût de la tâche. DeepSeek a également annoncé le retrait de deepseek-v4-flash et deepseek-v4-flash-vision-exp, ainsi que la redirection des requêtes V4-Pro vers V4.1-Flash à ses tarifs.