Les poids ouverts rattrapent les modèles frontière, mais l'étiquette fait trop de travail

Mozilla a publié la version 1.1 de son rapport State of Open Source AI le 15 septembre, sur la base de données au 1er septembre. Tom's Hardware a rapporté le 16 septembre que le meilleur modèle ouvert traînait le leader fermé sur l'Indice d'Intelligence d'Artificial Analysis de trois points, à 60 % du prix, et était en retrait de deux points par rapport à Claude Fable 5, à 30 %. L'ajustement de Mozilla sur les données de l'horizon de tâches de METR situe l'écart entre ouvert et fermé à environ 4,4 mois. Cela correspond à l'estimation de quatre mois d'Epoch AI.

La méthodologie compte, car le chiffre principal voyage plus loin que ses mises en garde.

METR évalue les modèles selon la longueur de la tâche, mesurée en temps de travail humain, qu'ils accomplissent la moitié du temps. Selon l'estimation ajustée de Mozilla, les modèles fermés gèrent des tâches qui prennent 8 à 12 heures à des experts humains. Les modèles ouverts y arrivent environ quatre mois plus tard, la capacité ouverte doublant tous les 3,9 mois contre 5,5 pour les fermés, selon les calculs de Mozilla. Le rapport a également tracé les résultats de Terminal-Bench 2.1 de vals.ai, qui passe chaque modèle par le même harnais, la couche logicielle qui offre ses outils à un modèle.

Sur ce classement, GLM-5.2 de Z.ai a obtenu un score à un point de Claude Opus 4.7 et à environ quatre points derrière Opus 4.8, pour moins d'un cinquième du coût par test. Sur OpenRouter, une place de marché qui achemine le trafic des développeurs vers des centaines de modèles, Mozilla a compté huit des dix premiers modèles par volume de jetons en août comme étant à poids ouverts, dont sept fabriqués en Chine.

Ensuite, l'argent.

Les fournisseurs fermés ont capté 96 % des revenus de la couche modèle sur OpenRouter de mai à septembre 2025, selon la Linux Foundation. « Nous voyons la décision de payer pour des modèles fermés comme spécifique à la charge de travail plutôt qu'à l'organisation », a déclaré Raffi Krikorian, directeur des technologies de Mozilla, dans un courriel à Ars Technica, comme cité dans le rapport de Tom's Hardware.

Ce que le chiffre de quatre mois laisse de côté

Deux mises en garde se trouvent dans le rapport lui-même. L'écart de quatre mois et le chiffre de prix des jetons de 30 % sont mesurés d'API à API sur des points de terminaison hébergés, au prix public. Et le graphique matériel du rapport lui-même place le meilleur modèle ouvert qui tient sur un serveur à 52,6 sur l'indice et le meilleur sur un GPU à 40, des baisses de 10 et 23 points par rapport au sommet. C'est un écart plus large que quatre mois.

Les exigences de service sont la version pratique du même problème. Le checkpoint natif MXFP4 de Kimi K3 occupe environ 1,56 To répartis sur 96 fragments, et la configuration de service de Mozilla liste 64 accélérateurs ou plus, tandis que vLLM exige au moins huit GPU GB300, avec plusieurs nœuds pour le trafic de production. Le rapport décrit cela comme ouvert mais non exécutable par la plupart de ceux qui le possèdent. Tom's Hardware a placé le besoin en mémoire près de 1,5 To en juillet. Une exception nommée par le rapport est Inkling-Small de Thinking Machines, sous licence Apache 2.0, dont la version NVFP4 tient sur un B300 avec un plancher de 180 Go.

Les données du rapport s'arrêtent au 1er septembre, et les classements ont bougé depuis.

Artificial Analysis a décalé son indice vers la v4.3 avec un ensemble d'évaluation différent ; le classement en direct a Claude Fable 5.1 à 53 sur son réglage d'effort le plus élevé avec Kimi K3 à 44, des chiffres non comparables aux valeurs v4.1.1 tracées par Mozilla. Le classement de Terminal-Bench 2.1 de vals.ai, mis à jour le 11 septembre, est désormais mené par GPT-6 Astra à 87,27 % avec Fable 5.1 à 85,02 %. La légende du graphique de Mozilla dit : « l'écart se réinitialise à chaque cycle de publication ». K3 porte également une allégation détaillée dans l'avertissement conjoint NSA/CISA/FBI du 8 septembre (AA26-251A). L'affirmation, que le rapport de Mozilla qualifie de « affirmée, et non démontrée », est que Moonshot a extrait des données de Claude Fable 5 pour entraîner K3 par distillation, la pratique consistant à entraîner un modèle sur les sorties d'un autre modèle.

La bataille de l'appellation sous la bataille des benchmarks

L'Open Source Initiative a utilisé le même cycle d'actualités pour débattre du vocabulaire. Dans un article du 19 septembre, l'OSI a écrit que les poids ouverts permettent d'exercer certaines des quatre libertés logicielles, la liberté d'utiliser, d'étudier, de modifier et de partager sans demander au titulaire des droits, mais pas toutes, et seulement dans une certaine mesure.

Le cadrage de l'OSI : un modèle d'IA a trois composants principaux, les données d'entraînement, les poids et paramètres, et le code pour la préparation des données et l'entraînement. Les publications à poids ouverts livrent les poids, ce qui permet d'exécuter un modèle localement, de payer un tiers pour l'héberger, ou de le fine-tuner sur ses propres données. Elles ne livrent pas les autres composants. Sans le code et les données d'entraînement ou un compte rendu de la manière dont les données ont été construites, l'OSI soutient qu'on ne peut pas inspecter pleinement un modèle pour répondre à la question de savoir pourquoi il a produit une sortie ou si cette sortie est fiable. L'article cite Olmo d'Ai2 comme exemple d'un grand modèle de langage dont le jeu de données d'entraînement complet et les checkpoints permettent aux chercheurs d'étudier comment un modèle mémorise ou oublie les informations injectées.

La distinction n'est pas académique pour quiconque lit les chiffres de Mozilla comme guide d'achat. Le rapport de Mozilla compte 16 publications ouvertes notables, mais note qu'aucune ne livre la recette de données exigée par la définition de l'Open Source Initiative. Mozilla est aussi un défenseur des modèles ouverts : TIME a rapporté le 14 juillet que Krikorian a décrit le rapport comme partiellement militant. Le rapport repose sur une enquête Mozilla/SlashData auprès d'environ 1 400 développeurs, des données de trafic d'OpenRouter et des indices de benchmarks de tiers.

Ce qu'aucun de ces documents ne tranche, c'est de savoir si des poids moins chers, légèrement en retard, suffisent pour les charges de travail que les gens exécutent réellement. Le partage des revenus dit que la plupart des acheteurs paient toujours pour du fermé. Le partage du volume de jetons dit que la plupart du trafic est déjà ouvert. Les deux peuvent être vrais en même temps, et le chiffre de quatre mois ne tranche pas entre eux.