Le prix de l'inférence se fragmente : cache, latence vocale et auto-hébergement

Ce ratio, mesuré sur 14 routes, résume l'évolution des prix de l'inférence cette année. Le tarif affiché par million de tokens ne détermine plus la facture. L'état du cache, la structure de la requête et l'amont qui traite l'appel font varier le coût d'un ordre de grandeur.

Le protocole d'inference.academy était volontairement restreint. Il ciblait 1 000, 10 000 et 100 000 tokens d'entrée, avec un budget de sortie de 100 ou 1 000 tokens, une température de 0 et le raisonnement désactivé. Les requêtes froides utilisaient un préfixe unique ; les requêtes chaudes répétaient le même prompt. L'auteur qualifie ces mesures de tests de service, non de scores de qualité de tâche. Le coût est défini comme le total des frais de requête divisé par les tokens d'entrée, multiplié par 1M, frais de sortie inclus. Ce n'est donc pas le prix unitaire du token d'entrée.

La part de cache correspond à la somme des tokens d'entrée en cache divisée par la somme des tokens d'entrée des requêtes réussies signalant les deux valeurs. Il s'agit d'une part de tokens, non du pourcentage de requêtes touchant le cache. La séquence chaude inclut sa première requête.

Le routage a introduit une seconde variable que l'étude n'a pas totalement élucidée. Pour 1 000 tokens d'entrée et 100 de sortie avec un cache froid, OpenRouter a renvoyé 20 noms d'amont : Baidu avec 18 appels, Relace avec 14 et AkashML avec 13. La même structure de requête à chaud a renvoyé 14 noms, menés par Relace (24), CoreWeave (16) et DeepSeek (11). Le rapport note qu'un prompt répété peut atteindre un amont différent, modifiant ainsi son comportement de cache. Il précise que la distribution seule n'explique pas le changement de routage.

Telnyx a dominé la vitesse de génération médiane dans 12 des 12 conditions, selon le même benchmark. La rapidité du premier token dépendait de la structure de la requête. Un modèle rapide sur un prompt court peut donc perdre cette avance sur un prompt long.

Les modèles vocaux se battent en millisecondes, puis en prix

Les benchmarks de latence vocale suivent un schéma similaire. Nari Labs a écrit le 14 septembre 2026 que, mi-septembre, elle domine les benchmarks de transcription (STT) et de synthèse (TTS) de Coval. Elle se classe première sur la latence et deuxième sur le taux d'erreur de mot (WER) en STT, et deuxième sur la latence et première sur le WER en TTS. Elle ajoute une réserve importante : les chiffres de Coval peuvent fluctuer toutes les 30 minutes.

L'endpoint Qwen3-ASR Fast de la société est classé premier en temps jusqu'au segment final, avec un p50 de 44 ms et un WER de 3,6 %. Il se place deuxième derrière Universal 3.5 Pro d'AssemblyAI (3,5 %). Nari indique que l'endpoint Fast à 0,12 $/h partage le deuxième tarif le plus bas parmi les modèles aux prix publics connus dans l'annuaire de Coval. Universal 3.5 Pro coûte 3,75 fois plus cher et Deepgram Nova 3, 2,4 fois plus. L'endpoint Standard serait le moins cher à 0,06 $/h.

Côté synthèse, le modèle Qwen3-TTS Fast de Nari est classé deuxième en temps jusqu'au premier audio (TTFA), avec un p50 de 63 ms et un WER de 3,8 %. La société présente ce WER comme la première place en qualité. Seul vui de Fluxions affiche un TTFA médian plus bas, à 49 ms, avec un modèle de 300M paramètres contre le Qwen3-TTS de 1,7B servi par Nari.

À 10 $ par 1M de caractères, Nari indique que son endpoint Fast partage la première place des tarifs les plus bas dans l'annuaire de Coval. ElevenLabs Eleven v3 Conversational coûte 5 fois plus cher et Cartesia Sonic 3.6, 6,5 fois plus.

La comparaison la plus nette du billet concerne des endpoints servant les mêmes poids. Nari rapporte que l'endpoint officiel Qwen3 TTS Flash Realtime affiche un WER de 8,8 % et un TTFA médian dans les centaines de millisecondes. L'endpoint dédié Qwen3-TTS de Baseten enregistre un WER de 6,0 % et un TTFA médian dans les basses centaines de millisecondes. Même modèle, pile de service différente, chiffres différents.

L'auto-hébergement a un prix lui aussi, et il est opérationnel

L'enquête de Nexlab du 20 septembre 2026 sur les orchestrateurs auto-hébergés couvre LocalAI, exo, GPUStack, Xinference, Ollama, vLLM et CoderAI, avec les nombres d'étoiles GitHub récupérés via l'API ce jour-là. La donnée utile n'est pas le nombre d'étoiles, mais ce que chaque outil fait d'une machine à l'autre.

• Ollama, à 181 000 étoiles, gère une machine et un modèle à la fois, sans gestion de cluster au-delà du round-robin sur plusieurs URL Ollama.
• vLLM, à 92 000 étoiles, gère le parallélisme tensoriel et de pipeline via Ray, mais ne gère ni les modèles, ni les utilisateurs, ni le placement.
• LocalAI, à 49 000 étoiles, a ajouté un mode distribué en juin 2026 avec découverte libp2p et un routeur conscient de la VRAM et des caches de préfixe ; l'enquête indique que son débit LLM brut est en retrait de quelques dizaines de pour cent par rapport à un moteur dédié.
• exo, à 47 000 étoiles, scale sur Apple Silicon avec MLX et RDMA sur Thunderbolt 5, annonçant 3,2x sur quatre appareils, mais reste CPU uniquement sous Linux en septembre 2026.
• GPUStack, à 5 700 étoiles, propose utilisateurs, clés, mesure et Prometheus, et prend en charge neuf fournisseurs d'accélérateurs.

LiteLLM, à 59 000 étoiles, route entre endpoints et clouds mais ne fait tourner aucun modèle. L'enquête note que cette distinction est souvent ignorée.

Le schéma commun aux trois sources est que le coût n'est plus un tarif publié unique. Une passerelle qui ignore l'état du cache, un endpoint vocal qui ignore la latence de queue ou un orchestrateur qui ignore les taux de panne produiront chacun une facture ou une expérience utilisateur que le prix affiché ne prévoyait pas.

Aucune de ces sources ne tranche la question de la durabilité des écarts. Les remises de cache dépendent du routage, le routage change entre les appels, et les positions dans les benchmarks bougent en moins d'une heure. Un acheteur qui compare deux fournisseurs sur un seul chiffre compare la mauvaise chose.