Prix des GPU en hausse, tarifs cloud en baisse : le coût réel de l'inférence

Les tarifs affichés ne sont pas là où se joue l'essentiel. Meetrix a comparé AWS et GCP, avec des prix vérifiés le 28 septembre : un H100 à la demande coûte 6,88 dollars l'heure sur AWS, contre 10,98 sur GCP. L'écart de 37 % est réel. Il est toutefois inférieur à la variation constatée sur la même carte à un quart de charge. Avec le débit de référence de 2 500 tokens par seconde retenu par Meetrix, le million de tokens revient à 0,76 dollar quand le GPU est pleinement sollicité, et à 3,06 dollars à 25 % d'utilisation.

L'argument tient en une phrase. Le silicium inactif coûte plus cher que n'importe quel choix de fournisseur.

GPUAdvisor, qui suit 14 fournisseurs et indique avoir mis à jour ses données le 1er octobre, montre que les clouds spécialisés affichent des marges importantes sur les cartes plus anciennes : une A4000 à 0,15 dollar l'heure GPU chez Hyperstack, une L40S à 0,38 dollar chez Lium, une RTX 4090 à 0,40 dollar. Le site qualifie ces chiffres d'approximations suivies et invite les acheteurs à confirmer les tarifs sur la page du fournisseur. C'est juste, car cette même page liste une RTX 4090 à 0,74 dollar chez RunPod. Deux prix, même modèle, presque le double.

La facture en tokens est un autre chiffre

Artificial Analysis a publié le 29 septembre son évaluation de Claude Sonnet 5.5 d'Anthropic. Le modèle atteint 56 sur son Intelligence Index, deux points derrière Opus 5.5 à effort maximal, tout en utilisant environ 193 000 tokens de sortie par tâche. C'est environ 60 % de plus qu'Opus 5.5, et près de sept fois GPT-6 Astra à effort maximal, selon le laboratoire. Anthropic a maintenu ses tarifs inchangés : 2 dollars par million de tokens d'entrée et 10 dollars par million de tokens de sortie. Le coût par tâche s'élève pourtant à 7,60 dollars, soit environ 50 % de plus que Sonnet 5.

Même grille tarifaire. Facture différente. Ce sont les tokens qui font la différence.

AI Pricing Guru, qui actualise ses tarifs quotidiennement et a mis à jour ses données le 1er octobre, place la fourchette utilisable pour les API généralistes entre 0,50 et 15 dollars par million de tokens de sortie. L'entrée coûte généralement deux à huit fois moins cher, et la mise en cache réduit encore les coûts de 75 % à 90 % lorsque le fournisseur le supporte. Son calculateur suit 154 modèles actifs chez plus de 10 fournisseurs.

La récupération de contexte change l'arithmétique avant même le début de la génération. Le détail des coûts publié par Spheron le 29 septembre note qu'une configuration RAG standard récupérant cinq segments de 500 tokens ajoute 2 500 tokens de contexte par requête. Une question qui coûterait 100 à 200 tokens d'entrée en simple conversation peut donc coûter 15 à 20 fois plus cher côté entrée.

Unblocked a décrit le 29 septembre son travail de routage. Le trafic de GLM 5.2 est réparti entre Baseten, Fireworks et CoreWeave selon un score pondéré à 70 % sur le coût et à 30 % sur la latence. Avec un ordre fixe favorisant Baseten, ce fournisseur a traité 98,5 % des tâches lors de la première semaine complète. L'entreprise indique que les tarifs catalogue de CoreWeave étaient environ 45 % inférieurs à ceux de Baseten, mais elle ne disposait pas de données de performance pour le classer. C'est l'état actuel des achats : l'option la moins chère est souvent celle que personne n'a mesurée.