Prezzi GPU in salita, tariffe cloud in calo: il costo reale dell'inferenza

Le tariffe di listino non raccontano dove finiscono i soldi. Meetrix ha confrontato AWS e GCP, verificando i prezzi il 28 settembre: una H100 on-demand costa 6,88 dollari l'ora su AWS contro 10,98 su GCP. Il divario del 37% è reale, ma inferiore alla variazione che si ottiene facendo girare la stessa scheda a un quarto del carico. Con la GPU al massimo, il costo è di 0,76 dollari per milione di token; al 25% di utilizzo sale a 3,06. Meetrix si basa su un throughput indicativo di 2.500 token al secondo.

Il silicio inattivo costa più di qualsiasi scelta di fornitore.

GPUAdvisor monitora 14 fornitori e dichiara l'ultimo aggiornamento dei dati al 1 ottobre. Sulle schede più vecchie, i cloud specializzati offrono prezzi molto inferiori agli hyperscaler: una A4000 a 0,15 dollari per GPU-ora su Hyperstack, una L40S a 0,38 su Lium, una RTX 4090 a 0,40. Il sito definisce queste cifre stime tracciate e invita a confermare le tariffe sulla pagina del fornitore. È una cautela legittima, perché la stessa pagina elenca una RTX 4090 a 0,74 su RunPod. Due prezzi, stesso modello, quasi il doppio.

Il conto dei token è un'altra storia

Il 29 settembre Artificial Analysis ha pubblicato la valutazione di Claude Sonnet 5.5 di Anthropic. Il modello raggiunge 56 punti sull'Intelligence Index, due punti sotto Opus 5.5 al massimo sforzo, consumando circa 193.000 token di output per attività. Secondo il laboratorio, è circa il 60% in più di Opus 5.5 e circa sette volte GPT-6 Astra al massimo sforzo. Anthropic ha mantenuto i prezzi invariati: 2 dollari per milione di token in input e 10 per milione in output. Il costo per attività arriva a 7,60 dollari, circa il 50% in più rispetto a Sonnet 5.

Stesso listino, conto diverso. I token fanno la differenza.

AI Pricing Guru aggiorna le tariffe quotidianamente, con l'ultimo aggiornamento il 1 ottobre. Per le API generiche, indica una fascia di prezzo tra 0,50 e 15 dollari per milione di token in output. L'input costa in genere da due a otto volte meno, e l'input in cache riduce ulteriormente i costi del 75% al 90% dove supportato dal fornitore. Il calcolatore del sito segue 154 modelli attivi su oltre 10 fornitori.

Il retrieval cambia l'aritmetica prima ancora che inizi la generazione. Spheron ha pubblicato il 29 settembre un'analisi dei costi: una configurazione RAG standard che recupera cinque blocchi da 500 token aggiunge 2.500 token di contesto per query. Una domanda che in una chat semplice costerebbe da 100 a 200 token in input può arrivare a costare da 15 a 20 volte di più sul lato input.

Il 29 settembre Unblocked ha descritto il proprio sistema di routing. Sposta il traffico di GLM 5.2 tra Baseten, Fireworks e CoreWeave in base a un punteggio ponderato: 70% costo, 30% latenza. Con un ordine fisso che privilegia Baseten, quel fornitore ha gestito il 98,5% delle attività nella prima settimana completa. L'azienda riferisce che i prezzi di listino di CoreWeave erano circa il 45% più bassi di quelli di Baseten, ma non aveva dati sulle prestazioni per posizionarlo. Questa è la realtà degli acquisti: l'opzione più economica è spesso quella che nessuno ha misurato.