Prezzi dell'inferenza in frammenti: i motori open source stringono i token, le bollette hardware salgono

Il 30 settembre Magnitude, azienda di Y Combinator S25, ha pubblicato un motore di inferenza open source per agenti. Il sistema compila e ottimizza i kernel sull'hardware dell'utente. Il repository afferma che i modelli aperti girano "fino a 2 volte più veloci di llama.cpp", con decodifica più rapida del 92% su Metal e del 19% su CUDA, e il 27% di memoria in meno per agente. Il motore funziona su Apple Silicon, NVIDIA, AMD o CPU. Si collega a Pi, OpenCode, Hermes, Codex, Claude Code e Cline, secondo la pagina GitHub del progetto.

È l'ultimo arrivato in una settimana di dichiarazioni contrastanti sui costi dell'inferenza. Lo stesso giorno, i ricercatori di Quail, uno strato di inferenza consapevole della query, hanno riferito di aver eseguito una query AI-SQL con più join a oltre un miliardo di token al minuto su una singola GPU H100. Secondo loro, è oltre 10 volte più veloce della loro baseline vLLM sullo stesso hardware.

Il lato token: la pianificazione batte la forza bruta

Il lavoro su Quail, pubblicato sul blog di Full Stack Data Lab e approfondito su quello di Modal, affronta un carico di lavoro specifico: l'AI-SQL, dove le query SQL chiamano i modelli linguistici riga per riga. Un filtro richiede una chiamata per riga, un join ingenuo una chiamata per ogni coppia di righe. Su una query di benchmark chiamata BIO-4, gli input contengono 5.000 referti medici lunghi e 4.144 termini di reazione, usati due volte in due join. La tesi dei ricercatori è che inviare milioni di chiamate correlate a un motore generico come richieste separate spreca lo stato del prefisso condiviso. Ottimizzando insieme il piano di query e il motore di inferenza, riducono quel sovraccarico. L'articolo di Modal indica un costo inferiore a 6 centesimi per miliardo di token sulla sua piattaforma. Riporta Quail 1,84 volte più veloce di vLLM come media geometrica su un nuovo benchmark AI-SQL, incluse due query progettate dal team per evidenziare le debolezze rimanenti.

"Applicazioni di inferenza diverse producono carichi di lavoro diversi, e AI-SQL non fa eccezione", si legge nel post di Modal, che osserva come una singola query possa generare milioni di sequenze da migliaia di token.

Entrambi i numeri provengono dai team che costruiscono i sistemi. Nessuno dei due è stato riprodotto in modo indipendente dal materiale pubblicato. Questa precisazione conta, perché il quadro generale dei prezzi è più disordinato di quanto suggerisca qualsiasi singolo guadagno di velocità.

L'indice dei prezzi di settembre di AICostBudget, congelato al 30 settembre 2026 UTC, traccia 81 record pubblici su 11 fornitori. Fissa il prezzo mediano di input a 1,32 dollari per milione di token e quello di output a 6 dollari. Il rapporto è di 5,0 volte sui 69 record che riportano entrambi i valori. Gli intervalli osservati vanno da 0,10 a 30 dollari per l'input e da 0,10 a 180 dollari per l'output. Lo stesso dataset riporta uno sconto mediano del 90% sull'input in cache su 58 record comparabili e uno sconto mediano del 50% su 44 righe che supportano il batch. In altre parole, i listini sono una guida scarsa per capire quanto paga davvero un carico di lavoro. Le mediane per fornitore nell'indice vanno da Mistral AI a 0,20 dollari di input e 0,60 di output, su tre record, fino ad Anthropic a 5 e 25 dollari su 13. I 18 record di OpenAI stanno a 2 e 11 dollari; i 14 di Google Gemini a 0,75 e 4,125.

Il lato hardware: energia, non solo utilizzo

Se l'economia dei token migliora, quella delle GPU non la segue in modo evidente. Un paper presentato a SOSP '26 il 28 settembre sostiene che ottimizzare i cluster GPU solo per l'utilizzo può aumentare il consumo energetico. Gli autori, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar, descrivono EnerTune. È un sistema di serving che modella prestazioni e assorbimento di potenza per modello, compresi i modelli colocati su GPU condivise. Usa un algoritmo di bin-packing consapevole dell'energia per collocare e configurare i modelli. Il paper dichiara riduzioni di energia da 1,4 a 2,3 volte e di potenza da 1,3 a 2,6 volte rispetto alle baseline allo stato dell'arte, rispettando gli SLO di prestazioni. Fa anche un'osservazione pratica sulla scala: profilare ogni modello su centinaia di configurazioni costa troppo, e la profilazione stessa consuma energia.

È un risultato accademico, non un benchmark di un fornitore. Arriva mentre gli operatori dell'Asia-Pacifico scelgono una strada diversa per tagliare i costi. Light Reading ha riferito il 30 settembre che StarHub e M1 sono in trattative di fusione a Singapore. Le due aziende condividono già lo spettro 5G e la rete di accesso radio attraverso una società di proprietà congiunta chiamata Antina. Singtel deteneva a giugno una quota del 43% del mercato mobile, con M1 al 22%, StarHub al 21% e Simba al 14%.

In Nuova Zelanda, 2degrees e OneNZ hanno proposto di unire le loro reti radio in un'entità di proprietà congiunta. L'accordo dovrebbe arrivare alla Commerce Commission il prossimo anno. Light Reading cita il precedente: l'infrastruttura 5G condivisa di China Telecom e China Unicom arriva ora a 1,5 milioni di stazioni base e a risparmi dichiarati di 56 miliardi di dollari di capex. Sono accordi sulla connettività, non sul calcolo AI, ma mostrano lo stesso istinto: condividere asset fissi costosi batte duplicarli.

Cosa vedono gli acquirenti

Per chi paga davvero l'inferenza, il dato più utile della settimana è forse un monito. Gaurav Kogan, scrivendo il 30 settembre, ha raccontato di aver rimosso un calcolatore di prezzi basato sull'uso in Pinecone dopo un test A/B. I visitatori che non vedevano il calcolatore avevano il 16% di probabilità in più di registrarsi e il 90% in più di contattare l'azienda. Non c'è stato un aumento dei ticket di supporto sui prezzi. La sua spiegazione è precisa: una leggera interpretazione errata poteva produrre una stima gonfiata fino a 1.000 volte, e il calcolatore dava agli utenti una falsa sicurezza. Un sondaggio interno ha rilevato che 7 dipendenti su 10 si aspettavano prestazioni migliori dalla versione con il calcolatore. La lezione vale anche per i prezzi dell'inferenza, dove le tariffe in cache e in batch possono spostare una bolletta di un ordine di grandezza e il numero in evidenza raramente riflette il carico di lavoro.

Altri due elementi del 30 settembre stanno ai margini di questa storia. MindOn ha presentato Mind-1, un modello di AI fisica che secondo l'azienda riduce la latenza di inferenza dei robot da 82ms a 32ms. Osserva che a una velocità dell'end-effector di 3 m/s, 10ms di latenza equivalgono a circa 3cm di movimento. Transport & Environment ha pubblicato un'analisi, ripresa da CleanTechnica il 29 settembre, secondo cui i guidatori di auto elettriche pagano meno della metà di quanto pagano i guidatori diesel per chilometro. I guidatori diesel pagano 32 euro in più per pieno rispetto all'inizio dell'anno.

Nessuno dei due è un caso da data center. Entrambi ricordano che il costo dell'inferenza è ormai un vincolo fisico misurato in millisecondi, joule ed euro, non solo in dollari per milione di token.

Il filo conduttore della settimana è che nessun numero da solo chiude la questione. Il 92% di decodifica in più dichiarato da Magnitude è specifico per Metal e auto-riferito. Il miliardo di token al minuto di Quail viene da una query con più join su una H100. Il team stesso segnala due query di benchmark come aree da migliorare. I risparmi di EnerTune sono modellati contro baseline in un paper. L'indice dei prezzi è un'istantanea congelata di listini che la maggior parte degli acquirenti non paga.

Ciò che resta coerente è la direzione dell'ingegneria: ottimizzare i kernel per il chip esatto, pianificare le query attorno al modello e trattare la potenza come metrica di prima classe. Che poi tutto questo si traduca in inferenza più economica dipende meno da un singolo benchmark che da quanto arriva in produzione.