Quail: oltre un miliardo di token al minuto su una singola H100

Il dato arriva con un prezzo: meno di 6 centesimi per miliardo di token su Modal, secondo il blog aziendale. È la cifra che decide se l'AI-SQL va in produzione o resta sullo scaffale, perché un filtro su un milione di righe equivale a un milione di chiamate al modello.

Due colli di bottiglia, due soluzioni

Il write-up del Full Stack Data Lab, pubblicato il 24 settembre, inquadra il problema in termini di database. Una query che incrocia 5.000 referti medici con 4.144 termini di reazione si espande in milioni di richieste di inferenza separate. Eseguendole una alla volta con vLLM 0.26.0 e Qwen3 4B FP8 su una H100, i tempi sono stati di 6,84 ore. Gli autori calcolano che è 27,55 volte la stima roofline di 894,37 secondi (14,91 minuti). Indicano due cause: l'overhead dell'host, dove la CPU pianifica le richieste mentre la H100 è inattiva, e il KV regret, dove il motore scarta stato chiave-valore di cui avrà bisogno in seguito. Su quel benchmark con fattore di scala 1.0, vLLM ha elaborato 174,6 milioni di token inutili.

Quail guarda il piano della query prima di eseguirla. Conoscendo la forma dei join, si possono ordinare le richieste per mantenere in cache i prefissi condivisi e raggruppare il lavoro che un motore generalista tratta come non correlato. Il post di Modal lo descrive come una revisione della cascade attention in stile Hydragen. Entrambi i team definiscono il progetto una collaborazione tra i ricercatori di inferenza di Modal e il gruppo di database della CMU.

Sull'intero benchmark il guadagno è più contenuto: 1,84 volte più veloce di vLLM in media geometrica. Il conteggio include due query costruite apposta per mostrare dove l'inferenza AI-SQL fallisce ancora.

I dati sui prezzi sottostanti

Le affermazioni sui costi dipendono da quanto costa un'ora di GPU, un numero che ora cambia ogni settimana. GPUAdvisor traccia 14 provider: Hyperstack a 0,15 dollari l'ora per A4000 16GB, Lium a 0,22 per RTX 3090 e 0,38 per L40S, RunPod RTX A5000 a 0,27 on-demand contro 0,16 nel tier Community Cloud. La pagina, aggiornata l'1 ottobre, afferma che i prezzi delle GPU non sono più una tabella stabile.

FitMyLLM affronta la questione dal lato dei token, sostenendo che una tariffa oraria non dice nulla senza il throughput. La sua tabella live legge le tariffe dalle API dei provider ogni tre minuti e classifica per costo per milione di token in output a stream singolo. La RTX 3060 di Vast.ai è la più economica a 0,261 dollari per milione; una RTX 5090 su Vast.ai gira a 227 token al secondo e costa 0,576 per milione. Il sito ammette che le schede da datacenter si posizionano male su questa metrica per design, poiché H100 o H200 giustificano il prezzo servendo molti stream in parallelo, e che quelle righe sono stime, non misure.

"Il prezzo di un marketplace è l'annuncio di un singolo host, non una tariffa pubblicata: può sparire, e gli host possono far girare una scheda sotto il suo limite di potenza di fabbrica, il che costa velocità che il prezzo non mostra."

Per chi compra API invece di affittare GPU, l'indice di settembre di AICostBudget congela 81 record pubblici di 11 provider con cutoff 2026-09-30. Il prezzo mediano di input è 1,32 dollari per milione di token, quello di output 6, e il rapporto mediano output-input è 5,0 volte. I record con input in cache mostrano uno sconto mediano del 90%, quelli con prezzo Batch un 50%, su 58 e 44 righe comparabili rispettivamente. L'indice avverte che le sue mediane non sono prezzi di mercato ponderati per l'uso e non rivendica un calo annuo di settore.

L'efficienza sale nella stack

L'energia è la prossima voce. Un paper presentato a SOSP '26 il 28 settembre da Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar sostiene che ottimizzare solo l'utilizzo della GPU può aumentare i consumi. Il loro sistema, EnerTune, usa modelli analitici delle prestazioni e della potenza per modello, incluso il consumo dei modelli colocati su una GPU condivisa, dentro un algoritmo di bin-packing energy-aware. Gli autori riportano di aver rispettato gli SLO di prestazioni riducendo l'energia da 1,4 a 2,3 volte e la potenza assorbita da 1,3 a 2,6 volte rispetto alle baseline state-of-the-art. Profilare ogni configurazione è troppo costoso su larga scala, motivo per cui i modelli sono analitici e non misurati.

L'inferenza on-device porta lo stesso argomento dall'altro lato. Magnitude, azienda YC S25 che ha postato su Hacker News il 30 settembre, distribuisce un motore open source sotto Apache 2.0 che compila e ottimizza i kernel sull'hardware dell'utente prima che il modello giri. Il README dichiara fino a 2 volte più veloce di llama.cpp, con il 92% in più nella decodifica su Metal e il 19% su CUDA, e il 27% in meno di memoria per agente. Nessun costo per token, nulla lascia la macchina. Il compromesso è che gira modelli aperti sulla tua GPU, non un modello di frontiera su quella di qualcun altro.

Cosa devono guardare gli acquirenti

Tre numeri nel dossier puntano in direzioni diverse. L'1,84 volte di velocità media di Quail è reale ma modesto rispetto al titolo del miliardo di token al minuto, e gli autori lo ammettono. La tariffa misurata più economica di FitMyLLM, 0,261 dollari per milione di token, sta su una scheda consumer che la maggior parte dei team di produzione non deployerebbe. Il prezzo mediano di output di AICostBudget, 6 dollari per milione di token, riflette i listini, non le tariffe in cache o batch che i grandi workload pagano davvero.

La lettura pratica: le tariffe orarie per GPU sono ormai un confronto tra commodity, e la differenziazione si è spostata sul throughput per dollaro, sul comportamento della cache e sull'energia. Gli autori di Quail sono espliciti: questo è un inizio, non una fine. Chiedono l'unica cosa che il loro benchmark non può fornire da solo, cioè workload reali da team che usano AI-SQL su larga scala.