Quail esegue AI-SQL a un miliardo di token al minuto su una H100, battendo vLLM di 10 volte

I numeri parlano da soli. Su una query con più join, Quail elabora oltre un miliardo di token al minuto per GPU H100, secondo Modal, che ha sviluppato il motore insieme al Full Stack Data Lab della Carnegie Mellon University. Sull'hardware di Modal, il costo scende sotto i 6 centesimi per miliardo di token. Su un nuovo benchmark per query AI-SQL, Quail è 1,84 volte più veloce di vLLM, con media geometrica calcolata su tutti i task.

Il post di accompagnamento del Full Stack Data Lab, pubblicato lo stesso giorno, spiega dove la baseline fallisce. Il team ha eseguito vLLM 0.26.0 con Qwen3 4B FP8 su una H100 contro BIO-4, una query che filtra 5.000 referti medici contro 4.144 termini di reazione, con due join. La stima del limite di velocità per il piano era di 894,37 secondi, ovvero 14,91 minuti. vLLM ha impiegato 6,84 ore, 27,55 volte la stima.

Le cause sono due. La prima è l'overhead dell'host: la CPU pianifica e traccia le richieste mentre la H100 resta inattiva. La seconda è il KV regret: vLLM scarta la cache key-value di cui avrà bisogno in seguito, così con un fattore di scala 1,0 l'esecuzione ha processato 174,6 milioni di token di prefill sprecato.

La soluzione di Quail è strutturale. Con un piano di query in mano, il motore può ordinare ed espellere la cache KV in modo deliberato, una revisione dell'attenzione a cascata in stile Hydragen, e può raggruppare le richieste piccole per mantenere la GPU occupata. Modal descrive il risultato come il punto in cui la pianificazione del database e lo scheduling dell'inferenza smettono di essere problemi separati.

Perché conta per il conto

AI-SQL è il pattern in cui SQL viene esteso con funzioni definite dall'utente che chiamano un LLM. Snowflake Cortex AISQL, le funzioni AI di BigQuery, Databricks AI Functions e, di recente, MotherDuck lo supportano, nota il Full Stack Data Lab. Un filtro implica una chiamata al modello per riga. Un join ingenuo implica una chiamata per ogni coppia di righe. Una sola query può generare centinaia di migliaia o milioni di chiamate.

In questo contesto, il quadro generale dei prezzi diventa più confuso, non più chiaro. L'indice dei prezzi di settembre di AICostBudget, congelato al cutoff del 2026-09-30 UTC, copre 81 record pubblici su 11 fornitori. Il prezzo mediano di input è 1,32 dollari per milione di token; quello di output è 6 dollari. Lo sconto mediano sull'input in cache è del 90%, quello mediano sul batch è del 50%. La stessa pagina avverte che i prezzi di listino sono input per la pianificazione, non fatture.

Le tariffe orarie lorde delle GPU raccontano una storia di divergenza simile. GPUAdvisor, che monitora 14 fornitori, con ultimo rilevamento il 1 ottobre, elenca una A4000 16GB su Hyperstack a 0,15 dollari l'ora, una RTX 3090 su Lium a 0,22, e una L40S su Lium a 0,38, segnalandola come l'89% sotto AWS. Il riepilogo del sito è diretto: i cloud specializzati in GPU offrono prezzi per GPU da 2 a 4 volte più bassi rispetto agli hyperscaler, e lo spot può far risparmiare dal 60 al 70% sui run di training con checkpointing.

FitMyLLM converte le tariffe orarie in costo per milione di token, e la classifica si inverte. La sua opzione misurata più economica è una RTX 3060 12GB su Vast.ai a 0,261 dollari per milione di token. Una RTX 5090 su Vast.ai è la scheda misurata più veloce a 227 token al secondo, ma costa 0,576 dollari per milione. Le schede da datacenter si piazzano male in questa vista a singolo stream, e FitMyLLM lo dice: una H100 giustifica il prezzo servendo molti stream insieme, e con un solo stream la sua banda resta in gran parte inutilizzata.

La questione dell'efficienza sottostante

L'energia è il prossimo asse. Un articolo presentato a SOSP '26 il 28 settembre, di Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar, sostiene che ottimizzare solo l'utilizzo della GPU può far salire i consumi. Il loro sistema, EnerTune, dichiara da 1,4 a 2,3 volte meno energia e da 1,3 a 2,6 volte meno potenza assorbita rispetto alle baseline allo stato dell'arte, rispettando gli SLO di prestazioni.

Non tutti i fornitori inseguono la stessa curva. Mind-1 di MindOn, annunciato il 30 settembre, punta sulla latenza di inferenza per i robot, tagliandola da 82ms a 32ms, un angolo diverso dello stesso problema: cosa compra davvero un'ora di calcolo.