Quail, il motore di inferenza che supera il miliardo di token al minuto su una H100

Il 30 settembre Modal e il Full Stack Data Lab della Carnegie Mellon University hanno pubblicato i risultati di Quail, uno strato di inferenza che tiene conto della struttura della query. Il sistema elabora oltre un miliardo di token al minuto su una singola GPU H100 per una query con più join. È più di 10 volte più veloce della loro baseline vLLM sullo stesso hardware. Il dato arriva con un costo: meno di 6 centesimi per miliardo di token su Modal.

Il lavoro riguarda AI-SQL, l'estensione di SQL che permette a una query di chiamare un modello linguistico riga per riga. Il blog del Full Stack Data Lab descrive un filtro che richiede una chiamata al modello per ogni riga e un join naivo che ne richiede una per ogni coppia di righe delle due tabelle di input. I numeri crescono in fretta. Nella query di benchmark BIO-4, 5.000 referti medici vengono uniti a 4.144 termini di reazione, con la lista delle reazioni usata due volte. La baseline vLLM 0.26.0 con Qwen3 4B FP8 su una H100 ha impiegato 6,84 ore a fattore di scala 1,0. Il laboratorio calcola che questo corrisponde a 27,55 volte una stima ottimistica di roofline pari a 14,91 minuti.

Il laboratorio attribuisce il divario a due fattori.

Il primo è l'overhead dell'host: la CPU passa lunghi tratti a pianificare le richieste mentre la GPU aspetta. Il secondo è il cosiddetto KV regret: vLLM scarta stato di chiavi e valori di cui avrà bisogno più tardi. Così l'esecuzione di BIO-4 elabora 174.600.000 token che non erano necessari.

"Il grande vantaggio è che, con in mano una query strutturata, puoi ordinare le richieste per gestire meglio la cache (e l'eliminazione) del KV", afferma il blog di Modal.

Quail non è l'unico su questa strada. Magnitude, una società di Y Combinator S25, ha aperto il suo repository su GitHub il 30 settembre con una proposta diversa: un motore di inferenza open source per agenti che compila e ottimizza i kernel sul dispositivo dell'utente. Il README afferma che i modelli aperti girano fino a 2 volte più veloci di llama.cpp, con il 92% in più sulla decodifica su Metal e il 19% su CUDA, e il 27% in meno di memoria per agente. I target includono Apple Silicon, NVIDIA, AMD e CPU comuni. Il progetto è distribuito sotto licenza Apache 2.0. Entrambi i progetti sostengono che lo stack di serving general-purpose lasci prestazioni sul tavolo. La risposta di Quail è conoscere in anticipo la struttura della query. Quella di Magnitude è conoscere il silicio.

L'economia dietro quell'argomento si vede nei dati sui prezzi. L'indice di settembre di AICostBudget, congelato al taglio UTC del 30 settembre, copre 81 record di prezzi pubblici su 11 fornitori. Su 69 record con uno scalare corrente per i token di input, i prezzi vanno da 0,10 a 30 dollari per 1M di token. L'output va da 0,10 a 180 dollari. La mediana del rapporto output-input sui 69 record che riportano entrambi gli scalari è 5,0 volte. Gli sconti contano quanto i prezzi di listino. Su 58 record comparabili, l'indice riporta una mediana di sconto del 90% sull'input in cache. Su 44 record compatibili con il batch, la mediana dello sconto sull'input in batch è del 50%. La pagina di metodologia è esplicita: i prezzi regionali e le tariffe negoziate non sono inclusi, e questi dati sono input di pianificazione, non fatture.

La ricerca sul lato hardware va nella stessa direzione. Un articolo pubblicato a SOSP '26 il 28 settembre presenta EnerTune, un sistema di serving che usa modelli analitici delle prestazioni e della potenza per modello, più il consumo dei modelli colocati su GPU condivise, per guidare un algoritmo di bin-packing attento all'energia. Gli autori, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar, riportano riduzioni di energia da 1,4 a 2,3 volte e riduzioni di potenza da 1,3 a 2,6 volte rispetto alle baseline allo stato dell'arte, rispettando gli SLO di prestazioni.

Il punto di partenza è che i cluster di GPU restano largamente sottoutilizzati, e che ottimizzare solo l'utilizzo può far salire il consumo energetico. Su larga scala, profilare ogni modello su centinaia di configurazioni è proibitivamente costoso. La stima deve quindi sostituire la misurazione.

Non tutti i risultati recenti riguardano lo stack di serving. MindOn ha presentato Mind-1 il 30 settembre, un modello di AI fisica che, secondo l'azienda, taglia la latenza di inferenza dei robot da 82 ms a 32 ms, portando i compiti di manipolazione a tempi di ciclo umani. Il post dell'azienda osserva che a una velocità dell'end-effector di 3 m/s, 10 ms di latenza equivalgono a circa 3 cm di movimento. È abbastanza da influire sulla presa e sull'inserimento di precisione. È lo stesso argomento sul budget di latenza, applicato a un braccio robotico invece che a un data warehouse.

C'è un contrappeso da notare. Un post di Gleb Kogan pubblicato il 30 settembre descrive Pinecone che rimuove un calcolatore di prezzi basato sull'uso dalla sua pagina dei prezzi. In un test A/B, i visitatori che non vedevano il calcolatore avevano il 16% in più di probabilità di registrarsi e il 90% in più di contattare l'azienda, senza aumento dei ticket di supporto sui prezzi. Il sondaggio interno prima del test aveva rilevato che 7 dipendenti su 10 si aspettavano che vincesse la versione con il calcolatore. Gli strumenti di costo possono fuorviare tanto quanto informare. È un avvertimento per chi legge i benchmark per token come se fossero una bolletta.

I numeri di Quail restano ricerca pubblicata da un fornitore. Il dato di 1,84 volte che il team fornisce per il suo benchmark appena rilasciato, con media geometrica sui compiti, è una rivendicazione molto più modesta del titolo sul miliardo di token al minuto. Il benchmark stesso include due query che gli autori dicono di aver progettato per mostrare dove l'inferenza AI-SQL ha ancora bisogno di lavoro.