Quail exécute de l'AI-SQL à un milliard de tokens par minute sur un seul H100, dix fois plus vite que vLLM

Les chiffres parlent d'eux-mêmes. Sur une requête avec plusieurs jointures, Quail traite plus d'un milliard de tokens par minute et par GPU H100, selon Modal. Le moteur a été développé avec le Full Stack Data Lab de l'université Carnegie Mellon. Sur le matériel de Modal, le coût est inférieur à 6 cents par milliard de tokens. Sur un nouveau benchmark de requêtes AI-SQL, Quail est 1,84 fois plus rapide que vLLM, en moyenne géométrique sur l'ensemble des tâches.

Le billet d'accompagnement du Full Stack Data Lab, publié le même jour, explique l'origine de l'écart. L'équipe a exécuté vLLM 0.26.0 avec Qwen3 4B FP8 sur un H100 face à BIO-4. Cette requête filtre 5 000 comptes rendus médicaux contre 4 144 termes de réaction, avec deux jointures. L'estimation de vitesse limite pour ce plan était de 894,37 secondes, soit 14,91 minutes. vLLM a mis 6,84 heures, soit 27,55 fois cette estimation.

Deux causes principales. D'abord, la surcharge de l'hôte : le CPU planifie et suit les requêtes pendant que le H100 reste inactif. Ensuite, le regret KV : vLLM supprime du cache clé-valeur dont il aura besoin plus tard. Avec un facteur d'échelle de 1,0, l'exécution a traité 174,6 millions de tokens de préremplissage inutiles.

La solution de Quail est structurelle. Grâce au plan de requête, le moteur ordonne et évince le cache KV de manière délibérée. C'est une révision de l'attention en cascade de type Hydragen. Il regroupe aussi les petites requêtes pour maintenir le GPU occupé. Modal décrit le résultat comme le point où la planification de base de données et l'ordonnancement de l'inférence cessent d'être deux problèmes distincts.

L'impact sur la facture

L'AI-SQL est un schéma qui étend SQL avec des fonctions définies par l'utilisateur appelant un LLM. Snowflake Cortex AISQL, les fonctions AI de BigQuery, les AI Functions de Databricks et, récemment, MotherDuck le supportent, note le Full Stack Data Lab. Un filtre déclenche un appel au modèle par ligne. Une jointure naïve en déclenche un pour chaque paire de lignes. Une seule requête peut générer des centaines de milliers, voire des millions d'appels.

Dans ce contexte, le paysage tarifaire général se complique. L'indice de prix de septembre d'AICostBudget, figé au 30 septembre 2026 (UTC), couvre 81 enregistrements publics chez 11 fournisseurs. Le prix médian des entrées est de 1,32 dollar par million de tokens ; celui des sorties est de 6 dollars. La remise médiane sur les entrées mises en cache est de 90 %, et celle sur les lots est de 50 %. La même page précise que les prix catalogue servent à la planification, pas à la facturation.

Les tarifs horaires bruts des GPU montrent une divergence similaire. GPUAdvisor, qui suit 14 fournisseurs (dernière mise à jour le 1er octobre), liste une A4000 16GB chez Hyperstack à 0,15 dollar de l'heure, une RTX 3090 chez Lium à 0,22 dollar, et une L40S chez Lium à 0,38 dollar. Ce dernier tarif est marqué comme 89 % inférieur à celui d'AWS. Le résumé du site est direct : les clouds spécialisés GPU proposent des prix par GPU 2 à 4 fois inférieurs à ceux des hyperscalers. Le spot peut faire économiser 60 à 70 % sur les entraînements avec points de contrôle.

FitMyLLM convertit les tarifs horaires en coût par million de tokens, et le classement s'inverse. Son option mesurée la moins chère est une RTX 3060 12GB sur Vast.ai à 0,261 dollar par million de tokens. Une RTX 5090 sur Vast.ai est la carte mesurée la plus rapide à 227 tokens par seconde, mais coûte 0,576 dollar par million. Les cartes de centre de données se classent mal dans cette vue à flux unique. FitMyLLM l'explique : un H100 justifie son prix en servant de nombreux flux simultanément. Sur un seul flux, sa bande passante reste largement inutilisée.

La question de l'efficacité sous-jacente

L'énergie est l'axe suivant. Un article présenté à SOSP '26 le 28 septembre, signé Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar, soutient qu'optimiser uniquement le taux d'utilisation du GPU peut augmenter la consommation d'énergie. Leur système, EnerTune, revendique une énergie 1,4 à 2,3 fois plus faible et une puissance appelée 1,3 à 2,6 fois plus faible que les meilleures références, tout en respectant les SLO de performance.

Tous les fournisseurs ne visent pas la même courbe. Mind-1 de MindOn, annoncé le 30 septembre, cible la latence d'inférence des robots. Il la réduit de 82 ms à 32 ms. C'est un autre aspect du même problème : ce qu'une heure de calcul permet réellement d'obtenir.