Silniki wnioskowania open source obniżają koszty AI-SQL i agentów, pokazują benchmarki

30 września Modal i Full Stack Data Lab z Carnegie Mellon University zaprezentowały Quail. To silnik wnioskowania, który jednocześnie optymalizuje planowanie zapytań SQL i wykonanie LLM. Według bloga Modal Quail przetwarza ponad miliard tokenów na minutę na jednym GPU H100. To ponad 10x szybciej niż bazowy vLLM na tym samym sprzęcie. Na infrastrukturze Modal kosztuje to mniej niż 6 centów za miliard tokenów.

Blog Full Stack Data Lab, opublikowany 24 września i pojawiający się równolegle z wpisem Modal, wyjaśnia problem. AI-SQL rozszerza SQL o funkcje wywołujące LLM dla każdego wiersza, więc jedno zapytanie filtrujące może wygenerować setki tysięcy lub miliony wywołań modelu. Lab wymienia Snowflake Cortex AISQL, BigQuery AI functions, Databricks AI Functions oraz niedawno MotherDuck jako platformy wspierające tę funkcjonalność.

Quail to najnowszy z kilku projektów deklarujących wzrost wydajności w tym tygodniu. 30 września na GitHubie zadebiutował open source'owy projekt Magnitude. To silnik wnioskowania dla agentów, który kompiluje i dostraja kernele na sprzęcie użytkownika. W pliku README deklaruje prędkość dekodowania do 2x wyższą niż w llama.cpp, z przyspieszeniem o 92% na Metal i o 19% na CUDA oraz o 27% mniejszym zużyciem pamięci na agenta. Magnitude działa na Apple Silicon, NVIDIA, AMD lub samym CPU. Łączy się z Pi, OpenCode, Hermes i Codex jednym kliknięciem.

Na jednym zapytaniu z wieloma złączeniami, gdzie planowanie ma szczególne znaczenie, Quail osiąga ponad miliard przetworzonych tokenów na minutę na GPU H100 (TPM/GPU), ponad 10x szybciej niż nasz bazowy vLLM na tym samym sprzęcie.

Oba projekty atakują różne wąskie gardła. Magnitude celuje w lokalne obciążenia agentów, gdzie ograniczeniem jest dopasowanie kerneli do układów konsumenckich lub stacji roboczych. Quail adresuje obciążenia bazodanowe, gdzie problemem jest narzut hosta i usuwanie wpisów z KV cache. Full Stack Data Lab zmierzyło czas bazowego vLLM na BIO-4, zapytaniu do raportu medycznego, na 6,84 godziny. To 27,55x więcej niż ich własny szacunek granicy szybkości wynoszący 14,91 minuty.

W tle pozostaje ekonomia sprzętu. Praca przedstawiona na SOSP '26 i opublikowana 30 września opisuje EnerTune, system współdzielenia GPU. Autorzy twierdzą, że obniża on zużycie energii od 1,4 do 2,3 razy, a pobór mocy od 1,3 do 2,6 razy względem najlepszych znanych rozwiązań, przy zachowaniu celów wydajnościowych SLO. Argumentują, że optymalizacja wyłącznie pod wykorzystanie GPU może podnieść zużycie energii. Dodają, że profilowanie każdej konfiguracji na dużą skalę jest zbyt kosztowne.

Ceny katalogowe wciąż rozstrzelone

Po stronie cen AICostBudget opublikował 30 września swój wrześniowy indeks. Opiera się na 81 zamrożonych publicznych zapisach cenowych od 11 dostawców. Mediana ceny wejściowej to 1,32 dolara za milion tokenów, a mediana ceny wyjściowej 6 dolarów, co daje stosunek 5,0x. Zaobserwowany zakres cenowy sięga od 0,10 do 30 dolarów za milion na wejściu i od 0,10 do 180 dolarów na wyjściu.

Indeks podaje medianę zniżki na pamięć podręczną wejścia na poziomie 90% w 58 porównywalnych zapisach. Mediana zniżki Batch wynosi 50% w 44 zapisach. Według mediany ceny wejściowej u dostawcy najtaniej jest u Mistral AI z 0,20 dolara. DeepSeek ma 0,30 dolara, Google Gemini 0,75 dolara, Moonshot AI 0,95 dolara, xAI 1,25 dolara, Cohere 1,50 dolara, OpenAI 2 dolary, a Anthropic 5 dolarów.

Nie każdy zapis da się wprost porównać. AICostBudget informuje, że 17 zapisów używa cen progowych lub dla długiego kontekstu, a 13 zawiera składniki inne niż tokeny, takie jak strony dokumentów czy czas trwania sesji. Te pozycje są wyłączone z median tokenowych. Zaznacza również, że jego okno obserwacji zaczyna się w lipcu 2026 i nie twierdzi o spadku cen w całej branży rok do roku.

Koszt inżynieryjny braku optymalizacji widać w liczbach Quail. Lab podaje, że vLLM przetworzył 174 600 000 tokenów, których nie potrzebował, na BIO-4, z powodu KV regret, a planowanie CPU zostawiło H100 bezczynne. To właśnie te luki Magnitude i Quail próbują zamknąć, z przeciwnych końców stosu.