Wyścig o koszt inferencji: Quail osiąga miliard tokenów na minutę, Magnitude dostraja jądra na urządzeniu

Modal i Full Stack Data Lab z Carnegie Mellon University poinformowały 30 września, że Quail, silnik inferencji, który wspólnie zbudowały, przetworzył ponad miliard tokenów na minutę na jednej karcie H100 przy jednym zapytaniu AI-SQL z wieloma złączeniami. To ponad 10 razy więcej niż ich punkt odniesienia na vLLM na tym samym sprzęcie, jak podano w wpisie na blogu Modal. W chmurze Modal kosztuje to mniej niż 6 centów za miliard tokenów.

Te liczby dotyczą konkretnego obciążenia. AI-SQL rozszerza zwykły SQL o funkcje wywołujące model językowy, więc filtr może uruchamiać jedno wywołanie modelu na wiersz, a złączenie jedno na parę wierszy. Opis techniczny Full Stack Data Lab przedstawia zapytanie benchmarkowe BIO-4 na 5 000 raportów medycznych i 4 144 terminach reakcji. Uruchomienie go na vLLM 0.26.0 z Qwen3 4B FP8 na jednej H100 zajęło 6,84 godziny przy współczynniku skali 1,0. Autorzy wyliczają, że to 27,55 razy dłużej niż szacunek roofline wynoszący 14,91 minuty.

Praca nad silnikiem, nie nad krzemem

Ta różnica jest argumentem. Autorzy przypisują stratę narzutowi hosta: procesor planuje żądania, a H100 stoi bezczynnie. Drugi powód to tak zwany żal KV, czyli odrzucanie przez vLLM pamięci podręcznej kluczy i wartości, której później znów potrzebuje. Blog laboratorium podaje, że zapytanie przetworzyło 174 600 000 tokenów zmarnowanej pracy KV. Quail przyjmuje plan zapytania jako dane wejściowe. Dzięki temu może uporządkować żądania tak, by ponownie użyć pamięci podręcznej i celowo ją usuwać.

Oba opisy nie kładą nacisku na to samo. Modal przedstawia wynik wokół jednego najlepszego zapytania i liczby miliarda tokenów na minutę. Full Stack Data Lab podaje z kolei, że Quail działa 1,84 razy szybciej niż vLLM, gdy uśrednić geometrycznie wyniki w nowym benchmarku AI-SQL, w tym w dwóch zapytaniach zaprojektowanych, by ujawnić pozostałe słabości. Obydwa zestawy liczb pochodzą z tej samej współpracy, więc nie są niezależnym potwierdzeniem.

Tego samego dnia Magnitude, firma z programu Y Combinator S25, otworzyła kod swojego silnika inferencji na licencji Apache 2.0. Jej repozytorium na GitHubie informuje, że otwarte modele działają do 2 razy szybciej niż llama.cpp, z dekodowaniem szybszym o 92% na Metal i o 19% na CUDA. Mechanizm jest inny niż w Quail: Magnitude kompiluje i dostraja jądra na urządzeniu użytkownika przed uruchomieniem modelu, celując w Apple Silicon, Nvidię, AMD albo zwykły procesor. Repozytorium podaje też o 27% mniejsze zużycie pamięci na agenta i współdzielenie pamięci podręcznej prefiksów między równoczesnymi sesjami.

Kontekstem dla obu wydań jest rynek, na którym ceny katalogowe nie spadają równomiernie. Wrześniowy przegląd AICostBudget, zamrożony na granicy 30 września czasu UTC, obejmuje 81 publicznych rekordów cenowych od 11 dostawców. Mediana wejścia wynosi 1,32 dolara za milion tokenów, a mediana wyjścia 6 dolarów, czyli stosunek 5,0 razy. Mediana rabatu na wejście z pamięci podręcznej to 90%, a ceny wsadowe 50%. To wyjście, a nie wczytywanie promptu, jest zwykle droższym składnikiem.

Prace na poziomie sprzętu mierzy się też energią, a nie wykorzystaniem. Artykuł opublikowany na SOSP '26 28 września, Beyond Utilization, przekonuje, że optymalizacja multipleksowania GPU wyłącznie pod kątem wykorzystania może podnieść zużycie energii. Ich system EnerTune korzysta z analitycznych modeli poboru mocy przez poszczególne modele oraz poboru mocy modeli współlokowanych. Autorzy podają spadki energii od 1,4 do 2,3 razy i spadki mocy od 1,3 do 2,6 razy względem nienazwanych najlepszych rozwiązań, przy zachowaniu celów wydajnościowych.

Jedna uwaga ostrzegawcza pochodzi z zupełnie innego obszaru niż infrastruktura. Gaurav Kogan z Pinecone opisał 30 września, jak firma usunęła swój kalkulator cen opartych na zużyciu po teście A/B. Odwiedzający, którzy go nie widzieli, o 16% częściej się rejestrowali i o 90% częściej nawiązywali kontakt, bez wzrostu liczby zgłoszeń do wsparcia w sprawie cen, napisał. Wniosek się przenosi: narzędzie mające wyjaśniać koszt może wypaczać decyzję, do której powstało.