DeepSeek-V4.1-Flash: niemal siedmiokrotny wzrost przepustowości na kartach PCIe

Portal QbitAI (量子位) opublikował 24 września 2026 roku raport o doświadczeniach chińskiej firmy METASTONE (是石科技). Zespół uruchomił DeepSeek-V4.1-Flash na ośmiu kartach GPU połączonych wyłącznie przez PCIe, bez NVLink. Brakowało więc szybkiego sprzężenia, na które takie modele są zwykle projektowane.

Punkt wyjścia i wynik końcowy

Autorzy podają jako wartość bazową 1.932 tokeny na sekundę dla przepustowości wejściowej. Po pierwszych poprawkach jąder, szybszym wyborze ścieżki dla wstępnego przetwarzania opartego na sparse attention, wymianie jąder FP8 dense GEMM i przyspieszeniu ścieżki PCIe IPC system osiągał już 5.850 tokenów na sekundę. Kolejne optymalizacje, takie jak fuzja operatorów attention, krótsze szkice przy dekodowaniu spekulatywnym, przeplatanie obliczeń z komunikacją oraz parametry pamięci, pozwoliły dojść do 13.274 tokenów na sekundę. To około 6,87 razy więcej niż na starcie. Długość kontekstu do miliona tokenów udało się utrzymać.

Pomiary porównawcze wskazują, że to nie jednorazowy wynik. DeepSeek-V4-Flash wzrósł z 14.546 do 22.584 tokenów na sekundę w przepustowości wejściowej, co daje czynnik 1,55. Model GLM 5.3 poprawił się z 3.236,78 do 6.222,72 tokenów na sekundę.

Dlaczego to istotne dla Niemiec

Raport ma dwa wymiary. Pierwszy jest techniczny: modele działające na sprzęcie bez szybkiego połączenia pośredniego tracą dużą część przewagi wydajności nie przez sam sprzęt, lecz przez ścieżki pamięci i komunikacji. Optymalizacja tych ścieżek przynosi wzrost o czynniki, nie o punkty procentowe.

Drugi wymiar dotyczy eksploatacji. DeepSeek-V4.1-Flash opublikowano 10 września 2026 roku. Model ma 552 miliardy parametrów w architekturze Mixture-of-Experts, aktywując 8 miliardów parametrów w prefill i 16 miliardów w decode. Pamięć KV cache wynosi 890 bajtów na token, czyli około jedną czwartą wartości V4-Flash. Model jest dostępny na licencji MIT, przetwarza obrazy do 384 tokenów na obraz i można go uruchamiać przez vLLM, SGLang lub TensorRT. Obsługiwane są formaty FP8, BF16, GPTQ, AWQ i GGUF.

METASTONE zarządza ponad 20.000 petaflopsów mocy obliczeniowej, prowadzi ponad dziesięć inteligentnych centrów danych i dwa krajowe centra superkomputerowe. Jako referencję wymienia trzy nagrody Gordona Bella. Dla lokalnej inferencji kluczowe jest przesunięcie wartości: nie decyduje zakup nowego sprzętu, lecz umiejętność opanowania hierarchii pamięci i współbieżności dla konkretnego modelu.

Sześć razy szybciej bez nowego sprzętu. Różnica między 1.932 a 13.274 tokenami na sekundę to oprogramowanie.