1,5 Karten für eine B300: So holte man 6,87-fachen Durchsatz aus PCIe

Im KI-Wettrennen geht es nicht mehr darum, wer die beste Hardware kauft, sondern wer das Beste aus dem Bestehenden herausholt. Das chinesische Portal qbitai berichtete über die Arbeit von METASTONE. Das Team verband acht Grafikkarten ausschließlich über den PCIe-Bus, ohne schnelle Interconnects. Auf DeepSeek-V4.1-Flash erreichte es eine Beschleunigung, die weit mehr ist als Kosmetik.

Ausgangspunkt war ein Standard-Community-Setup. Auf derselben Hardware lag der Eingangsdurchsatz bei 1932 Token pro Sekunde. In der ersten Optimierungsstufe ergänzte das Team fehlende Rechenkerne, ersetzte den langsamen FP8-Kern und erweiterte den schnellen Kommunikationspfad. Der Durchsatz stieg damit auf 5850 Token pro Sekunde. In der zweiten Stufe kamen die Fusion der Attention-Operatoren, die Überlagerung von Berechnung und Kommunikation sowie getrennte Parallelisierungsstrategien für Prefill und Generierung hinzu. Das Ergebnis: 13274 Token pro Sekunde. Insgesamt ein 6,87-facher Anstieg bei einem Kontext von bis zu einer Million Token.

Dieselbe Methode, andere Modelle

METASTONE gibt an, dass sich das Verfahren auch auf andere Modelle übertragen lässt. Beim DeepSeek-V4-Flash stieg der Eingangsdurchsatz von 14546 auf 22584 Token pro Sekunde, also um das 1,55-Fache. Bei GLM5.3 sprang der Wert von 3236,78 auf 6222,72 Token pro Sekunde (1,92-fach). Die P95-Latenz des ersten Tokens fiel von 141,6 auf 46,6 Sekunden, der unterstützte Kontext wuchs von 270.000 auf 1,05 Millionen Token. Das Unternehmen betont zudem, dass die Methodik auch auf chinesischen Inland-Beschleunigern funktioniert. Diese stehen ebenso wie PCIe-Karten nicht in den offiziellen Support-Matrizen gängiger Frameworks.

Im Hintergrund steht die Infrastruktur des Betreibers. Nach eigenen Angaben verwaltet METASTONE mehr als 20.000 P Rechenleistung und betreibt mehrere KI-Rechenzentren sowie zwei nationale Supercomputer-Zentren. Die Cluster-Verfügbarkeit liegt laut SLA über 99,95 Prozent. Das Team hat drei Gordon-Bell-Preise gewonnen.

Wie groß ist der Abstand zur Flaggschiff-Karte noch?

Der ehrliche Vergleich fällt weniger spektakulär aus als die Schlagzeile vom siebenfachen Zuwachs. An demselben Lastpunkt erreichte eine B300-Karte etwa das 4,9- bis 5,6-Fache des Eingangsdurchsatzes der Acht-Karten-PCIe-Maschine. Bei der Videogenerierung aus einem einzelnen Bild schrumpfte der Vorsprung auf 1,5 bis 1,7 Maschinen pro B300-Karte, wenn zusätzlich LoRA zum Einsatz kam. Günstige Karten holen die Top-Hardware also nicht ein, doch der Unterschied ist keine Kluft mehr.

Eine Karte, die niemand in die Support-Matrix eines Frameworks eingetragen hat, verliert keine Leistung. Sie verliert sie an die voreingestellten, konservativen Werte.

Für Nutzer außerhalb Chinas ist die Schlussfolgerung praktisch. Die meisten Installationen auf eigener Hardware laufen auf vLLM- oder SGLang-Servern mit Karten, die keine Flaggschiffe sind. Der Mehrwert liegt nicht in einer weiteren Karte, sondern in der Ingenieursarbeit: korrekte Kerne, auf die reale Bandbreite abgestimmte Kommunikation und unterschiedliche Parallelisierungsstrategien für Prefill und Generierung. DeepSeek-V4.1-Flash mit 552 Milliarden Parametern und MoE-Architektur ist unter der MIT-Lizenz verfügbar und eignet sich heute gut für solche Experimente. Das Modell selbst hat einen KV-Cache von 890 Byte pro Token, also rund viermal kleiner als V4-Flash.