Inferenz: Chinesische Engine beschleunigt DeepSeek V4.1 Flash auf PCIe-GPUs um das 6,87-Fache

Die Debatte über KI-Chips verschiebt sich. Es geht nicht mehr nur darum, wer die leistungsfähigste Hardware kauft, sondern wer die vorhandene am besten ausreizt. Diese These vertritt das chinesische Unternehmen METASTONE mit seiner Inferenz-Engine Meta-Infer, wie 量子位 (QbitAI) berichtet.

Die Lücke zwischen Framework und Hardware

Viele Grafikkarten laden ein Modell, ziehen die Gewichte und starten einen Dienst. Sie funktionieren. Ihre tatsächliche Leistung im Lasttest bleibt aber oft weit unter den angekündigten Werten. Das Modell ist nicht fehlerhaft, die Hardware nicht defekt. Der Verlust entsteht in der Lücke zwischen Framework und Hardware. Diese Karten haben untereinander keine Hochgeschwindigkeitsverbindung und fehlen in den offiziellen Validierungsmatrizen der offenen Frameworks. Die Folge: Operatoren fallen still auf generische, wenig effiziente Implementierungen zurück. Kommunikationsparameter bleiben auf andere Architekturen kalibriert, Speicher- und Parallelisierungskonfiguration übernimmt Standardwerte für andere Hardware.

Sechs Komma acht sieben Mal mehr Durchsatz

Meta-Infer löst das Problem rein softwareseitig, ohne Modellstruktur oder Aufgabensemantik zu ändern. Der Ansatz gliedert sich in vier Bereiche: Vervollständigung der Kernels, Optimierung der Operatoren und Neugestaltung der Kommunikation, Einstellung von Parallelität und Speicherkapazität sowie Wiederverwendung des Caches.

Der erste Bereich korrigiert Metadaten und Seitengrößen, die die Ausführung nativer, optimierter Operatoren blockieren. Er ersetzt veraltete Kernels und erweitert die Schwelle für schnelle Kommunikationspfade. In einer Umgebung mit acht PCIe-Karten lag der Eingangsdurchsatz mit der Referenz-Community-Version für DeepSeek-V4.1-Flash bei nur 1 932 Token pro Sekunde. Nach dieser Korrekturphase steigt er auf 5 850 Token pro Sekunde.

Der zweite Bereich beseitigt Engpässe. Auf PCIe-Architekturen ist die Bandbreite zwischen den Karten deutlich geringer als bei dedizierten Verbindungen. Standardstrategien führen dazu, dass die Zeit in Kommunikationswartezeiten verloren geht. Die Engine fusioniert Operatoren, überlagert Berechnung und Kommunikation und schreibt die kollektive Kommunikationslogik neu. Damit erreicht sie 13 274 Token pro Sekunde, ein Faktor von 6,87, bei Unterstützung für sehr langen Kontext.

Die Methodik soll generisch sein: Bei einem anderen Modell steigt der Eingangsdurchsatz von 14 546 auf 22 584 Token pro Sekunde. Schon in der Phase der Ko-Adaptation gewinnen mehrere Modelle zwischen 20 % und 33 % Durchsatz.

Ein Drittanbieter

METASTONE bezeichnet sich als unabhängiger End-to-End-Rechenbetreiber, nicht an einen Modellanbieter gebunden. Das Unternehmen verwaltet mehr als 20 000 Petaflops Ressourcen, betreibt rund zehn intelligente Rechenzentren und zwei nationale Supercomputing-Zentren. Die Verfügbarkeitszusage liegt über 99,95 %. Das Team beansprucht drei Gordon-Bell-Preise.

Wenn die Hardware begrenzt ist, wird die Softwareoptimierung zum wichtigsten Hebel für Leistung.