Offene Gewichte: 164-MB-Sprachmodell, 145-M-Parameter-Lauf und Chinas CUDA-Alternative

Nvidia stellte Kumo Tabular am 29. September auf Hugging Face ein. Der Beitrag trägt dieses Datum und erschien am 30. September im Blog. Das Modell sagt Labels für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus. Kein Training, kein Tuning, kein Feature Engineering. Es gibt drei Größen: 28M bis 215M Parameter. Das Vortraining erfolgte ausschließlich auf synthetischen Daten. Die Lizenz OpenMDW-1.1 erlaubt die kommerzielle Nutzung. Laut Nvidia belegt das Modell den ersten Platz auf TabArena, BeyondArena, TALENT und ScoringBench.

Das ist eine enge Aussage, und Nvidia rahmt sie entsprechend ein: tabellarische Klassifikation und Regression. Gemeint sind Tabellen mit Kundendaten, Transaktionen und Sensorprotokollen. Der Ansatz ist In-Context-Learning, angewendet auf Zeilen statt auf Text. Ein auf Millionen von Tabellen vortrainiertes Modell liest eine beschriftete Tabelle als Kontext. Es liefert Klassenwahrscheinlichkeiten oder 999 Quantile für die Regression. Daraus ergeben sich eine Punktvorhersage und eine Unsicherheitsschätzung.

Fermion Research veröffentlichte Phonon-2 am 30. September. Das Unternehmen bezeichnet es als das genaueste offene Spracherkennungsmodell unter 900 MB.

Der Download ist 164 MB groß. Der Encoder speichert jedes Gewicht in etwa 2,1 Bit. Die Gewichte stehen unter CC-BY-4.0, der Lizenz von Nvidias Parakeet TDT 0.6B v3, von dem sie abgeleitet sind. Fermion meldet eine durchschnittliche Wortfehlerrate von 5,21 % über die sieben englischen Sets des Open ASR Leaderboard. Jedes offene Modell mit besserem Ergebnis sei mindestens 5,8-mal so groß, heißt es. Auf einem MacBook Air wandelt das Modell eine Stunde Audio in etwa 20 Sekunden in Text um. Das sind Herstellerangaben. Die Leaderboard-Platzierung ist daher behauptet, nicht unabhängig bestätigt.

Freiwillige und ein zustandsloser Cron-Job

Ebenfalls am 30. September ging das GitHub-Projekt Coop mit einem Stage-2-Lauf online. Es handelt sich um einen Decoder-only-Transformer mit rund 145M Parametern. Das Vortraining von Grund auf erfolgte auf FineWeb-Edu, komplett auf gespendeter Consumer-Hardware sowie den kostenlosen Tarifen von Hugging Face und GitHub Actions. Es gibt keinen Server und keinen Daemon. Die Worker laden einen Checkpoint herunter, führen lokale AdamW-Schritte auf einem persönlichen Daten-Shard aus und reichen einen Pseudo-Gradienten als Pull Request in einem öffentlichen Dataset-Repo ein.

Ein zustandsloser GitHub-Actions-Cron-Job aggregiert bei jedem Tick. Er verwirft zu alte Einsendungen, beschneidet und gewichtet die übrigen per Kosinus-Gate, aggregiert sie, führt einen äußeren Nesterov-Schritt aus und lädt einen neuen Checkpoint hoch. Das Repo behauptet, ein Stage-1-Modell mit 15M Parametern sei in sechs Tagen auf TinyStories über sein Chinchilla-optimales Budget hinaus vortrainiert worden. Der Validierungsverlust fiel dabei von 9,01 auf 2,8. Das ist ein Mechanismusnachweis, kein konkurrenzfähiges Modell.

Chinas Vorstoß ist die größere strategische Geschichte. Deepseek veröffentlichte Open-Source-Programmierwerkzeuge für Huaweis Ascend-Chips. Grundlage ist ein Beitrag auf dem WeChat-Kanal des Unternehmens, über den The Decoder am 30. September und Reuters berichteten. Kernstück ist TileLang, eine ursprünglich an der Peking-Universität entwickelte Open-Source-Sprache. Laut Deepseek bietet sie ein einfacheres Programmiermodell als CUDA. Huawei habe die Arbeit „voll unterstützt“, sagte Deepseek. Beide hätten einen Superknoten aus 128 Ascend-950-Chips optimiert.

Der Hintergrund ist Nvidias Entwickler-Graben: geschätzt vier Millionen CUDA-Entwickler. The Decoder zitiert SemiAnalysis, das OpenAIs Inferenzchip Jalapeno getestet und den CUDA-Graben als „potenziell tot“ bezeichnet habe. Einschränkung: Getestet wurden nur relativ einfache Szenarien mit etwa 8.000 Eingabe-Tokens und 1.000 Ausgabe-Tokens. Huaweis Chips waren nicht Teil dieses Vergleichs.

Regulierer werden aktiv, während die Gewichte ausgeliefert werden

Nichts davon geschieht im luftleeren Raum. The Guardian berichtete am 30. September, die FTC führe eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere Labore durch. Geplant sei, Aussagen von Führungskräften zu erzwingen, unter anderem bei Metr. Die New York Post hatte zuerst darüber berichtet. OpenAI hält unterdessen seine eigene Börsennotierung zurück. Ars Technica berichtete am 30. September, Sam Altman werde nicht an die Börse gehen, solange das Unternehmen nicht „selbstsichere Sicherheitsentscheidungen“ treffen könne. LASST habe am selben Tag in Kalifornien Klage eingereicht.

Die genannten Veröffentlichungen offener Gewichte sind klein, günstig und spezifisch. Das ist das Muster, das es zu beobachten gilt, nicht die Benchmark-Tabellen.