Offene Gewichte schließen die Lücke, aber der Abstand setzt sich bei jedem Release zurück

Der Report ist Version 1.1 einer wiederkehrenden Einschätzung, die Mozilla erstmals am 14. Juli auf seinem Blog veröffentlichte. Laut Tom's Hardware basiert er auf einer Umfrage von Mozilla und SlashData unter rund 1.400 Entwicklern, OpenRouter-Trafficdaten und dritten Benchmark-Indizes. Mozilla ist ein gemeinnütziger Verfechter offener Modelle, und TIME berichtete am 14. Juli, dass Mozilla-CTO Raffi Krikorian den Report als teilweise Advocacy beschrieb. Dieses Framing ist wichtig, wenn man die Zahlen liest.

Mozillas zentrale Behauptung ist, dass das beste offene Modell dem geschlossenen Spitzenreiter auf dem Artificial Analysis Intelligence Index um drei Punkte nachstand, bei 60% des Preises, und zwei Punkte hinter Claude Fable 5 lag, bei 30% des Preises. Durch das Fitting von METR-Task-Horizon-Daten beziffert Mozilla die Lücke zwischen offenen und geschlossenen Modellen auf etwa 4,4 Monate, was der viermonatigen Schätzung von Epoch AI entspricht. METR ist eine gemeinnützige Forschungsorganisation, die Modelle anhand der Länge der Aufgaben bewertet, die sie in menschlicher Arbeitszeit mit einer Wahrscheinlichkeit von 50% abschließen.

Was die vier Monate tatsächlich messen

Laut Mozillas gefitteter Schätzung bewältigen geschlossene Modelle Aufgaben, die menschliche Experten 8 bis 12 Stunden in Anspruch nehmen. Offene Modelle erreichen dieses Niveau etwa vier Monate später. Mozilla berechnet eine Verdopplung der offenen Leistungsfähigkeit alle 3,9 Monate, gegenüber 5,5 Monaten für geschlossene Modelle. Auf vals.ais Terminal-Bench 2.1, das jedes Modell durch dasselbe Harness führt, erzielte Z.ais GLM-5.2 einen Punkt unter Claude Opus 4.7 und lag etwa vier Punkte hinter Opus 4.8, bei weniger als einem Fünftel der Kosten pro Test.

„Wir sehen die Entscheidung, für geschlossene [Modelle] zu zahlen, als auf die Arbeitslast bezogen, nicht als organisationsbezogen“, sagte Krikorian in einer E-Mail an Ars Technica.

Die Adoption auf der Entwicklerseite sieht anders aus als der Umsatz. Auf OpenRouter, einem Marktplatz, der Traffic auf Hunderte von Modelle leitet, zählte Mozilla acht der zehn besten Modelle nach Token-Volumen im August als Open Weights, sieben davon chinesischer Herkunft. Geschlossene Anbieter erzielten dennoch 96% des Modell-Umsatzes auf OpenRouter von Mai bis September 2025, laut Linux Foundation. Kostenlose oder günstige Tokens und bezahlter Umsatz sind nicht derselbe Markt.

Mozilla zählt 16 bemerkenswerte offene Releases, aber keines liefert das Datenrezept, das die Definition der Open Source Initiative verlangt. Dieser Unterschied ist das gesamte Argument eines OSI-Posts vom 19. September mit dem Titel „Open Weights Are Good. Open Source Is Better.“ Open Weights, so die OSI, ermöglichen es, ein Modell lokal auszuführen, ein Drittanbieter-Hosting zu bezahlen oder es mit eigenen Daten feinjustieren. Sie erlauben es aber nicht, es vollständig zu studieren, weil der Code und die Trainingsdaten oder eine detaillierte Beschreibung, wie die Daten erstellt wurden, nicht Teil des Releases sind.

Der Hardware-Vorbehalt

Die 4,4-Monats-Zahl und der 30%-Token-Preis werden API zu API auf gehosteten Endpoints zum Listenpreis gemessen. Mozillas eigener Hardware-Chart erzählt eine härtere Geschichte. Das beste offene Modell, das auf einen Server passt, erzielt 52,6; das beste, das auf eine GPU passt, erzielt 40. Der Abfall von der Spitze beträgt jeweils 10 und 23 Punkte, eine größere Lücke als die vier Monate nahelegen.

Kimi K3s natives MXFP4-Checkpoint läuft laut Report auf etwa 1,56TB über 96 Shards. Mozillas Serving-Konfiguration listet 64 oder mehr Beschleuniger, während vLLM mindestens acht GB300-GPUs erfordert, mit mehreren Knoten für Produktiv-Traffic. Tom's Hardware bezifferte den Speicherbedarf im Juli auf nahe 1,5TB. Der Report beschreibt dies als offen, aber nicht ausführbar für die meisten, die es besitzen. Eine Ausnahme, die er nennt, ist Thinking Machines Inkling-Small, unter Apache 2.0, dessen NVFP4-Version auf eine B300 bei einem 180GB-Boden passt.

Es gibt auch ein Timing-Problem. Die Daten des Reports enden am 1. September. Seitdem hat Artificial Analysis seinen Index auf v4.3 mit einem anderen Evaluierungs-Set umgestellt. Die Live-Board zeigt Claude Fable 5.1 mit 53 auf seiner höchsten Anstrengungs-Einstellung, während Kimi K3 bei 44 liegt, Zahlen, die Mozilla nicht geplotet hat und die nicht mit den v4.1.1-Zahlen vergleichbar sind, die es verwendete. vals.ais Terminal-Bench 2.1-Board, aktualisiert am 11. September, wird nun von GPT-6 Astra mit 87,27% angeführt, mit Fable 5.1 bei 85,02%. Mozillas eigener Chart-Untertitel lautet: „the gap resets every release cycle.“

K3 trägt auch eine Behauptung, die in der gemeinsamen NSA-, CISA- und FBI-Empfehlung AA26-251A vom 8. September detailliert wird. Die Behauptung, die Mozillas Report als „behauptet und unbewiesen“ bezeichnet, lautet, dass Moonshot Claude Fable 5-Daten extrahierte, um K3 durch Destillation zu trainieren, die Praxis, ein Modell auf den Ausgaben eines anderen Modells zu trainieren. Am 17. Juli hatte Artificial Analysis K3 bei 57 gegenüber Fable 5s 60; am 1. September hatte Mozilla es zwei Punkte zurück.

Kleine Modelle, enge Jobs

Nicht jedes Open-Weight-Release jagt die Frontier. Superwhispers S1-mini, veröffentlicht auf Hugging Face, ist ein 0,6B-Parameter-Text-Normalisierer für Speech-to-Text-Ausgaben. Er nimmt ein rohes ASR-Transkript und schreibt es als geschriebenen Text um: Füllwörter entfernt, falsche Starts und Selbstkorrekturen aufgelöst, Zeichensetzung und Großschreibung angewendet, gesprochene Zahlen, Daten, Zeiten, Währungen und E-Mail-Adressen in geschriebener Form dargestellt. Auf einem Halten-Set von 7.519 englischen Fällen erreicht er 94,8% Token-Genauigkeit, und die quantisierte Build ist eine 462 MiB-Datei, die auf einem Laptop-CPU läuft.

Die Modellkarte ist ungewöhnlich direkt darüber, was sie nicht ist. S1-mini ist kein Chat-Modell und wird keine allgemeinen Anweisungen befolgen. Es ist feinjustiert von Qwen/Qwen3-0.6B und erwartet eine Steuerungszeile am Anfang der Eingabe, die Stil, Struktur und Kontext angibt. Überspringt man den System-Prompt, ändert seine Wortwahl oder sendet Werte außerhalb der trainierten Sets, warnt die Karte, kann das Modell halluzinieren oder verschlüsselte Ausgaben produzieren. Es ist nur Englisch, lizenziert unter Apache 2.0 plus einer Namensklausel. Die Hub-Seitenleiste berichtet 0,8B Parameter, aber die Karte erklärt, dass model.safetensors lm_head.weight als materialisierte Kopie der Eingabe-Embedding speichert, wobei das 155,6M-Parameter-Embedding doppelt gezählt wird: 752 Tensor-Elemente gegenüber 596 eindeutigen Parametern. Das Layout ist von Qwen3-0.6B übernommen, das aus demselben Grund 0,8B berichtet.

Ein ähnliches Muster zeigt sich in einem 22. September Deployment-Write-up von James Cruce. Er wählte Laya, ein 421M-Parameter-Open-Weight-Entscheidungsmodell, gegenüber TypeSafes gehostetem Jev für die kleinen, begrenzten Entscheidungen, die seine Coding-Agenten treffen. Das Checkpoint, convaiinnovations/laya-typed-decisions, hat einen ModernBERT-large-Encoder und eine 1.024-Token-Grenze, und gibt typisierte Antworten zurück: eine Wahl unter benannten Optionen, eine Punktzahl auf einer geordneten Skala oder eine Wahrscheinlichkeit für eine Ja-oder-Nein-Aussage. Keine Absätze zum Parsen. Jev ist im Gegensatz dazu ein Early-Access-gehosteter Service, der 0,042 $ pro Million Eingabe-Tokens kostet, ohne Ausgabe-Token-Gebühr, und TypeSafe sagt, es verarbeitet Wahlen mit bis zu 255 Optionen.

Cruces angegebener Grund für den Wechsel war nicht die Kosten. Er wollte routinemäßige Entscheidungen auf seinem Mac Studio ausführen, mit lokalen Daten, die lokal bleiben, und er wollte Kontrolle über das genaue Modell, die erlaubten Optionen und das Fehlschlag-Verhalten. Er berechnete keinen Break-even und sagt, er habe keine Einsparungszahl anzugeben. Er weist auch auf Grenzen hin: der Publisher trainierte Laya auf vier synthetischen Workflows, und Modell-Routing ist einer von ihnen, so dass das Ergebnis eine Deployment auf einem M3 Ultra mit 256GB Unified Memory ist, nicht ein allgemeines Urteil über Laya gegenüber Jev. Die Modellkarte warnt, das Modell sei überkonfident und brauche domänenspezifische Kalibrierung. „Eine typisierte Antwort kann strukturell perfekt und faktisch falsch sein“, schreibt er.

Das rechtliche Bild um Gewichte ist ebenso unbestimmt. Eine Papier von A. Feder Cooper, Mark A. Lemley und Mitautoren, erstmals am 18. Mai 2025 eingereicht und über den 20. Juli 2026 revidiert, maß Memorization über 200 Bücher und 14 Open-Weight-Modelle in über 3.000 Experimenten. Ihre Erkenntnis schneidet gegen beide Seiten der Urheberrechtskämpfe. Die meisten Modelle memorisieren die meisten Bücher nicht, ganz oder teilweise. Aber Llama 3.1 70B memorisiert einige vollständig, einschließlich Harry Potter and the Sorcerer's Stone, bis zu dem Punkt, dass das ganze Buch fast wörtlich aus den ersten wenigen Worten als Prompt extrahiert werden kann. Die Autoren schreiben, dass ihre Ergebnisse erhebliche Implikationen für Urheberrechtsfälle haben, obwohl nicht solche, die eindeutig eine Seite bevorzugen.

Keines davon klärt, ob offene Gewichte gewinnen. Die Metriken, die am besten für Offenheit aussehen, Preis pro Token und Anteil des gerouteten Traffics, liegen neben Metriken, die schlechter aussehen, Single-Server- und Single-GPU-Leistungsfähigkeit und Umsatzanteil. Mozillas eigener Untertitel ist die ehrliche Zusammenfassung: der Abstand setzt sich bei jedem Release-Zyklus zurück.