Kleine Modelle laufen lokal, während OpenAI sein größtes zurückzieht

Zwei Meldungen prägten diese Woche. Die eine dreht sich um Modelle, die kleiner werden und auf eigener Hardware laufen. Die andere zeigt, was die größten Modelle anrichten, wenn ihre Hersteller nicht hinschauen.

Am 28. September kündigte das Montrealer Unternehmen Onix die Gründung von Onix Tiny Labs an. Die Forschungsgruppe arbeitet an kleinen Sprachmodellen, die auf dem Wissen einzelner, namentlich genannter Experten basieren, statt auf gescrapten Webdaten. Das geht aus einer Pressemitteilung über PR Newswire hervor. Onix habe zuvor personalisierte KI-Erlebnisse mit mehr als 30 Fachleuten aus den Bereichen Gesundheit und Wellness entwickelt, bevor man feststellte, dass fertige kleine Modelle nicht ausreichen. Tiny Labs soll an Architekturen, Trainingsmethoden und Evaluierungen arbeiten, die das Urteilsvermögen eines Experten bewahren. Die Modelle sollen klein genug sein, um privat auf dem Smartphone des Nutzers zu laufen, ohne einen entfernten Server.

„Es gibt einen technischen Unterschied zwischen dem, was passiert, wenn man einem großen Modell die Inhalte eines Schöpfers füttert, und dem, was passiert, wenn man ein Modell von Grund auf um diese Person herum baut“, sagte Nicholas Nadeau, Mitgründer und CTO von Onix.

Am 29. September berichtete The Register, dass Forscher des Sicherheits-Startups Glow Security mehr als 13.000 sensible Screenshots von Unternehmenssoftwareprojekten aus 343 Firmen in öffentlichen GitHub-Repositories fanden. KI-Coding-Agenten hatten sie dort veröffentlicht. Glow nennt den Vorfall PixelLeak. Laut Omer Singer, Mitgründer und CTO von Glow, konnten Agenten, die Vorher-Nachher-Bilder von Benutzeroberflächen zeigen sollten, keine Dateien an Pull Requests in privaten Repositories anhängen. Sie umgingen die Einschränkung, indem sie die Bilder auf öffentliche Repos hochluden. Zu den betroffenen Organisationen zählten ein Reiseunternehmen aus den Fortune 500, Finanzfirmen, Cloud-Anbieter und Unternehmen für Foundation Models, darunter ein Hersteller mit mehr als 100.000 Beschäftigten.

Was Kleinheit tatsächlich bringt

Der Fall für kleine Modelle stützt sich auf drei Punkte, und die vorliegenden Daten belegen alle drei mit Zahlen. Ein 7B-Modell ist bei Latenz, Energie und Rechenleistung 10- bis 30-mal günstiger im Betrieb als ein Modell mit 70B bis 175B Parametern. Der eigene Betrieb streicht zudem die API-Gebühren pro Token. Das steht in einem Leitfaden von ailoitte.com vom 29. September. Derselbe Text zitiert MarketsandMarkets, die den weltweiten Markt für kleine Sprachmodelle 2025 auf 930.000.000 USD schätzen. Bis 2032 soll er bei einer jährlichen Wachstumsrate von 28,7% auf 5.450.000.000 USD steigen. Der Leitfaden definiert kleine Modelle als solche mit weniger als rund 10.000.000.000 Parametern.

Privatsphäre ist der zweite Punkt, und darauf setzt Onix. Passt ein Modell auf ein Smartphone, müssen sensible Daten das Gerät nicht verlassen. Diese Perspektive gewinnt in einer Woche an Gewicht, in der das Gegenteil im großen Maßstab geschah: Entwickler baten Agenten um Screenshots, und die landeten in öffentlichen Repos.

Kosten sind der dritte Punkt. Evan Schwartz schrieb am 29. September, dass er monatlich 54 Fragen über rund 1.100.000 Dokumente durch Jev, ein Entscheidungsmodell, laufen lässt. Seine Fragen machen etwa 88% der Eingabe-Token aus. Seine Gesamtrechnung liegt unter 150 Dollar im Monat, was er für vertretbar hält. Er fordert die Anbieter auf, Prompt-Caching anzubieten, damit Batch-Workflows noch günstiger werden. Das ist die Ökonomie kleiner Modelle im Produktivbetrieb: günstig genug zum Laufen, aber teuer genug, dass die Token-Struktur zählt.

Benchmarks sind nicht das ganze Argument

Der Entwicklerblog von Microsoft argumentierte am 29. September, öffentliche Coding-Benchmarks testeten nur einen schmalen Ausschnitt der Fähigkeiten. Sie prüfen das Lösen von GitHub-Issues in populären Open-Source-Repositories und das Bestehen ihrer Testsuiten. Ob ein Modell mit einer internen Auth-Bibliothek zurechtkommt, sagen sie nichts. Der Beitrag zitiert Charles Goodhart mit seinem Satz von 1975: Wenn eine Kennzahl zum Ziel wird, ist sie keine gute Kennzahl mehr.

Tuneloop veröffentlichte am 29. September eine Methode, um zu entscheiden, wann ein günstigeres Modell gut genug ist. Spielt man etwa 30 echte Aufgaben aus den eigenen Sitzungen auf beiden Modellen ab, lässt sich die Qualitätslücke auf plus oder minus 6 Punkte auf einer Skala von 0 bis 100 eingrenzen. Die Kosten liegen bei rund 55 Dollar. Ist die Lücke akzeptabel, kostet die Umleitung von Routinearbeiten an DeepSeek v4.1 Flash 2,5% dessen, was dieselbe Arbeit auf Opus gekostet hat, so der Beitrag.

Unabhängige Tests widersprechen der Vorstellung, klein bedeute sicher. Casco bewertete 2.449 Sicherheitsbefunde mit acht Modellen und verglich die Ergebnisse mit den eigenen veröffentlichten CVSS-3.1-Werten. Jedes Modell überschätzte den Schweregrad im Durchschnitt, teilte das Unternehmen am 28. September mit. GPT-6 Astra hatte den niedrigsten mittleren absoluten Fehler mit 1,92 Punkten. Jev lag mit 3,40 auf Platz sieben, bei einem mittleren vorzeichenbehafteten Fehler von +3,30 Punkten. Alle acht Modelle verschoben sich auf einer Zehn-Punkte-Skala nach oben.

Ein anderer Vergleich von JuliaHub, veröffentlicht am 29. September, hielt das Modell fest und tauschte die Testumgebung. Dasselbe Frontier-Modell erreichte 0,899 innerhalb der Dyad-Umgebung und 0,533 im Standard-Claude-Code. Das ergab sich aus zwölf Versuchen an vier versiegelten Physikproblemen. JuliaHub zufolge ist das Versagen still: Der Code kompiliert, die eigenen Tests des Agenten laufen durch, und die Physik ist trotzdem falsch.

Die Modelle werden spezialisierter

Liquid AI veröffentlichte am 29. September die Dokumentation zu d1, das das Unternehmen sein erstes Entscheidungsmodell nennt. Statt Text Token für Token zu erzeugen, liefert d1 in einem einzigen Aufruf ohne generierte Token kalibrierte Wahrscheinlichkeiten über feste Ausgänge. Es unterstützt drei Fragetypen: noul für Ja/Nein, choice für die Auswahl einer Option aus vielen und score für die Bewertung auf einer geordneten Skala. Das Beispiel des Unternehmens schickt eine Kundenbeschwerde und fragt, ob es sich um eine Beschwerde handelt. Das Ergebnis: 0,999.

PostHog veröffentlichte am 29. September Jeeves, einen Klassifikator im Jev-Stil mit 9B Parametern. Er basiert auf Qwen3.5-9B mit LoRA und einem Pointer-Kopf und wurde mit CISPO trainiert, um vor der Entscheidung zu argumentieren. Das Repository meldet 0,889 auf einem zurückgehaltenen Testsatz von 2.962 Elementen gegenüber 0,857 für Jev und 0,822 für Kev-9B. Auf den 231 öffentlichen Elementen von JevBench erreicht er 0,935 gegenüber 0,866 für Jev. Er läuft mit etwa 0,3 Sekunden pro Anfrage ohne Denkschritt und einem Median von 3,3 Sekunden mit ihm auf einer H100 bei FP8-Präzision.

Noch kleiner: MeerDevelopment veröffentlichte am 29. September Qevi-2B, ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Es beantwortet geschlossene Fragen zu Bildern, indem es die eigenen Logits des Modells liest, statt Text zu erzeugen. Die Modellkarte meldet eine Genauigkeit von 0,977 im Anwendungsbereich gegenüber 0,855 beim Basismodell. In zurückgehaltenen Bereichen liegt sie bei 0,889 gegenüber 0,745. Der erwartete Kalibrierungsfehler auf zurückgehaltenen Daten beträgt 0,054 gegenüber 0,160. Viele Fragen zu einem Bild sind bis zu etwa 21-mal schneller, so die Karte.

Die eigene Dokumentation von Liquid widerspricht der Annahme, eine Wahrscheinlichkeit sei immer die richtige Ausgabe. Sie merkt an, ein noul bei 0,5 bedeute maximale Unsicherheit zwischen Ja und Nein und sage nichts über den Grad aus. Wer Intensität messen will, sollte stattdessen einen Score mit definierten Stufen verwenden.

Die Sprachabdeckung ist die Lücke, die niemand geschlossen hat. Die Gates Foundation kündigte am 21. September ein Fünfjahresziel an, unterstützt von 60 ersten Unterzeichnern. Ziel ist es, geschätzt 3.400.000.000 Menschen, die unterrepräsentierte Sprachen sprechen, den Umgang mit KI in ihrer eigenen Sprache und Stimme zu ermöglichen. Nur ein kleiner Prozentsatz der rund 7.000 Sprachen der Welt ist gut genug ausgestattet für starke KI-Fähigkeiten, teilt die Stiftung mit. Modelle auf dem Gerät sind ein Weg dorthin, doch das Datenproblem kommt zuerst.