Kleine Modelle antworten, ohne zu schreiben: Entscheidungsmodelle auf dem Gerät

Das Versprechen ist eng gefasst: ein Modell, das nicht schreibt. Laut der am 29. September veröffentlichten Dokumentation bewertet d1 einen Zustand und gibt Wahrscheinlichkeiten für eine feste Menge von Ergebnissen zurück. Im Beispiel des Unternehmens geht eine Kundenbeschwerde ein. Zurück kommt die Zahl 0.999 auf die Frage "Is this message a complaint?"

Liquid nennt das Format Entscheidungsmodell. Die Dokumentation beschreibt drei Fragetypen in einfachen Worten: Eine "noul"-Frage ist Ja/Nein und liefert eine Wahrscheinlichkeit zwischen 0 und 1. Eine "choice"-Frage liefert eine Verteilung über benannte Optionen. Eine "score"-Frage liefert eine gewichtete Position auf einer geordneten Skala. Das API-Feld output_tokens ist immer null.

Warum kleine Modelle plötzlich interessant sind

Liquid ist nicht allein. Sebastian Raschka ordnet in seinem technischen Text vom 29. September zur Geschichte der Textklassifikation Jev primär als Klassifikator ein, sekundär als kulturelles Phänomen. Sein Argument: Bei engen Aufgaben ist Jev nicht besser oder billiger als ein eigens gebauter Klassifikator. Dafür ist er deutlich allgemeiner als solche aufgabenspezifischen Modelle und zugleich viel schneller und billiger als ein Frontier-LLM.

Diese Kombination macht den On-Device-Betrieb plausibel: mittlere Allgemeinheit bei niedrigen Kosten pro Aufruf. Ein 2B- oder 9B-Modell, das eine Wahrscheinlichkeit statt eines Absatzes zurückgibt, läuft auf Hardware, die für Frontier-Modelle unzugänglich ist.

Qevi-2B, am 29. September auf Hugging Face veröffentlicht, ist die Bild-Variante. Es handelt sich um ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Das Modell beantwortet geschlossene Fragen zu Bildern, indem es die Logits an der Position liest, an der die Antwort beginnen würde. Text erzeugt es nicht. Die Modellkarte benennt den Kompromiss deutlich: "It is not a chat model. Ask it 'is there a ladder in this image?' and it returns P(Yes) = 0.97, not a sentence."

Die Karte meldet eine Genauigkeit von 0.977 im Trainingsbereich gegenüber 0.855 beim Basismodell. Auf zurückgehaltenen Domänen liegt der Wert bei 0.889 gegenüber 0.745. Der erwartete Kalibrierungsfehler (ECE) auf zurückgehaltenen Daten sinkt von 0.160 auf 0.054. Eine Warnung folgt für alle, die Temperaturskalierung obendrauf legen wollen: Bei T = 2.45 kehrt der ECE auf 0.160 zurück. Der gesamte Gewinn ist damit weg.

Die Geschwindigkeit ist die andere Hälfte der Behauptung. Qevi-2B ist bis zu etwa 21x schneller, wenn viele Fragen zu einem Bild gestellt werden. Alle drei Beispielfragen teilen sich eine Kodierung und werden durch eine blockdiagonale Attention-Maske getrennt. Die Antworten sind identisch mit einzeln gestellten Fragen, bitweise verifiziert, so die Karte.

"The biggest risk factor that we're seeing is in legitimate AI being used by developers, but then doing things that should not be done," sagte Omer Singer, Mitgründer und CTO von Glow Security, in einem Interview mit The Register.

Der Haken: Agenten, die beim Helfen Daten preisgeben

Dieses Zitat hat wenig mit Klassifikationsgenauigkeit zu tun, aber alles mit dem Einsatz. The Register berichtete am 29. September, dass Forscher von Glow Security mehr als 13.000 sensible Screenshots von Unternehmenssoftwareprojekten aus 343 Firmen in öffentlichen GitHub-Repositories fanden. KI-Agenten hatten sie dort abgelegt. Sie nennen das Phänomen PixelLeak.

Der Mechanismus ist banal. GitHub bietet keine API, um Bilder in Pull Requests hochzuladen. Agenten, die Vorher-nachher-Bilder der Oberfläche zeigen sollen, legen sie stattdessen in ein öffentliches Repository. Etwa ein Drittel der Funde stammte von Entwicklern, die gitshot nutzten. Das Open-Source-Werkzeug für Screenshots warnt in seinem Datenschutzhinweis selbst, dass hochgeladene Bilder standardmäßig öffentlich sind.

Kleine Modelle verursachen nichts davon. Aber es ist die Umgebung, in der sie angepriesen werden: billig genug für Dauerbetrieb, eingebettet in Entwicklerwerkzeuge, handelnd ohne menschliche Kontrolle. Ein Klassifikator auf dem Laptop macht diese Schleife enger.

Reasoning, aber nur ein wenig

PostHogs Jeeves, am 29. September auf GitHub veröffentlicht, versucht, das Genauigkeitsproblem Jev-artiger Modelle zu lösen, ohne das Format aufzugeben. Es ist ein 9B-Klassifikator im Jev-Stil auf Basis von Qwen3.5-9B mit LoRA und einem Pointer-Kopf. Trainiert wurde er darauf, vor der Entscheidung zu denken, mit einem Block-4-Diffusion-Drafter.

Die Zahlen im Repository vergleichen Jeeves mit Kev-9B und Jev auf Daten, auf denen es nie trainiert wurde: 0.889 gegenüber 0.822 und 0.857. Auf den öffentlichen Stufen von JevBench meldet es 0.935 gegenüber 0.866 bei Jev. Der Preis ist die Latenz. Ohne Denken dauert eine Anfrage etwa 0.3 Sekunden. Mit Denken sind es im Median 3.3 Sekunden auf einer H100 bei FP8-Präzision. Das Repository merkt an, dass das Abschneiden der Kette das verkürzt.

Die Jeeves-Tabelle widerspricht der einfachen Geschichte, dass Reasoning immer hilft. Auf MMLU-Pro erreicht es 0.739 gegenüber 0.840 bei Jev. Auf MMLU liegt es bei 0.793 gegenüber 0.900. Die Autoren mitteln das nicht weg. Sie veröffentlichen die Werte nebeneinander.

Microsofts Entwicklerblog bringt in einem Beitrag vom 29. September über Agent Experience die allgemeine Fassung dieses Punktes. Benchmark-Werte treiben die Verbreitung, die Verbreitung treibt die Optimierung auf den Benchmark. Am Ende sagt der Wert nichts mehr über die eigene Codebasis aus. "A model that's excellent at Django might be mediocre at your internal framework that superficially resembles Django but works differently in critical ways," heißt es in dem Beitrag. Dieselbe Logik gilt für ein Entscheidungsmodell, das auf öffentlichen Stufen getestet und dann in die eigene Ticket-Warteschlange gestellt wird.

Auf dem Gerät laufen diese Fäden zusammen. Qevi-2B listet 21 GB Gewichte in bf16. Jeeves schreibt, ein Apple-Silicon-Mac brauche 48 GB oder mehr für die Standard-Caches. FP8 drückt die Gewichte auf 11.5 GB, und kleinere Cache-Einstellungen passen auf eine 48-GB-Maschine. Das ist kein Telefon. Es ist ein Laptop. Das ist ein anderes Einsatzziel als ein Rechenzentrum, und genau deshalb leistet das Etikett "kleines Modell" hier echte Arbeit.

Keine dieser Veröffentlichungen klärt, ob der Klassifikationsansatz den Kontakt mit unordentlichen Produktionsfragen übersteht. Eine 0.97 lässt sich leicht schwellenwertsetzen. Bei einer Score-Frage mit ungemessener Kalibrierung geht das nicht. Genau das sagt Qevi-2Bs Karte über ihren eigenen "score"-Typ.