Tracker: Neue KI-Modelle starten mit monatelangem Wissensrückstand

Die Seite heißt „How stale is your AI“ und tut genau eines: Sie stellt zwei Daten neben 20 Modellnamen und lässt sie zählen. Das Releasdatum ist der Tag, an dem das Labor das Modell veröffentlichte. Der Trainingsstichtag ist der Moment, an dem es aufhörte, neue Daten zu lesen. Laut der Website tragen 10 der 20 gelisteten Modelle einen Stichtag, den ihr Labor tatsächlich publiziert.

Das ist das gesamte Benchmark-Argument in Miniaturform. Modell-Veröffentlichungen werden anhand von Benchmarks bewertet, die zum Zeitpunkt des Releases laufen. Aber alles, was nach dem Stichtag passiert ist, fehlt schlicht dem Wissen des Modells. Das eigene Beispiel des Trackers: GPT-6 Astra erschien am 3. September 2026, seine Trainingsdaten enden am 30. April 2026. Am Tag der Veröffentlichung war es bereits vier Monate im Rückstand.

Was die Daten zeigen

Nehmen wir die Einträge, bei denen beide Daten vorhanden sind. Llama 4 erschien am 5. April 2025 mit einem Stichtag im August 2024. Claude Haiku 4.5 kam am 15. Oktober 2025 mit einem Stichtag im Juli 2025. Gemini 3.1 Pro erschien am 19. Februar 2026 mit einem Stichtag im Januar 2025, eine Lücke von mehr als einem Jahr. Claude Sonnet 5 (30. Juni 2026, Januar 2026), Claude Fable 5.1 (1. September 2026, Juni 2026), GPT-6 Astra (3. September 2026, 30. April 2026), Grok 4.7 (21. September 2026, Mai 2026), Claude Opus 5.5 (22. September 2026, Juni 2026), GPT-6 Sol (22. September 2026, 20. April 2026) und GPT-6 Luna (22. September 2026, 18. Mai 2026) füllen den veröffentlichten Satz aus.

Die anderen zehn Zeilen sind leer. Mistral Large 3, Mistral Small 4, Mistral Medium 3.5, Qwen3.8-Max, Muse Glimmer, DeepSeek V4-Pro, Qwen3.8-Flash, Gemini 3.8 Flash, Muse Spark 1.3 und DeepSeek V4.1-Flash zeigen alle „Not established“. Die Website ist vorsichtig damit, was das bedeutet: Ein Leerfeld heißt, dass die überprüften Lieferantenquellen keinen Stichtag für dieses Modell ermittelt haben, kein Beweis, dass das Labor nie einen veröffentlicht hat. Fünf der acht Labore, Anthropic, Google DeepMind, Meta, OpenAI und xAI, haben einen veröffentlichten Stichtag für mindestens ein Modell auf der Seite.

Der Trainingsstichtag ist das Datum, an dem ein Modell aufhörte zu lesen. Alles, was danach geschah, fehlt schlicht dem Wissen des Modells. Ein Modell kann im September erscheinen und doch im April aufgehört haben zu lesen, was bedeutet, dass es am Tag seines Starts fünf Monate im Rückstand ist.

Die interessanteste Behauptung der Seite hat überhaupt nichts mit Daten zu tun. Sie handelt davon, was passiert, wenn man einem Modell eine Suchtaste gibt und es selbst entscheiden lässt, ob es sie benutzt. Der Autor berichtet über 2.000 Aufrufe über 16 Modelle, jedes mit einem Websuch-Tool. Frontier-Modelle entschieden in diesem Lauf fast immer richtig. Schwächere Modelle beantworteten feststehende Fragen aus dem Gedächtnis, nachdem sich die Antwort geändert hatte, und suchten im Web nach Dingen wie dem Siedepunkt von Wasser. In einer Darstellung auf der Seite wurden 16 Modelle gefragt, wer der König von Norwegen ist, und fünf nannten einen toten Mann.

Lesen Sie das sorgfältig. Die Suchentscheidung läuft auf denselben Gewichten, die den veralteten Fakten Speicherort sind, daher treffen die Fehler genau dort, wo sich das Modell am sichersten fühlt. Suchtools decken die Lücke ab. Sie schließen sie nicht. Öffnen Sie einen neuen Chat, und das Modell ist wieder bei seinem Stichtag.

Der unbequeme Teil für Benchmarks

Das ist wichtig dafür, wie Release-Benchmarks gelesen werden. Ein Modell kann im September eine Leaderboard-Spitze erreichen, bei Fragen, deren Antworten vor April feststanden, und niemand, der die Evaluation durchführt, prüft das Stichtagsdatum auf der Modellkarte. Wenn ein Labor den Stichtag nicht veröffentlicht, ist das Leerfeld des Trackers die ehrliche Antwort: Niemand außerhalb des Labors kann die Lücke messen.

Es gibt auch ein Zweitordnungsproblem. Ein Modell ist eine schlechte Quelle über Modelle. Fragt man es direkt nach seinem Trainingsstichtag, antwortet ein wohlverhaltensfähiges Modell oder sagt, es sei unsicher, so die Seite. Eines, das ein selbstbewusstes Datum erfindet, hat uns etwas Nützliches über sich selbst gesagt. Releasdaten, Versionsnummern und welches Modell aktuell ist, alles endet am Stichtag, und die falsche Antwort klingt trotzdem selbstbewusst.

Der vorgeschlagene Fix ist klein und praktisch. Fügen Sie ein paar Zeilen in die AGENTS.md- oder CLAUDE.md-Datei ein, die ein Agent bereits liest, und sagen Sie ihm, die models.json-Datei der Seite abzurufen, bevor er irgendein Modell, eine Version oder ein Datum als aktuell benennt, und alles mit einem Datum als unbestätigt zu behandeln, bis es überprüft ist. Der Export enthält Releasdatum, veröffentlichten Stichtag und einen Quellenlink pro Modell und wird regeneriert, wann immer die Seite es tut. Die Seite hostet die Formulierung, bereit zum Einfügen.

Keines davon ist im üblichen Sinne ein Benchmark. Es gibt keine Punktzahl, keine Leaderboard und keinen von einem Labor eingereichten Lauf. Es ist eine Datentabelle mit einem JSON-Export und einem Argument: Dass das zweite Datum auf einer Modellkarte dieselbe Prüfung verdient wie das erste.

Für jeden, der zwei Modelle vergleicht, die in derselben Woche erschienen sind, fügt der Tracker eine Frage hinzu, die die meisten Launch-Berichterstattungen überspringen. Wann hat jedes aufgehört zu lesen, und hat sich das Labor die Mühe gemacht, es zu sagen?