I nuovi modelli di IA arrivano con dati di addestramento vecchi di mesi, rivela un tracker

La pagina si chiama How stale is your AI. Fa una cosa sola: mette due date accanto a 20 nomi di modelli e le lascia scorrere all'insù. La data di rilascio indica quando il laboratorio ha pubblicato il modello. La data di fine addestramento segna quando ha smesso di leggere. Secondo il sito, 10 dei 20 modelli elencati riportano un cutoff effettivamente pubblicato dal loro laboratorio.

È l'intero argomento dei benchmark in miniatura. I lanci vengono valutati su benchmark eseguiti al momento del rilascio, ma tutto ciò che è avvenuto dopo il cutoff è semplicemente assente dalla conoscenza del modello. L'esempio del tracker stesso: GPT-6 Astra è stato rilasciato il 3 settembre 2026, ma i suoi dati di addestramento si fermano al 30 aprile 2026. Il giorno del lancio era già in ritardo di quattro mesi.

Cosa mostrano le date

Prendiamo le voci in cui esistono entrambe le date. Llama 4 è uscito il 5 aprile 2025 con un cutoff di agosto 2024. Claude Haiku 4.5 è uscito il 15 ottobre 2025 con un cutoff di luglio 2025. Gemini 3.1 Pro è uscito il 19 febbraio 2026 con un cutoff di gennaio 2025, un divario di oltre un anno. Claude Sonnet 5 (30 giugno 2026, gennaio 2026), Claude Fable 5.1 (1 settembre 2026, giugno 2026), GPT-6 Astra (3 settembre 2026, 30 aprile 2026), Grok 4.7 (21 settembre 2026, maggio 2026), Claude Opus 5.5 (22 settembre 2026, giugno 2026), GPT-6 Sol (22 settembre 2026, 20 aprile 2026) e GPT-6 Luna (22 settembre 2026, 18 maggio 2026) completano l'elenco dei dati pubblicati.

Le altre dieci righe sono vuote. Mistral Large 3, Mistral Small 4, Mistral Medium 3.5, Qwen3.8-Max, Muse Glimmer, DeepSeek V4-Pro, Qwen3.8-Flash, Gemini 3.8 Flash, Muse Spark 1.3 e DeepSeek V4.1-Flash mostrano tutti "Non stabilito". Il sito è preciso sul significato: un campo vuoto indica che le fonti verificate non hanno stabilito un cutoff per quel modello, non è la prova che il laboratorio non l'abbia mai pubblicato. Cinque degli otto laboratori, Anthropic, Google DeepMind, Meta, OpenAI e xAI, hanno un cutoff pubblicato per almeno un modello nella pagina.

La data di fine addestramento è il giorno in cui un modello ha smesso di leggere. Tutto ciò che è successo dopo è semplicemente assente dalla sua conoscenza. Un modello può uscire a settembre e aver smesso di leggere ad aprile, il che significa che è in ritardo di cinque mesi il giorno del lancio.

L'affermazione più interessante della pagina non riguarda le date. Riguarda cosa succede quando si consegna a un modello un pulsante di ricerca e lo si lascia decidere se usarlo. L'autore riporta 2000 chiamate su 16 modelli, ciascuno dotato di uno strumento di ricerca web. I modelli frontier, in quel test, hanno deciso correttamente quasi ogni volta. Quelli più deboli hanno risposto a domande già stabilite dalla memoria, dopo che la risposta era cambiata, e hanno cercato su web cose come il punto di ebollizione dell'acqua. In una delle domande poste ai 16 modelli, chi sia il re di Norvegia, cinque hanno nominato un uomo morto.

Leggi attentamente. La decisione di cercare gira sugli stessi pesi che contengono il fatto obsoleto, quindi gli errori colpiscono esattamente dove il modello si sente più sicuro. Gli strumenti di ricerca tamponano il divario. Non lo chiudono. Apri una nuova chat e il modello è tornato al suo cutoff.

La parte scomoda per i benchmark

Questo conta per come vengono letti i benchmark di rilascio. Un modello può raggiungere la cima di una classifica a settembre su domande le cui risposte erano stabilite prima di aprile, e nessuno che esegue l'eval sta controllando la data di cutoff sulla scheda del modello. Se un laboratorio non pubblica il cutoff, il campo vuoto del tracker è la risposta onesta: nessuno fuori dal laboratorio può misurare il divario.

C'è anche un problema di secondo ordine. Un modello è una fonte scadente sui modelli. Chiedigli direttamente qual è la sua data di fine addestramento e uno ben educato risponde o dice di non essere sicuro, secondo la pagina. Uno che inventa una data con sicurezza ti ha detto qualcosa di utile su se stesso. Le date di rilascio, i numeri di versione e quale modello sia attuale si fermano tutti al cutoff, e la risposta sbagliata suona ancora sicura.

La correzione suggerita è piccola e pratica. Metti alcune righe nel file AGENTS.md o CLAUDE.md che un agente legge già, dicendogli di recuperare il models.json del sito prima di nominare qualsiasi modello, versione o data come attuale, e di trattare qualsiasi cosa con una data allegata come non verificata finché non viene controllata. L'export contiene data di rilascio, cutoff pubblicato e un link alla fonte per modello, e viene rigenerato ogni volta che la pagina lo è. La pagina ospita la formulazione, pronta da incollare.

Nessuna di queste cose è un benchmark nel senso usuale. Non c'è punteggio, non c'è classifica e non c'è run inviata dal laboratorio. È una tabella di date con un export JSON e un argomento allegato: che la seconda data su una scheda modello meriti la stessa attenzione della prima.

Per chiunque confronti due modelli rilasciati nella stessa settimana, il tracker aggiunge una domanda che la maggior parte delle coperture di lancio saltano. Quando si è fermato a leggere ciascuno, e il laboratorio ha avuto la pena di dirlo?