La data di rilascio non è la notizia: cutoff di addestramento e adozione ridisegnano i benchmark AI

Una tabella di benchmark indica il punteggio di un modello. Non dice quando ha smesso di leggere. Il divario tra la data di rilascio in un post di lancio e il cutoff sepolto in una model card è ora uno dei dati più utili per chi acquista. È la premessa di un piccolo strumento pubblicato il 16 settembre su stale.jock.pl, intitolato "How stale is your AI?".

La pagina elenca 20 modelli attuali di 8 laboratori. Accoppia ogni data di rilascio a un cutoff di addestramento, contando in avanti da entrambi. Dieci dei 20 hanno un cutoff effettivamente pubblicato dal laboratorio. Cinque degli otto, Anthropic, Google DeepMind, Meta, OpenAI e xAI, hanno un cutoff pubblicato per almeno un modello in lista. Gli altri sono marcati "Not established". La pagina precisa che non è una prova che il laboratorio non ne abbia mai pubblicato uno: le fonti dei fornitori controllate non ne hanno trovato.

Alcuni divari sono ampi.

GPT-6 Astra, rilasciato da OpenAI il 3 settembre 2026, ha un cutoff al 30 aprile 2026. Era già indietro di quattro mesi il giorno del lancio. Gemini 3.1 Pro, rilasciato il 19 febbraio 2026, si ferma a gennaio 2025: un divario di oltre un anno. Claude Sonnet 5, uscito il 30 giugno 2026, ha un cutoff a gennaio 2026. Claude Opus 5.5, uscito il 22 settembre 2026, ha giugno 2026. Llama 4 di Meta, rilasciato il 5 aprile 2025, porta un cutoff ad agosto 2024.

La pagina sostiene che uno strumento di ricerca non risolve il problema. Quando un modello cerca sul web legge qualche pagina, le usa per quella singola risposta e poi dimentica. La ricerca deve essere attivata dal modello stesso, usando gli stessi pesi che contengono il fatto obsoleto. Gli errori si concentrano dove il modello è più sicuro. L'autore riferisce di aver testato 16 modelli con uno strumento di ricerca web per oltre 2.000 chiamate: i modelli di frontiera decidevano di cercare correttamente quasi ogni volta. Quelli più deboli rispondevano a domande già risolte dalla memoria, dopo che la risposta era cambiata, e cercavano sul web cose come il punto di ebollizione dell'acqua. In un esempio, cinque dei 16 hanno indicato un uomo morto come re di Norvegia.

Niente di tutto questo è peer reviewed. La pagina è un progetto Show HN, i numeri vengono dal banco di prova dell'autore, la lista di modelli è un'istantanea e non un censimento. Ma il punto di fondo non dipende dalla tenuta dell'esperimento. Un modello lanciato a settembre con un cutoff ad aprile sbaglia su settembre in un modo che un punteggio di benchmark non mostra.

Nella stessa settimana c'è un secondo segnale, più difficile da ignorare, su quali modelli la gente usa davvero. CNBC ha riportato il 26 settembre che i modelli cinesi sono passati da una piccola quota di utilizzo a una maggioranza su due gateway per sviluppatori. Su OpenRouter hanno rappresentato il 57%-67% dei token nella settimana del 14 settembre, in aumento dal 6%-13% di febbraio. Su Vercel la loro quota è salita al 55% ad agosto dall'11% di gennaio.

I dati di OpenRouter coprono aziende negli Stati Uniti, in Europa e in quello che definisce il "Global South": 82 paesi tra America Centrale e Meridionale, Africa e Asia. Vercel non ha fornito una ripartizione geografica. Lo stesso rapporto nota che i modelli di frontiera statunitensi attirano ancora più spesa complessiva, quindi la quota di token e la quota di ricavi puntano in direzioni diverse.

Peter Walker, head of insights di OpenRouter, ha detto a CNBC che i modelli open source cinesi rilasciati quest'anno "possono credibilmente operare in casi d'uso agentici avanzati, soprattutto per quanto riguarda il coding, in un modo che semplicemente non era vero alla fine del 2025", e che sono "incredibilmente convenienti rispetto alla maggior parte dei modelli dei laboratori americani". Harpreet Arora, head of agentic infrastructure di Vercel, ha spiegato il meccanismo: una volta che un modello raggiunge la soglia di qualità per un lavoro, la differenza di prezzo diventa decisiva.

Washington sta prestando attenzione. Due commissioni della Camera degli Stati Uniti stanno indagando sulla crescente adozione dei modelli cinesi. CNBC riporta preoccupazione per l'accesso remoto ai chip Nvidia attraverso data center esteri e per la distillazione, dove i modelli più nuovi imitano quelli più vecchi. Daniel Remler del Center for a New American Security ha detto a CNBC che la "preoccupazione ultima è che l'integrazione dei modelli AI cinesi trascini i paesi in una sfera di influenza tecnologica cinese che si indurisce in un allineamento geopolitico".

Mettendo le due storie una accanto all'altra, la domanda sui benchmark cambia forma.

Una classifica misura un modello su un insieme fisso di compiti il giorno in cui viene testato. Non misura quanto la conoscenza del modello si sia allontanata dal presente, né se qualcuno possa permettersi di farlo girare su larga scala. La pagina di stale.jock.pl sostiene che i modelli sono fonti scarse su se stessi e suggerisce di puntare un agente su un file models.json leggibile dalla macchina prima che indichi un modello, una versione o una data come attuali. È una correzione piccola. Il problema più grande è che la prova predefinita del settore, la tabella di benchmark, tace sia sull'aggiornamento sia sul prezzo.

Secondo Rest of World, Nvidia sta facendo una scommessa collegata. Il mese scorso l'azienda ha speso 7 miliardi di dollari per una quota nella startup americana di coding Poolside e per una licenza sui suoi strumenti di costruzione di modelli. Ha accettato di pagare quasi 13 miliardi di dollari per Hugging Face. Il suo modello gratuito, che dovrebbe chiamarsi Nemotron 4, è atteso entro la fine dell'anno. Il rapporto dice che i precedenti modelli aperti statunitensi sono rimasti indietro rispetto ai modelli gratuiti cinesi, scaricati circa 2 miliardi di volte quest'anno secondo un rapporto di Hugging Face di agosto. La spesa di Nvidia serve a rendere Nemotron la base che i governi scelgono al posto di quella di Meta o di Alibaba.

Gli Emirati Arabi Uniti sono il caso di prova. Il loro data center di punta funzionerà con 400.000 chip Nvidia. G42, l'azienda AI sostenuta dallo stato, è entrata nell'alleanza per i modelli aperti di Nvidia a luglio. Il Technology Innovation Institute, che ha costruito Falcon, prende l'altra posizione. "Come laboratorio che costruisce modelli, crediamo che mantenere la diversità nelle prospettive sull'AI, e preservare la piena sovranità tecnologica, richieda una base solida e propria", ha detto a Rest of World il capo ricercatore del TII Hakim Hacid.

Nessuna delle due posizioni si risolve con un benchmark. Un paese o un'azienda che sceglie un modello di base sceglie una catena di fornitura, una curva di costo e una cadenza di aggiornamento. Il cutoff pubblicato è uno dei pochi numeri duri disponibili su quest'ultima parte.