I pesi aperti inseguono i modelli di frontiera, ma l'etichetta fa troppo lavoro

Mozilla ha pubblicato la versione 1.1 del suo report State of Open Source AI il 15 settembre, usando dati aggiornati al 1 settembre. Tom's Hardware ha riferito il 16 settembre che il miglior modello aperto si trovava tre punti dietro il leader chiuso nell'Artificial Analysis Intelligence Index, al 60% del prezzo, e due punti dietro Claude Fable 5 al 30%. La stima di Mozilla sui dati di orizzonte di task METR colloca il divario tra aperto e chiuso a circa 4,4 mesi. Questo è in linea con la stima di quattro mesi di Epoch AI.

La metodologia conta, perché il numero in prima pagina viaggia più lontano dei suoi avvertimenti.

METR valuta i modelli in base alla lunghezza del compito, misurata in tempo di lavoro umano, che completano a metà delle volte. Secondo la stima adattata di Mozilla, i modelli chiusi gestiscono compiti che richiedono agli esperti umani da 8 a 12 ore. I modelli aperti raggiungono quel livello circa quattro mesi dopo, con la capacità aperta che raddoppia ogni 3,9 mesi contro i 5,5 dei modelli chiusi, secondo i calcoli di Mozilla. Il report ha anche tracciato i risultati di Terminal-Bench 2.1 di vals.ai, che fa passare ogni modello attraverso la stessa harness, il layer di software che offre i suoi strumenti a un modello.

Su quella classifica, GLM-5.2 di Z.ai ha segnato entro un punto da Claude Opus 4.7 e circa quattro punti dietro Opus 4.8, a meno di un quinto del costo per test. Su OpenRouter, un marketplace che instrada il traffico degli sviluppatori verso centinaia di modelli, Mozilla ha contato otto dei dieci migliori modelli per volume di token ad agosto come pesi aperti, sette dei quali costruiti in Cina.

Poi i soldi.

I provider chiusi hanno incassato il 96% del ricavo a livello di modello su OpenRouter da maggio a settembre 2025, secondo la Linux Foundation. "Vediamo la decisione di pagare per i modelli [chiusi] come specifica del workload piuttosto che specifica dell'organizzazione", ha detto il chief technology officer di Mozilla Raffi Krikorian a Ars Technica in una email, come citato nel report di Tom's Hardware.

Quello che il numero di quattro mesi lascia fuori

Due avvertimenti si trovano dentro il report stesso. Il divario di quattro mesi e il prezzo dei token al 30% sono misurati da API a API su endpoint ospitati, al prezzo di listino. E il grafico hardware del report stesso colloca il miglior modello aperto che sta su un server a 52,6 sull'indice e il migliore su una GPU a 40, cali di 10 e 23 punti dalla vetta. È un divario più ampio di quattro mesi.

I requisiti di serving sono la versione pratica dello stesso problema. Il checkpoint nativo MXFP4 di Kimi K3 occupa circa 1,56TB su 96 shard, e la configurazione di serving di Mozilla elenca 64 o più acceleratori, mentre vLLM richiede almeno otto GPU GB300, con più nodi per il traffico di produzione. Il report descrive questo come aperto ma non eseguibile dalla maggior parte di chi lo possiede. Tom's Hardware ha stimato il bisogno di memoria vicino a 1,5TB a luglio. Un'eccezione che il report cita è Inkling-Small di Thinking Machines, sotto licenza Apache 2.0, la cui versione NVFP4 sta su una B300 con un minimo di 180GB.

I dati del report si fermano al 1 settembre, e le classifiche si sono mosse da allora.

Artificial Analysis ha spostato il suo indice a v4.3 con un set di valutazione diverso; la classifica live ha Claude Fable 5.1 a 53 nella sua impostazione di sforzo più alta con Kimi K3 a 44, numeri non confrontabili con le cifre v4.1.1 tracciate da Mozilla. La classifica Terminal-Bench 2.1 di vals.ai, aggiornata l'11 settembre, è ora guidata da GPT-6 Astra all'87,27% con Fable 5.1 all'85,02%. La didascalia del grafico di Mozilla recita: "il divario si resetta ogni ciclo di rilascio." K3 porta anche un'accusa dettagliata nel advisory congiunto NSA/CISA/FBI dell'8 settembre (AA26-251A). L'affermazione, che il report di Mozilla descrive come "affermata, e non dimostrata", è che Moonshot abbia estratto dati di Claude Fable 5 per addestrare K3 tramite distillazione, la pratica di addestrare un modello sugli output di un altro modello.

La lotta di denominazione sotto la lotta dei benchmark

La Open Source Initiative ha usato lo stesso ciclo di notizie per argomentare sul vocabolario. In un post del 19 settembre, l'OSI ha scritto che i pesi aperti ti permettono di esercitare alcune delle quattro libertà del software, la libertà di usare, studiare, modificare e condividere senza chiedere al titolare dei diritti, ma non tutte, e solo in una certa misura.

La cornice dell'OSI: un modello di AI ha tre componenti principali, dati di addestramento, pesi e parametri, e codice per la preparazione dei dati e l'addestramento. I rilasci a pesi aperti spediscono i pesi, il che ti permette di eseguire un modello localmente, pagare un terzo per ospitarlo, o fare fine-tuning sui tuoi dati. Non spediscono gli altri componenti. Senza il codice e i dati di addestramento o un resoconto di come i dati siano stati costruiti, l'OSI argomenta, non puoi ispezionare completamente un modello per rispondere a perché ha prodotto un output o se quell'output può essere fidato. Il post cita Olmo di Ai2 come esempio di un modello linguistico di grandi dimensioni il cui dataset di addestramento completo e i checkpoint permettono ai ricercatori di studiare come un modello memorizza o dimentica informazioni iniettate.

La distinzione non è accademica per chiunque legga i numeri di Mozilla come guida d'acquisto. Il report di Mozilla conta 16 rilasci aperti notevoli, ma nota che nessuno fornisce la ricetta dei dati richiesta dalla definizione della Open Source Initiative. Mozilla è anche un sostenitore dei modelli aperti: TIME ha riportato il 14 luglio che Krikorian ha descritto il report come in parte advocacy. Il report è costruito su un sondaggio Mozilla/SlashData di circa 1.400 sviluppatori, dati di traffico OpenRouter e indici di benchmark di terze parti.

Quello che nessuno di questi documenti risolve è se pesi più economici, leggermente indietro, siano sufficienti per i workload che le persone effettivamente eseguono. La divisione dei ricavi dice che la maggior parte degli acquirenti paga ancora per i modelli chiusi. La divisione del volume di token dice che la maggior parte del traffico è già aperta. Entrambe possono essere vere allo stesso tempo, e il numero di quattro mesi non decide tra loro.