Il consorzio tedesco rimuove GPQA dalla valutazione di Soofi S: domande del test nei dati di addestramento

Il consorzio, coordinato dalla KI Bundesverband, ha pubblicato la versione 3.0 del rapporto di pretraining e ha documentato la contaminazione. Il dataset interessato è QA-base. Doveva contenere solo split di addestramento riformulati da 25 benchmark standard, ovvero domande di esercizio per insegnare al modello i formati dei test, non gli item reali delle prove. Invece conteneva anche domande riformulate dal set di test GPQA, inclusa la variante più difficile GPQA Diamond, in inglese e in tedesco tradotto automaticamente.

La causa è un'etichetta fuorviante, non una scorciatoia deliberata.

Su Hugging Face, GPQA viene distribuito senza uno split di addestramento separato. Tutto il materiale di test si trova sotto l'etichetta predefinita "train". La pipeline dati del consorzio selezionava i contenuti in base al nome dello split, quindi le domande del test sono state incluse insieme agli elementi di esercizio. Un audit avviato dopo la scoperta ha rivelato altri tre benchmark con lo stesso schema: TruthfulQA, BLiMP e Inverse Scaling. Nessuno di questi tre viene utilizzato nella valutazione di Soofi S.

Un guadagno che sembrava normale

Il punto saliente del rapporto è che nessuno ha notato il problema durante l'addestramento. Il modello migliorava costantemente sui compiti GPQA contaminati, passando da 32,3 a 43,4 punti. Gli autori affermano che questo guadagno rientrava nell'intervallo normale e non differiva dai progressi su altri test. Non c'è stato alcun picco che potesse fungere da allarme.

La correzione è procedurale. Il team ora verifica automaticamente i dati di addestramento contro tutte le domande dei test, anziché affidarsi alle etichette degli split, che il rapporto descrive come spesso fuorvianti.

In risposta alla contaminazione, il consorzio ha eliminato completamente GPQA dalla valutazione e ha ricalcolato i risultati complessivi per tutti i 16 modelli confrontati, per garantire una base comune. Secondo gli autori, la classifica non è cambiata.

Nicolas Flores Herr, del Fraunhofer IAIS, vede nell'incidente la prova che l'approccio aperto funziona: la comunità ha potuto individuare il problema solo perché i dati erano pubblici. Il team ha reso disponibili circa 152.000 risultati individuali per la verifica. Una valutazione separata del partner Ellamind, utilizzando dati di test deliberatamente trattenuti che il modello non poteva aver visto in addestramento, ha confermato i risultati. Il consorzio precisa che la porzione interessata è una frazione minima del corpus totale.

I tempi sono scomodi per le affermazioni basate sui benchmark in generale. Copertura recente, incluso un lavoro di Stanford HAI, ha messo in dubbio l'efficacia dei test attuali sull'IA nel valutare i sistemi a cui sono destinati.

Che cos'è davvero Soofi S

Soofi S 30B-A3B è un modello mixture-of-experts. Ha 31,6 miliardi di parametri in totale, ma ne attiva circa 3,2 miliardi per token generato. Questo avvicina il suo costo computazionale a quello di un modello da 3B, più che a uno convenzionale da 30B. Il consorzio ha adottato senza modifiche l'architettura del Nemotron 3 Nano di Nvidia: un design ibrido che combina layer Mamba-2 con layer di attenzione standard.

La differenza pratica riguarda la memoria. In un transformer convenzionale, la KV cache che conserva i token precedenti cresce linearmente con la lunghezza del contesto. Ricaricarla diventa un collo di bottiglia con input lunghi e molte richieste parallele. Solo 6 dei 52 layer di Soofi S mantengono una cache di questo tipo. Con una lunghezza di contesto di 40.000 token e 32 richieste parallele, il consorzio riporta che Soofi S genera circa otto volte più token al secondo per GPU rispetto ai modelli densi nella fascia da 14 a 24 miliardi di parametri. Il throughput resta quasi piatto da 4.000 a 256.000 token, mentre i modelli convenzionali calano. L'unico modello che mostra un comportamento simile nelle misurazioni, secondo il rapporto, è il Qwen3.5 35B-A3B di Alibaba, che usa anch'esso un'architettura ibrida.

L'addestramento si è svolto interamente sull'Industrial AI Cloud di Deutsche Telekom a Monaco. Soofi S è così uno dei primi grandi modelli linguistici costruiti su quell'infrastruttura. La miscela di addestramento è volutamente sbilanciata verso il tedesco.

Sui benchmark del consorzio, il modello supera altri sistemi completamente aperti, tra cui OLMo 3 32B e Apertus 70B, su compiti in tedesco, inglese e programmazione. Le varianti instruct e reasoning ottimizzate sono in beta testing e dovrebbero uscire con una licenza permissiva nelle prossime settimane. Il modello più grande, Soofi L, è già in addestramento.

L'argomento dell'addestramento eccessivo

Dopo il lancio, i critici hanno sostenuto che Soofi S era stato addestrato in modo eccessivo secondo gli standard delle leggi di scala di Chinchilla. Google DeepMind le ha pubblicate nel 2022 per descrivere come bilanciare la dimensione del modello rispetto ai dati di addestramento a parità di budget computazionale. Il punto ottimale individuato era di circa 20 token per parametro. Soofi S va molto oltre. Con circa 27.000 miliardi di token e 30 miliardi di parametri, il rapporto è di diverse centinaia a uno. Contando solo i 3,2 miliardi di parametri attivi per token, raggiunge diverse migliaia a uno.

Michael Fromm, parte della leadership tecnica del progetto, respinge questa lettura. Sostiene che le vecchie regole non si applicano alle architetture mixture-of-experts. "Nuove ricerche mostrano che le vecchie leggi di scala dei modelli densi non valgono più per le architetture MoE", ha dichiarato Fromm. Il motivo sta nella costruzione: i singoli esperti traggono vantaggio dal vedere gli stessi documenti. Quindi i dati ripetuti in un insieme ampio e di alta qualità sono meno problematici di quanto lo sarebbero per un modello denso. Come termine di paragone cita Nvidia, che ha addestrato i propri modelli su fino a 25.000 miliardi di token.

I dati contaminati erano materiale di test, non di esercizio. La pipeline non riusciva a distinguerli a causa di un'etichetta.

Questa è la parte scomoda dell'episodio. La fuga non è stata il caso di un laboratorio che addestrava in silenzio su un set di test. È stata una convenzione di denominazione su un dataset pubblico, applicata su larga scala da una pipeline automatica. È sfuggita a tutti finché i dati non sono stati resi pubblici e qualcuno non li ha esaminati. La risposta del consorzio, confrontare ogni elemento di addestramento con ogni domanda di test, è un controllo che costa calcolo e tempo, e che pochi team descrivono pubblicamente.

Il contesto più ampio è una cultura dei benchmark sotto tensione. Un tracker pubblicato su stale.jock.pl a settembre elenca date di rilascio e cutoff di addestramento per 20 modelli attuali di 8 laboratori. Nota che solo 10 dei 20 riportano un cutoff effettivamente pubblicato dal laboratorio. I suoi autori sostengono che un modello può uscire a settembre e aver comunque smesso di leggere ad aprile. Gli strumenti di ricerca coprono il divario invece di colmarlo. Su 2.000 chiamate attraverso 16 modelli, a ciascuno dei quali è stato fornito uno strumento di ricerca web, i modelli di frontiera hanno risposto correttamente quasi sempre. Quelli più deboli hanno risposto a domande già risolte basandosi sulla memoria, dopo che la risposta era cambiata.

I benchmark e le model card sono il vocabolario condiviso del settore su ciò che un sistema sa fare. Soofi S mostra entrambe le facce: una fuga documentata e gestita in pubblico, e una serie di numeri di throughput e benchmark che ora dipendono da una valutazione corretta. Le varianti instruct e reasoning, e la tabella di confronto ricalcolata, saranno le prossime cose da verificare.