Studio COLM 2026: la maggior parte degli LLM non riproduce i libri addestrati

Secondo un paper accettato a COLM 2026, la maggior parte dei grandi modelli linguistici non memorizza i libri su cui è stata addestrata. Il gruppo di ricerca ha eseguito oltre 3.000 esperimenti di estrazione su 200 libri e 14 modelli a pesi aperti. I risultati contraddicono le affermazioni categoriche fatte da entrambe le parti nel contenzioso sul copyright dell'IA generativa.

Il lavoro si intitola "Extracting memorized pieces of (copyrighted) books from open-weight language models", pubblicato su arXiv a maggio 2025 e rivisto fino a luglio 2026. Tra gli autori figurano A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho e Percy Liang. L'abstract afferma che le posizioni polarizzate di attori e convenuti "drammatically oversimplify the relationship between memorization and copyright".

Cosa ha effettivamente rilevato il metodo di estrazione

Il risultato principale è negativo, ma più limitato di quanto sembri. Con la specifica metodologia di estrazione degli autori, la maggior parte degli LLM non memorizza i libri, né integralmente né in parte. Questa precisazione è importante: la conclusione riguarda solo ciò che questa tecnica è riuscita a estrarre. Non è una prova generale che i dati di addestramento non lascino traccia.

Le eccezioni sono il punto più scomodo per gli sviluppatori. Llama 3.1 70B memorizza interamente alcuni libri, scrivono gli autori, citando Harry Potter e la pietra filosofale. La memorizzazione è tale da permettere di estrarre l'intero libro quasi alla lettera, in modo deterministico, usando le prime parole come prompt iniziale. Nessun trucco di campionamento, nessun jailbreak: basta la frase di apertura.

La memorizzazione variava sia per modello sia per libro tra i 14 sistemi testati. L'abstract non nomina gli altri modelli né fornisce una ripartizione per titolo. Quali opere siano più esposte, al di fuori dell'esempio di Harry Potter, resta una questione aperta nel riassunto pubblicato.

Gli autori sono prudenti sull'impatto dei risultati in tribunale. Concludono che le scoperte hanno implicazioni significative per i casi di copyright, "though not ones that unambiguously favor either side". Questa frase è il vero contributo del paper al dibattito e verrà probabilmente citata fuori contesto da entrambi gli avvocati.

L'argomento sulle licenze che accompagna la ricerca

Mentre i ricercatori misurano cosa trattengono i modelli, si combatte un'altra battaglia sul significato della parola "aperto". The Register ha pubblicato il 15 settembre una rubrica di Steven J. Vaughan-Nichols, che sostiene come il settore descriva abitualmente i rilasci come "modelli open source" quando sono solo a pesi aperti.

Questa distinzione determina se si può solo distribuire una rete neurale pronta o se si può ispezionare, riprodurre, modificare e ridistribuire il sistema che l'ha prodotta. I pesi sono i parametri numerici appresi durante l'addestramento. Insieme all'architettura e al codice di inferenza, fanno funzionare il modello, ma non rivelano cosa ci sia stato inserito.

La Open Source Initiative traccia la linea con chiarezza. La sua posizione, citata nella rubrica, è che i pesi aperti si riferiscono ai pesi e bias finali di una rete neurale addestrata, e che pubblicarli espone solo "a fraction of the information required for full accountability".

"Open weights are progress. You can download the model, run it on your own machine, keep it out of someone else's data pipeline. But you still can't see how the thing was built, what it was trained on, or why it behaves the way it does. That's not an open model. That's open distribution."

Le parole sono di James Landay, direttore dello Stanford Institute for Human-Centered AI, in una conversazione con The Register. Ha aggiunto che c'è "a wide gap between open-weight AI and open source AI", sostenendo che senza dati di addestramento divulgati o un resoconto verificabile, gli esterni non possono testare o riprodurre il lavoro nel senso più pieno.

Senza i dati di addestramento, osserva la rubrica, non si può determinare quali fonti siano state usate, quale materiale protetto o privato sia incluso, come i dati siano stati selezionati o rimossi, quali lingue e comunità siano sottorappresentate, se i benchmark siano trapelati nell'addestramento, o quali metodi di allineamento abbiano plasmato il modello dopo il pre-addestramento. Questa lista corrisponde esattamente alle domande a cui il paper sulla memorizzazione cerca di rispondere empiricamente, dall'esterno, tramite estrazione invece che divulgazione.

La Open Source AI Definition della OSI, OSAID 1.0, pubblicata a ottobre 2024, richiede che i parametri del modello, inclusi i pesi, siano disponibili secondo termini approvati dall'OSI, ma non prescrive un meccanismo legale specifico. Ha attirato critiche da figure come Bruce Perens, autore della Open Source Definition originale, che ha dichiarato: "It's not Open Source! ... It's unfortunate that the Open Source Initiative itself is now involved in Openwashing." Bradley Kuhn della Software Freedom Conservancy e Richard Fontana di Red Hat hanno chiesto l'abrogazione di OSAID, argomentando che l'OSI "acted too quickly to impose an overly ambitious policy compromise on the community".

Un'iniziativa concorrente, la licenza Open Model, Data, and Weights della Linux Foundation (OpenMDW), è stata sottoposta all'OSI. Esiste dal 2025, elenca contributori di Amazon, Meta, IBM, Microsoft e Nvidia, e definisce termini separati per architettura, dati di addestramento e pesi. The Register riferisce che la presentazione ha incontrato obiezioni sulla mailing list di revisione delle licenze dell'OSI. Stefano Maffulli, ex direttore esecutivo dell'OSI, ha detto di avere la continua impressione che la revisione sia "tainted by an ideological bias".

Più economici, più vicini, e comunque non riproducibili

Mozilla ha pubblicato la versione 1.1 del rapporto State of Open Source AI il 15 settembre, con dati aggiornati al 1 settembre. Tom's Hardware ne ha parlato il giorno dopo. Il rapporto colloca il miglior modello aperto a tre punti dal leader chiuso sull'Artificial Analysis Intelligence Index, al 60% del prezzo, e a due punti da Claude Fable 5 al 30%. La stima di Mozilla sui dati METR colloca il divario aperto-chiuso a circa 4,4 mesi, in linea con la stima di quattro mesi di Epoch AI.

La metodologia merita attenzione. METR valuta i modelli in base alla lunghezza del compito, in tempo di lavoro umano, che completano la metà delle volte. Secondo la stima di Mozilla, i modelli chiusi gestiscono compiti che richiedono a esperti umani da 8 a 12 ore; i modelli aperti raggiungono quel livello circa quattro mesi dopo, con la capacità aperta che raddoppia ogni 3,9 mesi contro 5,5 per quella chiusa. Il rapporto si basa su un sondaggio Mozilla/SlashData di circa 1.400 sviluppatori, sui dati di traffico di OpenRouter e su indici di benchmark di terze parti. Mozilla sostiene i modelli aperti, e TIME ha riferito il 14 luglio che il CTO di Mozilla, Raffi Krikorian, ha descritto il rapporto come in parte advocacy.

Su Terminal-Bench 2.1 di vals.ai, che esegue ogni modello attraverso lo stesso harness, GLM-5.2 di Z.ai ha ottenuto un punteggio entro un punto da Claude Opus 4.7 e circa quattro punti dietro Opus 4.8, a meno di un quinto del costo per test. Su OpenRouter, Mozilla ha contato otto dei primi dieci modelli per volume di token di agosto come a pesi aperti, sette dei quali costruiti in Cina. I fornitori chiusi hanno comunque preso il 96% dei ricavi a livello di modello su OpenRouter da maggio a settembre 2025, secondo la Linux Foundation. "We see the decision to pay for closed [models] as workload-specific rather than organization-specific", ha detto Krikorian ad Ars Technica in un'email.

Il rapporto conta 16 pubblicazioni aperte degne di nota, e Tom's Hardware osserva che nessuna fornisce la ricetta dei dati richiesta dalla definizione OSI. Il divario di quattro mesi e il dato del 30% sul prezzo dei token sono misurati da API ad API su endpoint ospitati e a prezzo di listino. Il grafico hardware del rapporto colloca il miglior modello aperto che entra in un server a 52,6 e il migliore su una singola GPU a 40, cali di 10 e 23 punti dal vertice: un divario più ampio di quanto suggerisca il dato di quattro mesi. Il checkpoint nativo MXFP4 di Kimi K3 occupa circa 1,56TB su 96 shard, con la configurazione di servizio di Mozilla che elenca 64 o più acceleratori, e vLLM che richiede almeno otto GPU GB300 con più nodi per il traffico di produzione. Il rapporto lo descrive come aperto ma non eseguibile dalla maggior parte di chi lo possiede. Inkling-Small di Thinking Machines, sotto Apache 2.0, è un'eccezione, con una versione NVFP4 che entra in una singola B300 con un minimo di 180GB.

I dati si fermano al 1 settembre, e i benchmark si sono mossi da allora. Artificial Analysis è ora all'indice v4.3 con un insieme di valutazione diverso, e la sua board live ha Claude Fable 5.1 a 53 sulla sua impostazione di sforzo massimo con Kimi K3 a 44, numeri non comparabili con i valori v4.1.1 che Mozilla ha tracciato. La didascalia del grafico di Mozilla recita: "the gap resets every release cycle".

Un ulteriore elemento del rapporto è enunciato come accusa anziché come risultato. Un avviso congiunto dell'8 settembre di NSA, CISA e FBI (AA26-251A) afferma che Moonshot ha estratto dati di Claude Fable 5 per addestrare K3 attraverso la distillazione, la pratica di addestrare un modello sugli output di un altro. Il rapporto di Mozilla descrive l'affermazione come "asserted, and unshown".

Mettendo insieme i due filoni, il quadro è scomodo per chiunque voglia una risposta netta. Un modello può essere scaricabile, economico, a pochi mesi dalla frontiera, e comunque opaco sui suoi dati di addestramento. E quando i ricercatori vanno a cercare cosa ha trattenuto, come ha fatto il paper COLM con 200 libri e oltre 3.000 esperimenti, scoprono che la risposta dipende da quale modello e quale libro si chieda. Il riassunto di Landay sul divario, come citato da The Register: "Open weights answer 'Can I run this?' Open source answers 'Can I trust this, improve it, and build the next thing on top of it?'"