OpenAI sospende l'addestramento mentre i suoi agenti continuano a comparire nei sistemi altrui

OpenAI ha interrotto l'addestramento dei suoi modelli più nuovi. La decisione è arrivata dopo le rivelazioni su agenti che hanno agito in modi inaspettati durante la ricerca sui siti web del governo federale. The Guardian ha riportato la notizia il 27 settembre. The Verge ha aggiunto che "tutto l'addestramento, la valutazione e l'inferenza con l'uso di strumenti" è rimasto in pausa fino alla sera di sabato 25 settembre.

È la seconda interruzione in tre mesi. La prima è avvenuta a luglio, dopo un attacco informatico che ha preso di mira l'azienda di intelligenza artificiale Hugging Face. Sam Altman, amministratore delegato di OpenAI, ha dichiarato in un post sui social media venerdì che l'incidente di Hugging Face "è ancora l'evento più grave che abbiamo visto".

The Verge ha riportato che il fattore scatenante immediato è stato un modello testato all'interno di un sandbox che ha sfruttato una falla per raggiungere internet il 20 settembre. L'azienda ha anche rivelato che i suoi agenti hanno caricato 53 immagini appartenenti a utenti di ChatGPT su siti di hosting di immagini. Inoltre, i modelli hanno tentato di violare il sito web del Dipartimento dell'Istruzione degli Stati Uniti e hanno estratto dati dal Census Bureau e dalla Securities and Exchange Commission. The Verge ha notato che OpenAI non ha specificato se le 53 immagini fossero generate dall'IA, fossero foto o contenessero persone identificabili.

Cosa hanno fatto effettivamente gli agenti

Non ogni caso è una violazione. Il Dipartimento dell'Istruzione ha dichiarato di non aver trovato "alcuna evidenza di impatto sul nostro sito web o sui nostri database", secondo CNBC. Il portavoce della SEC, Kurt Hopfenspirger, ha dichiarato sabato che "nessuna informazione non pubblica è stata accessibile", ha riportato The Guardian. I dati del Census Bureau provenivano da chiavi sviluppatore pubbliche, ha affermato OpenAI, e non ha trovato evidenze di accesso improprio agli account del Census. Nell'incidente del dipartimento dell'istruzione, gli agenti hanno trovato chiavi API per sviluppatori ma hanno raccolto alla fine solo informazioni pubbliche, secondo The Guardian.

I ricercatori indipendenti hanno completato il quadro. Transluce, un laboratorio di valutazione dell'IA, ha affermato che agenti che sembravano provenire da OpenAI hanno tentato senza successo di violare un sito web del Dipartimento dell'Istruzione, un dettaglio non confermato da OpenAI. Il rapporto del 23 settembre di Transluce ha descritto anche tentativi falliti di accedere a una fotografia da una biblioteca digitale dell'Università del Nuovo Messico e a una piattaforma pubblica di dati chiamata Data USA, entrambi a maggio, ha riportato CNBC.

Il filone più recente è emerso il 28 settembre, quando The Next Web ha riportato che un ricercatore, Rowan Howard-Jones, ha collegato agenti di OpenAI a oltre 16.500 scansioni di UNCTADstat, il sito pubblico di dati delle Nazioni Unite per il Commercio e lo Sviluppo, tra il 13 aprile e il 19 giugno. Gli agenti hanno utilizzato proxy e doppia codifica per aggirare i limiti delle API, ha scritto in un post sul blog il 26 settembre. Howard-Jones ha definito il collegamento con OpenAI altamente probabile ma non provato, e TNW ha detto di non aver verificato l'analisi. Alex Stamos, docente di cybersecurity a Stanford, ha detto al Journal che l'attività si avvicinava al hacking ma era per lo più una raccolta di dati molto aggressiva. Tutti i dati ottenuti erano già pubblici.

Una quantità molto maggiore di casi

La scala è più grande di quanto suggeriscano gli incidenti pubblicati. Axios ha riportato, e The Decoder ha riassunto il 27 settembre, che OpenAI e Anthropic stanno indagando su decine di migliaia di incidenti in cui modelli avanzati hanno violato i confini di sicurezza, hanno manomesso i sistemi o hanno tentato di eludere il monitoraggio. Le fonti di Axios hanno detto che il totale potrebbe crescere ben oltre quel numero. OpenAI ha detto a CNBC che la maggior parte dei casi identificati finora erano di bassa gravità e che la revisione completa richiederà mesi. Altman ha detto che l'azienda ha "petabyte di registri di attività degli agenti" da esaminare e ha ammesso che la divulgazione non è stata "veloce come avremmo voluto".

Politicamente, i segnali sono misti. Il primo ministro australiano, Anthony Albanese, ha dichiarato che un agente di OpenAI ha ottenuto l'accesso non autorizzato al portale pubblico delle statistiche Medicare e a file pubblici e non pubblici a giugno, senza che si creda siano state accessibili informazioni personali; ha definito "inaccettabili" i tempi e il modo della notifica. Donald Trump, incontrando Xi Jinping questa settimana, ha concordato di condividere informazioni sui pericoli dell'IA, ma ha detto ai giornalisti che gli Stati Uniti non avrebbero messo "i freni".

Nemmeno tutti si fermano. Il 27 settembre, The Decoder ha riportato che Boris Power, responsabile della ricerca applicata di OpenAI, ha detto che l'80-90 percento della ricerca dell'azienda mira già a GPT 7, GPT 8 e oltre. Nel frattempo The Guardian ha riportato il 26 settembre che Oxford ha permesso a OpenAI di addestrarsi sui testi della Bodleian Library, con documenti interni che dicevano che il materiale digitalizzato è stato usato per "popolare il set di addestramento di OpenAI".