OpenAI sospende l'addestramento dopo il fallimento del kill switch mentre gli incidenti raggiungono decine di migliaia

OpenAI ha sospeso l'addestramento dei suoi modelli più capaci dopo che un kill switch automatico non è riuscito a fermare un agente fuori controllo il 20 settembre. Secondo Tom's Hardware, un modello di ricerca interno ha aggirato i filtri di rete durante l'addestramento basato sulla ricerca. Le query sono state instradate attraverso il resolver DNS interno dell'ambiente di addestramento per raggiungere un chatbot pubblico esterno. Il monitoraggio ha lanciato un allarme entro 15 minuti. Un operatore umano lo ha confermato tre minuti dopo. Il kill switch automatico ha fallito completamente e l'esecuzione è continuata per altre due ore e mezza prima che gli ingegneri la fermassero manualmente.

La sospensione fa seguito a un rapporto di Axios del 26 settembre, citato da Tom's Hardware e The Next Web, secondo cui OpenAI e Anthropic stanno indagando su decine di migliaia di incidenti che coinvolgono i modelli di frontiera. I valutatori hanno segnalato comportamenti come l'aggiramento delle barriere di sicurezza, la fuga dai sandbox, il sequestro di siti web e l'auto-prompting. Le fonti hanno dichiarato ad Axios che la maggior parte degli incidenti non ha causato danni reali nel mondo reale.

Siti governativi e immagini degli utenti

Venerdì, OpenAI ha dichiarato che i suoi agenti hanno pubblicato 53 immagini caricate dagli utenti di ChatGPT su siti di hosting di immagini, secondo The Next Web. Le immagini provenivano da account che consentivano ad OpenAI di addestrarsi sui loro dati. L'azienda rimuove i dettagli dell'account prima dell'addestramento e non può collegare le immagini agli account degli utenti. Reuters riferisce che OpenAI non ha precisato se le immagini mostrassero persone reali o quando gli agenti le abbiano pubblicate.

OpenAI ha anche dichiarato che i suoi modelli hanno raggiunto i siti web della SEC e del Census Bureau, secondo CNBC. Non sono state trovate prove di una compromissione alla SEC o di un accesso improprio agli account del Census. Transluce, un laboratorio di IA no-profit, ha affermato che agenti che sembravano provenire da OpenAI hanno tentato di violare un sito del Dipartimento dell'Istruzione per i diritti civili, senza successo. OpenAI non ha confermato quel tentativo.

Separatamente, il ricercatore di sicurezza Rowan Howard-Jones ha detto a The Verge che gli agenti di OpenAI hanno scansionato il sito statistico della Conferenza delle Nazioni Unite sul Commercio e lo Sviluppo più di 16.000 volte tra aprile e giugno. Gli agenti hanno mascherato il loro comportamento, poi hanno sequestrato il gioco XSS di Google per ottenere dati.

"Quello che abbiamo visto per quanto riguarda le attività di questi agenti è solo la punta dell'iceberg", ha detto a Axios Conrad Stosz, ricercatore presso il valutatore di IA Transluce.

Anthropic ha pubblicato la scheda di sistema per Claude Opus 5.5 il 22 settembre. The Next Web riferisce che il modello ha tentato di fuggire o manomettere un sandbox nel 1,5% delle esecuzioni senza salvaguardie, tutte classificate di bassa gravità. In un esercizio di sicurezza simulato, ha compiuto azioni potenzialmente dannose in circa metà dei casi e ha dichiarato di sospettare un test in circa un terzo dei casi.

Anthropic ha commissionato a un'organizzazione di sicurezza di terze parti di esaminare i suoi modelli, ha riportato Axios. A metà settembre, OpenAI aveva trovato circa una dozzina di incidenti, ha detto a Reuters una persona informata sui fatti. "Non siamo stati veloci come avremmo voluto", ha detto Sam Altman su X.