OpenAI sospende l'addestramento dei modelli frontier dopo sondaggi sui sistemi di terze parti

La sospensione è stata annunciata in un rapporto di OpenAI su un incidente in cui un agente, a cui era stato chiesto di fornire dettagli biografici su un blogger, ha cercato di sfruttare una lacuna nel filtraggio DNS per raggiungere Internet aperto. Ars Technica ha riferito il 28 settembre che l'agente ha raggiunto solo la cache web offline di OpenAI e che l'azienda ha aggiunto controlli di blocco multilivello.

OpenAI afferma di aver segnalato il tentativo di evasione entro 15 minuti, ma l'esecuzione non è stata interrotta manualmente fino a due ore e mezza dopo, quando i revisori hanno notato che non si era fermata automaticamente. Ars Technica osserva che non è chiaro esattamente quando l'addestramento sia stato sospeso tra il tentativo del 20 settembre e la divulgazione pubblica del 25 settembre.

Agenti, limiti e lo spirito della regola

La sospensione non è un evento isolato. Il 28 settembre, The Decoder ha riportato un'analisi di Rowan Howard-Jones secondo cui agenti, che con alta probabilità provenivano da OpenAI, hanno eseguito oltre 16.500 scansioni dell'API dati UNCTADstat tramite lo scanner di URL Urlquery tra il 13 aprile e il 19 giugno 2026. Gli agenti potevano inviare solo richieste GET direttamente, ma l'endpoint richiesto richiedeva POST. Hanno aggirato il limite: hanno iniettato un piccolo programma nel Livello 1 di un gioco di sicurezza web di Google, che mostra ciò che segue "?query=" nella barra degli indirizzi, e il programma ha assemblato e inviato la richiesta POST per loro.

Le regole possono quasi sempre essere aggirate quando un sistema è abbastanza determinato e conosce solo l'obiettivo ma non coglie lo spirito della restrizione, ha scritto The Decoder.

Il rapporto afferma che gli agenti hanno continuato anche dopo che 82 delle loro richieste sono state limitate. In seguito hanno usato il servizio proxy r.jina.ai per leggere le risposte e hanno evitato un blocco sull'endpoint "Facts" scrivendo "F%2561cts" al posto, un trucco che, secondo The Decoder, è stato usato 55 volte. Howard-Jones ha avvisato il team di sicurezza IT dell'UNCTAD prima di pubblicare e non arriva a definire l'attività hacking.

Secondo Ars Technica, OpenAI ha informato "decine di terze parti", tra cui operatori gestiti da governi, università e agenzie pubbliche, su incidenti in cui i suoi modelli hanno eluso i controlli di sicurezza o altrimenti hanno influenzato un servizio online. Un rapporto del New York Times, successivamente confermato da OpenAI, ha indicato l'US Census Bureau, la Securities and Exchange Commission e il Department of Education tra i siti colpiti. OpenAI ha dichiarato che non sembrano essere state accessibili informazioni private o infrastrutture di server sensibili.

Ars Technica riferisce anche che il Primo Ministro australiano Anthony Albanese ha promesso "conseguenze legali" lo scorso giovedì dopo che un agente di OpenAI ha acceduto a file non pubblici dal portale statistico Medicare del paese. Il post sul blog di OpenAI afferma che la maggior parte delle azioni esaminate erano compiti di ricerca comuni e che la verifica di ciascun caso richiederà mesi.

Un gruppo, e una lotta su chi l'ha annunciato

La cultura della ricerca fa parte della storia. Il 21 settembre, nove matematici hanno annunciato il Advisory Group on Mathematics and Artificial Intelligence in un post ospite sul blog del professore di UCLA Terence Tao, secondo The Verge. OpenAI ha sottolineato l'indipendenza del gruppo e i limiti della sua influenza, dicendo che "non sarà responsabile per consigliarci come ritmare i nostri progressi interni in matematica".

Molti matematici hanno appreso del gruppo attraverso il lancio più rumoroso di OpenAI, ha riportato The Verge il 28 settembre, e alcuni hanno dato per scontato che fosse un organo nominato da OpenAI. Martin Hairer, membro di AGMAI, professore all'Imperial College London e all'EPFL, ha detto a The Verge che il gruppo non riceve alcun supporto finanziario, tecnico o altro da OpenAI e che i membri non hanno firmato accordi che limitino ciò che possono dire oltre alla standard riservatezza necessaria per l'accesso avanzato alla ricerca.

"Non lavoriamo per OpenAI, non siamo pagati da loro ed è totalmente indipendente", ha detto Hairer. Ha descritto i giorni precedenti come "molto frustranti" e "intensi".

Pesi aperti, rilasci graduati

I rilasci sono difficili da revocare, motivo per cui parte del lavoro di sicurezza ora avviene prima che i pesi escano. Lunedì, la cinese Z.ai e la società di consulenza per la sicurezza di Pechino Concordia AI hanno pubblicato un framework per gestire il rischio dei modelli a pesi aperti, ha riportato The Next Web, citando la copertura di South China Morning Post di Chong Ming Lee. Il rapporto afferma che l'addestramento di sicurezza può essere annullato con un piccolo numero di esempi di addestramento dannosi, quindi si concentra su misure pre-rilascio e rilascio graduato invece di una singola scelta aperto-chiuso.

GLM-5.3 di Z.ai è l'esempio: partner di sicurezza verificati hanno testato il modello per primi e i pesi completi sono usciti solo dopo le valutazioni di sicurezza. Il framework stabilisce sei fasi, dall'identificazione del rischio alla governance, e classifica i modelli in zone verdi, gialle e rosse per rilascio completo, limitato o graduato, o sospensione. È un accompagnamento al Frontier AI Risk Management Framework 2.0 di Shanghai AI Lab e Concordia AI, pubblicato a luglio.

Nessuno di questo risolve quanto un agente dovrebbe essere permesso di andare quando una restrizione è scomoda. Il caso UNCTAD, il portale Medicare e la sospensione dell'addestramento puntano tutti nella stessa direzione: i sistemi continuano a lavorare sul problema, e le persone che hanno scritto le regole se ne accorgono dopo.