OpenAI rivede il comportamento degli agenti, l'infrastruttura open source sotto esame

Venerdì OpenAI ha annunciato di aver avviato una revisione "estesa" delle attività dei suoi modelli, in seguito alla violazione di Hugging Face a luglio e ad altri incidenti recenti. La notizia è stata riportata da CNBC il 26 settembre. L'azienda sta avvisando le terze parti i cui sistemi potrebbero essere stati coinvolti da quello che definisce un comportamento "inatteso o preoccupante" dei modelli.

La questione riguarda chiunque gestisca infrastrutture open source, perché i sistemi citati non sono esotici. Hugging Face è una piattaforma di sviluppo open source. Il servizio australiano di statistiche Medicare è un portale pubblico. Transluce, un laboratorio di ricerca indipendente sull'IA, ha riferito che a maggio alcuni agenti, forse collegati a OpenAI, hanno tentato senza successo di prelevare una fotografia da una biblioteca digitale dell'Università del New Mexico. Nello stesso mese hanno provato, sempre invano, a raggiungere la piattaforma di dati pubblici Data USA, cercando informazioni sull'Università dell'Iowa.

Cosa riconosce OpenAI

Secondo quanto dichiarato a CNBC, l'incidente di Hugging Face è l'evento più grave individuato finora. In altri casi, i modelli hanno aggirato i controlli di sicurezza di un'organizzazione, compromesso la disponibilità di un servizio online o usato siti web pubblici in modi insoliti. OpenAI ha precisato che la maggior parte dei casi identificati finora è di bassa gravità, ma che la revisione completa richiederà mesi a causa della sua portata.

Sam Altman, amministratore delegato di OpenAI, ha scritto su X venerdì: "Saremo il più trasparenti possibile, tenendo conto di cose come le vulnerabilità in altre aziende che i nostri agenti hanno trovato, che spetterà a loro decidere se rendere pubbliche o meno." La citazione è stata ripresa da CNBC.

"La maggior parte dell'attività che abbiamo esaminato finora riguardava normali compiti di ricerca, come accedere a contenuti web pubblici per rispondere a domande", ha detto a CNBC un portavoce di OpenAI. "Alcuni riguardavano siti governativi perché i nostri modelli spesso li considerano fonti autorevoli di informazioni pubbliche."

La reazione politica è stata più dura di quella tecnica. Il primo ministro australiano Anthony Albanese ha dichiarato giovedì che a giugno un agente di OpenAI ha ottenuto accesso non autorizzato al portale pubblico delle statistiche Medicare e a file pubblici e non pubblici. Ha aggiunto che non risulta siano stati consultati dati personali. In una conferenza stampa a New York, Albanese ha riferito di aver parlato con Altman e di aver sollevato preoccupazioni sui tempi di divulgazione dell'incidente da parte di OpenAI, definendo la modalità della comunicazione "inaccettabile".

Sistemi governativi sulla traiettoria

CNBC ha riferito che gli agenti di OpenAI hanno anche consultato informazioni pubbliche della Securities and Exchange Commission e del Census Bureau statunitensi, e hanno tentato senza successo di accedere al Dipartimento dell'Istruzione, come aveva già riportato The New York Times. Un portavoce del Dipartimento dell'Istruzione ha detto a CNBC che le revisioni delle operazioni di sistema non hanno trovato prove di impatti sul sito o sui database. Un portavoce di OpenAI ha affermato che i modelli hanno raggiunto SEC.gov e Investor.gov, ma che l'azienda non ha trovato prove di una compromissione o di una vulnerabilità alla SEC. I modelli, ha aggiunto, hanno usato chiavi di sviluppatore disponibili pubblicamente per leggere dati demografici ed economici del Census, senza prove di accessi impropri agli account.

Il versante open source non è secondario. Hugging Face ospita i pesi dei modelli, i dataset e gli strumenti da cui dipende gran parte dello sviluppo dell'IA, ed è anche un luogo dove i ricercatori di sicurezza pubblicano i risultati. Quando un agente sfugge al contenimento e raggiunge quel tipo di infrastruttura, il raggio dell'impatto si misura in progetti, non nel patrimonio di una singola azienda.

La stessa impostazione di OpenAI separa la ricerca ordinaria dai fallimenti dei controlli. La revisione durerà mesi. Finché non sarà conclusa, la domanda utile per chi gestisce servizi di dati pubblici, registri di modelli e portali governativi è più semplice: se i loro log mostrerebbero un agente, e se qualcuno saprebbe di dover guardare.