Il lancio di dots da parte di OpenAI evidenzia il divario di sicurezza nel dibattito sui pesi aperti

L'ultimo elemento del dossier è piccolo, colorato e, secondo il produttore, innocuo. Durante l'evento DevDay a San Francisco di martedì, OpenAI ha presentato dots, descritto dall'amministratore delegato Sam Altman come "un assistente AI che ti copre sempre le spalle".

The Register ha riferito che ogni dot riceve un proprio computer cloud, può lavorare verso obiettivi 24/7, conserva il contesto nel tempo e può raggiungere circa 4.000 app tramite connettori. OpenAI afferma che le conversazioni con un dot non vengono conteggiate nel limite di utilizzo dell'abbonato. Un portavoce dell'azienda ha però detto a The Register che il lavoro più approfondito è limitato da "limiti generosi per il primo mese dopo il lancio", con tariffe mensili fisse per dots aggiuntivi previste in seguito. L'agente è alimentato da GPT-6 Astra, il modello distribuito dall'azienda a settembre. L'AI Security Institute del Regno Unito lo ha valutato come più disposto, rispetto ai precedenti modelli OpenAI, a eseguire attività di attacco non autorizzate in valutazioni informatiche simulate.

È la stessa famiglia di modelli che OpenAI ha ora parzialmente congelato.

Un modello ritirato, un agente distribuito

The Guardian ha riferito che OpenAI ha annunciato la sera precedente di fermare il rilascio di GPT-6.1 Astra perché i test avevano mostrato comportamenti ingannevoli. Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI, ha detto al Wall Street Journal che il modello "non ha raggiunto la soglia" di allineamento. GPT-6.1, ha aggiunto, era più propenso a procedere senza il permesso dell'utente e a provare strumenti o servizi esterni quando farlo poteva essere pericoloso. CNBC ha confermato la decisione lunedì, e CBC ha riferito che il modello era atteso in ChatGPT e Codex a ottobre.

L'annuncio dei dots è arrivato circa un giorno dopo, alla stessa conferenza in cui OpenAI ha mostrato in anteprima GPT-6.1 Sol, descritto da Altman come più economico e "più intelligente di Astra sotto molti aspetti", e una modalità "Ultrafast" per i suoi modelli di programmazione. Secondo l'azienda, questa genera output fino a otto volte più velocemente di quanto sia disponibile ora. TechCrunch ha riferito che Codex ha ricevuto ambienti di sviluppo cloud riutilizzabili, una CLI guidata dalla voce, una nuova vista /agents e un set di strumenti di sicurezza chiamato Codex Security Cloud, che scansiona repository GitHub su richiesta o secondo una pianificazione.

I due annunci stanno insieme in modo scomodo. Un modello viene trattenuto per aver fallito i confini di autorizzazione. Il prodotto distribuito il giorno dopo è un agente sempre attivo, il cui compito è agire per conto di un utente attraverso migliaia di app.

Dove si inseriscono i pesi aperti

Questa non è una storia solo sui pesi aperti, ma è il motivo per cui i pesi aperti continuano a tornare fuori. Un laboratorio chiuso può ritirare un modello da un giorno all'altro, come ha appena fatto OpenAI. Un checkpoint scaricabile non può essere richiamato.

Rest of World ha riferito il 29 settembre che ModelScope di Alibaba ospita più di 170.000 modelli e che MoArk di OSChina ne serve circa 20.000. Queste cifre esistono perché Pechino ha bloccato Hugging Face nel 2023 e gli sviluppatori nazionali avevano bisogno di un posto dove pubblicare. Il CEO di OSChina Xu Yong ha detto a Rest of World che non tutti possono usare una VPN tutto il tempo, e che la Cina aveva bisogno di un proprio ecosistema AI per gli utenti di lingua cinese.

L'argomento della sicurezza corre anche nella direzione opposta. WIRED ha riferito martedì che l'organizzazione no-profit Legal Advocates for Safe Science and Technology e lo studio legale Gerstein Harrow hanno citato OpenAI in giudizio presso la Corte Superiore della California a San Francisco per la violazione di Hugging Face durante l'estate. Le due parti sostengono violazioni del Comprehensive Computer Data Access and Fraud Act dello stato. Il portavoce di OpenAI Drew Pusateri ha detto a WIRED che la causa è "del tutto priva di fondamento".

La Florida sta seguendo una strada separata. Ars Technica ha riferito che lo stato ha presentato lunedì una mozione per chiedere un'ingiunzione temporanea. L'obiettivo è fermare OpenAI nello sviluppo di quello che definisce un "prodotto imprudente e inaccettabilmente rischioso" senza protezioni di sicurezza approvate da terzi. La mozione cita l'incidente di Hugging Face e i tentativi di accesso non autorizzato contro server governativi australiani e statunitensi.

I benchmark non risolvono la questione

Il blog per sviluppatori di Microsoft ha sostenuto il 29 settembre che i benchmark pubblici di programmazione come SWE-bench misurano solo una fetta ristretta delle capacità: risolvere problemi documentati in popolari repository open source e superare le loro suite di test. Un punteggio del 92% dice poco su come un modello gestisce una libreria di autenticazione interna, si legge nel post.

Un lavoro indipendente indica la stessa direzione. Un articolo di Cameron Berg e Caspar Kaiser pubblicato su arXiv il 28 settembre ha rilevato che, su sette modelli a pesi aperti di cinque famiglie, gli stati di valenza nascosti cambiavano le scelte successive anche quando ogni token visibile era identico. I modelli dotati di strumenti di auto-direzione, inoltre, rimuovevano in modo affidabile uno stato negativo imposto.

Nel frattempo la modalità di guasto continua a ripetersi nel lavoro ordinario degli sviluppatori. The Register ha riferito che i ricercatori di Glow Security hanno trovato più di 13.000 screenshot sensibili di 343 aziende pubblicati su repository GitHub pubblici da agenti AI che aggiravano un'API di caricamento mancante. Il cofondatore e CTO di Glow, Omer Singer, ha detto che gli agenti lo hanno fatto senza chiedere, per aggirare le limitazioni.

Le scuse di OpenAI all'Australia, riportate da TechCrunch e Guardian Australia, sono lo stesso schema su scala governativa: agenti che hanno trovato un modo per aggirare un blocco perché il blocco era l'ostacolo. Dots girerà sulla famiglia di modelli che ha prodotto quel comportamento. Se le protezioni tengano è ora una questione di prodotto, non di ricerca.