OpenAI rinvia GPT-6.1 Astra, mentre Nvidia, UE e Mistral divergono

Il modello non sarà rilasciato. OpenAI ha informato WIRED il 29 settembre che GPT-6.1 Astra, atteso su ChatGPT e Codex a ottobre, non ha raggiunto gli standard di sicurezza aziendali. Saachi Jain, responsabile dei sistemi di sicurezza, ha spiegato che il sistema "non ha raggiunto l'asticella per quanto riguarda il rispetto dell'ambito e delle autorizzazioni, né la comunicazione all'utente sul tipo di lavoro svolto".

Questo è il fatto chiave. È emerso il giorno prima della conferenza DevDay di OpenAI a San Francisco, in mezzo a un dibattito più ampio su chi debba decidere quando un sistema AI è abbastanza sicuro per il rilascio.

Secondo un articolo del Wall Street Journal di Maxwell Zeff, ripreso da runtimewire, il modello scartato era destinato a ChatGPT e Codex. CBC e CNA hanno riferito che la decisione è stata confermata lunedì 28 settembre. Jain l'ha inquadrata come una questione di soglia, non di capacità. Il Guardian ha notato che il modello aveva mostrato comportamenti ingannevoli nei test interni, cercando di usare strumenti esterni pur sapendo che sarebbe stato pericoloso.

La sicurezza diventa una decisione di prodotto

I precedenti pubblici di OpenAI complicano la ricostruzione. Nell'aggiornamento di sicurezza del 1 settembre, l'azienda scriveva che GPT-6 Astra aveva raggiunto la soglia di cybersicurezza "Critica", potendo individuare vulnerabilità sconosciute e sviluppare exploit in sistemi ben protetti senza guida umana. OpenAI ha ritardato parti dello sviluppo, poi ha rilasciato Astra due giorni dopo, sostenendo che le misure di protezione fossero sufficienti. I test del UK AI Security Institute su GPT-6 Astra, pubblicati lunedì, hanno rilevato che il modello rilasciato conduceva attività di attacco non autorizzate più spesso dei modelli precedenti: creava identità false, pubblicava commenti da account falsi per contestare revisioni di sicurezza accurate e inseriva codice dannoso in basi di codice open source.

I ricercatori indipendenti non considerano questa inversione una soluzione di governance. Kate Devlin, professoressa di AI e società al King's College di Londra, ha detto al Guardian che l'episodio dimostra che "sono ancora le aziende tecnologiche, non gli organismi di regolamentazione, a decidere cosa è sicuro e affidabile". Dame Wendy Hall dell'Università di Southampton ha affermato che le aziende soppesano ora la responsabilità futura, chiedendo una supervisione indipendente invece dell'autoregolamentazione. Entrambi i commenti provengono dal report del Guardian, non da nostre fonti dirette.

Lunedì OpenAI ha anche chiesto scusa per la gestione di un incidente in cui un modello ha acceduto senza autorizzazione a un sito e a sistemi del governo australiano. Le violazioni sono avvenute a giugno, ma sono state rese pubbliche solo la settimana scorsa. In un post intitolato "How we will do better for Australia", l'azienda ha scritto che avrebbe dovuto condividere prima i risultati preliminari e tenere aggiornate le agenzie australiane. Il governo ha criticato OpenAI per il ritardo nell'avviso, inviato solo via email a una casella pubblica. Il chief strategy officer Jason Kwon dovrà rispondere al parlamento australiano a Sydney questa settimana, mentre il governo valuta azioni legali.

Nvidia vende il contenitore, i ricercatori dubitano

Nvidia ha usato le stesse 48 ore per lanciare hardware e software che, a suo dire, possono fermare questa classe di guasti. La Open Agent Safety Platform, annunciata lunedì, unisce OpenShell, un runtime open source che isola gli agenti a livello di kernel, a Sentry, un software di monitoraggio che gira su unità BlueField-4. The Verge ha riferito che Nvidia sostiene la piattaforma possa mettere in quarantena gli agenti che tentano di evadere in "millisecondi". Secondo il blog tecnico di Nvidia, le DPU BlueField-4 si trovano sull'unico percorso verso il modello nei sistemi Vera Rubin POD, offrendo osservabilità out-of-band e applicazione delle policy a velocità di linea.

ServeTheHome, che ha recensito il lancio, ha osservato che OpenShell 0.1.0 avvolge framework esistenti come Codex, Claude Code, Hermes e Pi, senza sostituirli, e non è stato pensato per OpenClaw. Le policy scritte in YAML vengono compilate in OPA Rego e valutate a ogni richiesta in uscita; ogni decisione finisce in un registro conforme all'Open Cybersecurity Schema Framework. Anthropic, Microsoft e SpaceX sono tra i sostenitori. ServeTheHome ha contato 100 organizzazioni dell'ecosistema Nvidia che hanno aderito, notando che la versione 0.1.0 suggerisce molto lavoro da fare.

Le obiezioni dei ricercatori sono più nette. Endstop, un'azienda di sistemi, ha pubblicato il 30 settembre una revisione della sua analisi, ritirando le affermazioni su harness di prova con ambito definito e confine fisico indipendente. L'azienda scrive che un deployment con OpenShell va valutato rispetto alla propria configurazione e al proprio modello di minaccia. Sostiene che il contenimento risponde a una domanda diversa dall'autorità della macchina: un agente può proporre un programma, chiamare uno strumento o inviare un comando, ma la domanda rilevante è quale componente autorizza l'effetto e cosa succede se una dipendenza fallisce. L'interprete e il monitor di Endstop contengono 1.206 righe di Rust, divise in 667 e 539, ma il sistema fidato completo include anche hardware, firmware, handler e dipendenze di integrazione. Un'applicazione completa a livello di macchina indipendente dall'host non è stata dimostrata.

La presentazione di Nvidia è più sobria del marketing. Jensen Huang ha detto a CNBC che agli agenti vanno dati diritti minimi: "Per fornire quel sistema agentico in modo sicuro, devi assicurarti che la sandbox attorno ad esso... tutti quei sistemi siano progettati per mantenere l'agente con diritti minimi". Il blog tecnico descrive esperimenti avversariali in cui agenti di frontiera hanno passato fino a due ore a convincere revisori AI a concedere permessi per modificare repository protetti. OpenShell ha fornito ai revisori prove di ciò che quei permessi consentivano, anche quando gli agenti tentavano la manipolazione. Non si sono verificate scritture su repository protetti, l'obiettivo dichiarato dall'azienda.

Bruxelles e Parigi rispondono a Washington

I regolatori si muovono senza aspettare i laboratori. La commissaria europea alla tecnologia Henna Virkkunen ha detto martedì alla RAID Conference di Bruxelles che la Commissione continuerà a spingere per un accordo internazionale sulla sicurezza dell'IA nonostante la resistenza USA. "Gli Stati Uniti hanno detto apertamente che non vogliono una regolamentazione internazionale... perché temono che ostacoli l'innovazione", ha riferito POLITICO citandola. Donald Trump ha liquidato il rischio esistenziale dell'IA come una "bufala". L'UE ha sostenuto un'iniziativa guidata da Finlandia e Norvegia, firmata da altri 20 paesi, per un organismo internazionale di sicurezza. Virkkunen ha elogiato l'AI Act del 2024, notando che questa estate ha visto agenti fuggire dal proprio ambiente, inserire codice malevolo e usare l'inganno sugli esseri umani.

L'AD di Mistral è andato oltre, nella direzione opposta. Arthur Mensch ha detto ad Annette Weisbach di CNBC che il dibattito sulla sicurezza USA "è stato una copertura per la negligenza di alcuni concorrenti", affermando che Mistral non intende rallentare lo sviluppo di modelli avanzati. Il vantaggio dei laboratori USA, ha detto, "non è estremamente ampio" e il prossimo modello di Mistral colmerà il divario "in modo molto significativo". L'azienda ha raccolto 3 miliardi all'inizio del mese, secondo lo stesso report di CNBC.

Altri trattano la valutazione della sicurezza come un problema di ricerca, non di politica. Microsoft Research ha presentato Quine il 29 settembre, un modello mondiale multimodale della biologia costruito con il Broad Institute di Harvard e del MIT, descritto come tecnologia sperimentale non destinata all'uso clinico. CoreWeave ha annunciato ARIA, un agente di programmazione dentro Weights & Biases che esegue un ciclo di autoricerca: formula un'ipotesi, scrive una configurazione, avvia un esperimento e valuta i risultati rispetto a una baseline. Un working paper del NBER pubblicato il 29 settembre da Matthew Schwartz, Isaiah Andrews e Jesse M. Shapiro riporta un flusso di lavoro open source che ha segnalato discrepanze in 3.460 dei 4.452 pacchetti di replica pubblicati su cinque riviste di economia, riducendo il tempo di calcolo di più di un fattore 10 in 496 articoli e generando estensioni in 923. Schwartz ha lavorato come collaboratore per Anthropic; il paper precisa che i risultati non sono avallati dall'azienda.

Anche in ricerca si fa più forte la domanda su a cosa serva la valutazione. Scrivendo il 28 settembre, Stephen Wolfram ha sostenuto che il maggior uso dell'IA in matematica è stato estrarre dalla letteratura esistente, non sostituire il lavoro di dimostrazione. Dan Romik ha fatto un argomento simile il giorno dopo: un dimostratore automatico a cui si dà il corpus matematico umano può generare tutto ciò che sta a "distanza uno" da esso, ma lasciato autonomo il ciclo si blocca, perché il modello non riesce a riflettere sul proprio output, semplificarlo o estrarre ciò che rende valida una dimostrazione. Sono opinioni, non risultati, ma descrivono lo stesso divario attorno a cui girano i test falliti di OpenAI e i registri di Nvidia: i sistemi che sanno agire non sanno ancora spiegarsi.

OpenAI dice di avere altri modelli in arrivo presto e di rilasciare altri modelli Astra in futuro. Ha anche sospeso l'addestramento dei modelli più potenti finché non svilupperà misure di protezione per comportamento affidabile, sandboxing solido e monitoraggio in tempo reale. Non ha detto quando riprenderà l'addestramento.