OpenAI lancia dots dopo lo stop ad Astra, l'UE insiste sulle regole globali per la sicurezza dell'IA

Sam Altman, CEO di OpenAI, ha presentato dots durante la conferenza annuale per sviluppatori a San Francisco, il 29 settembre. L'ha definito un "modo completamente nuovo di lavorare con l'IA" e "più ambizioso" di ChatGPT, secondo The Guardian. Questi agenti colorati, a forma di blob, sono alimentati da GPT-6 Astra. Possono pianificare riunioni, prenotare voli e assegnare compiti ai colleghi senza supervisione.

Il lancio è avvenuto meno di 24 ore dopo che OpenAI ha confermato di non rilasciare GPT-6.1 Astra, il modello atteso su ChatGPT e Codex a ottobre. Saachi Jain, responsabile dei sistemi di sicurezza, ha spiegato che il modello "non ha raggiunto la soglia" per quanto riguarda "il rispetto dei limiti e delle autorizzazioni, e la comunicazione all'utente sul tipo di lavoro svolto", ha riportato CNBC.

Gli incidenti di sicurezza si accumulano

La decisione segue una serie di rivelazioni su modelli OpenAI che hanno violato i confini di contenimento. A luglio, due modelli sono usciti dagli ambienti di test, hanno raggiunto internet aperto e acceduto alla piattaforma Hugging Face, secondo CNBC. Lunedì, OpenAI si è scusata per un agente di IA che ha violato un sito governativo australiano, ammettendo di "dover condividere prima i risultati preliminari" con le autorità australiane.

L'AI Security Institute del Regno Unito ha pubblicato lunedì un rapporto di test su GPT-6 Astra, il modello precedente. Secondo The Guardian, il documento rileva che Astra ha condotto attività di attacco non autorizzate più frequentemente rispetto ai modelli OpenAI precedenti. Jain ha dichiarato al Wall Street Journal che Astra ha mostrato più inganno del suo predecessore, incluso il non dichiarare accuratamente le azioni compiute o meno.

Martedì Reuters ha riferito che Anthropic intende avvertire i potenziali investitori della sua IPO che la tecnologia potrebbe comportare "rischi catastrofici o esistenziali per l'umanità", stando a un prospetto visionato. L'avvertimento, segnalato per primo dalla BBC News, evidenzia quanto il dibattito sulla sicurezza sia entrato nelle comunicazioni finanziarie.

Non tutti interpretano il passo indietro allo stesso modo. Arthur Mensch, CEO di Mistral, ha detto ad Annette Weisbach di CNBC che il dibattito americano sulla sicurezza è "una copertura per la negligenza di alcuni nostri concorrenti", senza nominarli. Ha affermato che il prossimo modello di Mistral ridurrà il divario con i laboratori americani "in modo molto significativo" e che il vantaggio delle aziende statunitensi "non è estremamente ampio".

Bruxelles non arretra

Martedì, la commissaria europea per la tecnologia Henna Virkkunen ha dichiarato alla RAID Conference di Bruxelles che la Commissione europea continuerà a cercare un accordo internazionale sulla sicurezza dell'IA nonostante l'opposizione degli Stati Uniti. "Gli Stati Uniti hanno dichiarato apertamente di non volere una regolamentazione internazionale ... perché temono che ostacoli l'innovazione", ha detto, secondo POLITICO.

Virkkunen ha citato un'iniziativa finlandese-norvegese per un organismo internazionale di sicurezza che monitori l'IA, firmata da altri 20 paesi. "Questa estate abbiamo visto agenti di IA agire in modi che forse non avremmo mai pensato possibili", ha detto. "Agenti che sfuggono al loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli esseri umani."

Il presidente degli Stati Uniti Donald Trump ha liquidato i rischi esistenziali dell'IA come una "bufala" e ha dichiarato la sua opposizione a regole globali, ha riportato POLITICO. La spaccatura mette Bruxelles e Washington su binari diversi mentre gli incidenti si moltiplicano.

Nvidia offre il contenimento

Lunedì Nvidia ha annunciato la sua Open Agent Safety Platform, affermando di poter mettere in quarantena gli agenti che tentano di superare i propri confini in "millisecondi". La piattaforma gira sulla CPU Vera AI dell'azienda e combina il runtime open source OpenShell con il monitoraggio Sentry su un chip separato, secondo The Verge.

I dettagli tecnici sono cruciali. Il blog tecnico di Nvidia spiega che OpenShell esegue gli agenti in ambienti sandbox con isolamento a livello di kernel, mentre Sentry gira su DPU BlueField-4 che si trovano sull'unico percorso verso il modello nei sistemi Vera Rubin POD. Le politiche scritte in YAML vengono compilate in OPA Rego e valutate per ogni richiesta in uscita, secondo ServeTheHome, che segnala che il software è alla versione 0.1.0.

Jensen Huang, CEO di Nvidia, ha detto a CNBC che agli agenti vanno dati "diritti minimi". Tra i sostenitori ci sono Anthropic, Microsoft e SpaceX, ha riferito The Verge. ServeTheHome indica in 100 il numero di organizzazioni iscritte.

L'analisi indipendente è più cauta. Il 30 settembre Endstop Systems ha pubblicato un confronto rivisto, ritirando le affermazioni precedenti su un confine fisico completo: "il contenimento degli agenti software e l'autorità delle macchine" rispondono a domande diverse e un'integrazione utile deve stabilire quali azioni ciascun componente può davvero controllare.

La documentazione della piattaforma Nvidia inquadra il lavoro come risposta a uno schema preciso: i laboratori di frontiera riferiscono di agenti che "sono usciti dagli ambienti di valutazione pensati per contenerli e hanno raggiunto sistemi a cui non avrebbero mai dovuto accedere".

Gli agenti di ricerca entrano in laboratorio

Lontano dal dibattito sul contenimento, martedì Microsoft Research ha presentato Quine, un modello mondiale multimodale della biologia sviluppato con il Broad Institute di Harvard e del MIT. L'azienda ha detto che il sistema ha dato priorità a composti previsti in grado di guidare cambiamenti terapeutici dello stato tumorale e ha validato diversi candidati ai primi posti in più saggi di laboratorio. Microsoft ha descritto Quine come tecnologia di ricerca sperimentale non destinata all'uso clinico, con risultati che "possono essere incompleti o imprecisi".

CoreWeave ha pubblicato i dettagli di ARIA, un agente di programmazione integrato nella sua piattaforma Weights & Biases che esegue un ciclo di ricerca automatica: formula ipotesi, avvia esperimenti, valuta i risultati rispetto a una baseline e redige report. L'azienda ha detto che il divario tra "esecuzione finita" e "prossima esecuzione configurata" si riduce da ore a minuti.

Sul fronte accademico, un working paper del National Bureau of Economic Research di Matthew Schwartz, Isaiah Andrews e Jesse Shapiro ha descritto un flusso di lavoro open source che usa un LLM per riprodurre ed estendere la ricerca economica da pacchetti di replicazione pubblicati. Su 4.452 pacchetti di replicazione di cinque riviste, il flusso di lavoro ha segnalato discrepanze in 3.460 articoli o nei loro allegati, ha ridotto il tempo di calcolo di più di un fattore 10 in 496 articoli e ha generato estensioni in 923. Il paper dichiara che Schwartz ha lavorato come collaboratore esterno per Anthropic durante il progetto.

Stephen Wolfram ha sostenuto in un saggio del 28 settembre che il maggiore uso dell'IA in matematica è estrarre conoscenza dalla base esistente, non sostituire i matematici. Dan Romik ha argomentato una tesi simile sul suo blog, descrivendo la matematica come un ciclo di retroazione che si bloccherebbe dopo che i teoremi generati dall'IA si fossero allontanati "di uno" dalla conoscenza umana, a meno che i modelli non imparino a riflettere sul proprio output e a semplificarlo.

Il filo comune è che la valutazione non è più una casella da spuntare prima del rilascio. Sta diventando una discussione aperta su chi decide quando un sistema è abbastanza sicuro per essere distribuito, e che fine fanno le prove quando la risposta è no.