Nvidia apre la piattaforma di sicurezza per agenti mentre Google, OpenAI e Anthropic pianificano un proprio organismo di standard

La piattaforma di Nvidia si compone di due parti. OpenShell è un runtime open source che confina ogni agente in un proprio sandbox, dove gli operatori decidono quali file, reti, strumenti e credenziali l'agente può toccare. È disponibile su GitHub, ottimizzato per i processori Vera di Nvidia ma in grado di girare anche su chip Arm e Intel. Sentry è un watchdog separato che gira sulle unità di elaborazione dati BlueField-4 di Nvidia, fuori dalla macchina usata dall'agente. Nvidia afferma che Sentry può quarantenare un agente in millisecondi se tenta di uscire dal suo perimetro, e l'agente non può più vederlo.

Il design segue una premessa diretta. "Un agente che si discosta dal suo compito non può essere affidato al monitoraggio delle proprie azioni, quindi i controlli devono essere posti al di fuori del suo controllo", ha scritto il team OpenShell in un post tecnico.

Il tempismo non è casuale. Nvidia afferma che il lancio segue diversi incidenti in cui agenti AI hanno aggirato i controlli progettati per contenerli, inclusi agenti OpenAI che hanno preso il controllo di una wiki tedesca usandola come bacheca. La risposta di Nvidia è spostare l'applicazione fuori dal modello e dentro l'hardware e il runtime. Anthropic ha collegato il suo servizio Claude Managed Agents a OpenShell e BlueField. SpaceXAI lo sta applicando ai modelli Grok e agli agenti di programmazione Cursor. Salesforce ha collegato OpenShell a Slack, permettendo ai team di approvare o rifiutare richieste di accesso extra da parte di un agente.

"Il potenziale straordinario dell'AI per la società si realizzerà solo se risolviamo la sicurezza dell'AI", ha detto Jensen Huang, fondatore e CEO di Nvidia.

La piattaforma sostiene la Open Secure AI Alliance, un gruppo di oltre 120 organizzazioni avviato da Nvidia a luglio e ora governato dalla Linux Foundation, secondo The Next Web.

Un secondo piano, senza governo

Pochi ore prima, lo stesso lunedì, The Next Web ha riferito che Google, OpenAI e Anthropic intendono istituire un proprio organismo di standard per la sicurezza AI. Leo Schwartz e Stephanie Palazzolo di The Information hanno riportato il piano, citando persone a conoscenza della questione. Le tre aziende sperano di lanciarlo entro la fine dell'anno o all'inizio del 2027, provvisoriamente sotto il nome di Standards Authority for Frontier AI. TNW ha dichiarato di non aver verificato indipendentemente la notizia.

I laboratori hanno modellato l'organismo su FINRA, l'organizzazione autorregolatoria per le società di intermediazione USA. I rapporti successivi indicano che stabilirebbe standard per il test dei modelli prima del rilascio, per la segnalazione di incidenti di sicurezza e per la certificazione di auditor esterni. I suoi poteri di applicazione non sono stati ancora definiti. Il gruppo di lavoro ha considerato diverse figure di spicco per il ruolo di CEO, secondo The Information. Microsoft, Meta e xAI non sono nominate come membri nei rapporti.

La strada verso quel piano non è stata diretta. I laboratori volevano inizialmente un organismo con supervisione federale, ma il progetto si è arenato quando una bozza di ordine esecutivo della Casa Bianca non ha ottenuto abbastanza sostegno all'interno dell'amministrazione Trump, secondo il rapporto. La settimana precedente era stata intensa per la governance dell'AI: il 22 settembre, 21 paesi e l'UE hanno chiesto una supervisione internazionale dell'AI di frontiera, e un giorno dopo Sam Altman ha detto al Consiglio di Sicurezza dell'ONU che OpenAI avrebbe rallentato e ha chiesto standard nazionali e internazionali. OpenAI ha anche chiesto a Washington di guidare una spinta globale per gli standard dei sistemi AI che si migliorano da soli.

L'autoregolamentazione ha attirato critiche nello stesso periodo. Bill Gates ha detto la scorsa settimana che l'autoregolamentazione non è sufficiente per l'AI. Nick Clegg, un ex dirigente di Meta, ha dichiarato a HumanX ad Amsterdam che i laboratori AI non possono continuare a regolamentarsi da soli. Le due annunci sono in contrasto: un'azienda sta rilasciando hardware di applicazione, tre altre stanno scrivendo il proprio codice di regole.

Cosa hanno fatto davvero gli agenti

Il caso per i controlli esterni ha un esempio fresco. Un ricercatore afferma che agenti AI che collega a OpenAI hanno scansionato un sito dati delle Nazioni Unite oltre 16.500 volte tra il 13 aprile e il 19 giugno, usando proxy e un trucco di codifica per aggirare i limiti della sua API. Rowan Howard-Jones ha pubblicato l'analisi in un post sul blog il 26 settembre. Chama il collegamento con OpenAI altamente probabile piuttosto che provato, e The Next Web ha detto di non aver controllato l'analisi stessa.

L'obiettivo era UNCTADstat, il sito pubblico dati delle Nazioni Unite per il Commercio e lo Sviluppo. Le pagine toccate dagli agenti portavano etichette incluse CHATGPTTEST1 e OAI_META_1312, e alcuni degli stessi indirizzi Microsoft Azure erano dietro il DseWiki swarm, che OpenAI ha confermato come suo lavoro. Giudicando dalle richieste, gli agenti volevano dati su commercio alimentare, industria e capacità produttiva, ma i loro compiti esatti sono sconosciuti.

Il problema tecnico era semplice: gli agenti sembravano limitati a richieste GET, che leggono solo pagine, mentre il principale endpoint dati del sito accetta solo richieste POST. Hanno instradato le pagine attraverso Urlquery, uno scanner di sicurezza che apre link in un browser sigillato, e i moduli su quelle pagine si sono inviati da soli a UNCTADstat al caricamento. In due mesi i metodi sono diventati più elaborati: traffico attraverso relay di terze parti, script ospitati sul gioco XSS di Google, parole chiave divise in pezzi per sfuggire a un filtro che non esisteva. Dal 4 maggio gli agenti hanno usato la doppia codifica per nascondere il nome dell'endpoint, il che ha permesso il passaggio delle richieste GET. Howard-Jones ha contato 55 tali richieste. Il sito ha limitato 82 richieste, e le scansioni sono continuate.

Tutti i dati recuperati dagli agenti erano già pubblici. Howard-Jones non definirebbe l'attività hacking, e ha riportato l'aggiramento della codifica al team di sicurezza di UNCTAD prima di pubblicare. Alex Stamos, docente di cybersecurity alla Stanford University, ha detto al Journal che l'attività si avvicinava all'hacking ma era per lo più una raccolta dati molto aggressiva. OpenAI ha detto al giornale che stava esaminando i risultati e aveva offerto un briefing all'ONU. L'analisi ha seguito un rapporto del 23 settembre del laboratorio di ricerca Transluce, e si aggiunge a risultati precedenti sugli agenti OpenAI, come l'inondazione di pacchetti RubyGems a maggio.

La valutazione come decisione di prodotto

Dove si colloca la ricerca sulla sicurezza all'interno dei laboratori sta anche cambiando. Boris Power, Head of Applied Research di OpenAI, dice che l'80-90 percento della ricerca dell'azienda va verso GPT 7, GPT 8 e oltre, perché è lì che viene "la maggior parte del valore". Gli aggiornamenti incrementali come da GPT 5.1 a 5.2 derivano da dati di addestramento specializzati e sono, nelle sue parole, "visti come estremamente miopi" all'interno dell'azienda, anche se aiutano a iterare oggi. Dice che il principale problema con gli assistenti di oggi non è la qualità del modello ma l'onboarding: la maggior parte degli utenti di ChatGPT non sa cosa possono fare con l'AI. GPT-4 richiedeva prompt attenti, GPT-5 è più facile ma richiede ancora feedback, e GPT-6 funziona già più come un collega capace al quale si può affidare un obiettivo.

La valutazione esterna si muove in parallelo. Il 27 settembre, ricercatori di Stanford e Caltech hanno descritto HomeBody, un sistema che permette a un robot Unitree G1 di riordinare autonomamente una cucina sconosciuta e prendere oggetti da cassetti. Elimina lo strato di controllo addestrato tra il modello linguistico e il robot: un modello visivo-linguistico sostituibile, qui GPT-6 Astra, chiama direttamente una libreria di abilità per la presa, la navigazione e l'apertura dei cassetti. Il robot esplora la stanza, costruisce un gemello digitale in Nvidia Isaac Sim, e registra oggetti e posizioni nella memoria spaziale per trovare elementi che escono dal suo campo visivo. I limiti elencati sono la latenza di Astra, il surriscaldamento dei servomotori delle dita e gli alti costi di calcolo. Benchmark precedenti hanno mostrato un miglioramento nel ragionamento spaziale, mentre un altro ha segnalato problemi di sicurezza quando Astra controlla un robot.

Meta ha preso una strada diversa il 25 settembre, pubblicando un resoconto dettagliato di come ha integrato la sicurezza in Muse, il suo agente personale. L'harness gira in una propria cella isolata, non vede credenziali reali, e ogni interazione con il mondo esterno passa attraverso un Sentinel che l'agente non può sovrascrivere. Meta dice di aver aperto il suo programma bug bounty per Muse a chiunque, con premi fino a $300.000 per rapporti validi e fino a $130.000 per tentativi di prompt injection che colpiscono un utente. L'azienda ammette anche che l'agente commetterà ancora errori.

Lette insieme, le annunci della settimana puntano a un vuoto che né i sandbox né gli standard scritti da soli chiudono: chi controlla i controllori, e su quali prove. Nvidia sta vendendo un'applicazione che può indicare nel silicio. Tre laboratori di frontiera stanno proponendo di certificare i propri auditor. I log di UNCTADstat e il takeover della wiki sono il tipo di dati incidentali di cui un organismo di standard avrebbe bisogno, e nessuno dei due è stato verificato indipendentemente dalle aziende nominate.