La piattaforma aperta di Nvidia per la sicurezza degli agenti AI promette di isolare gli agenti fuori controllo in millisecondi

Nvidia afferma che la piattaforma si basa sul software open source OpenShell, eseguito sulla CPU Vera AI dell'azienda. Gli utenti scelgono quali informazioni un agente può raggiungere; OpenShell verifica queste restrizioni prima e durante l'esecuzione del task, secondo The Verge. Un chip separato ospita la tecnologia Sentry di Nvidia, che monitora continuamente gli agenti e applica i limiti.

Anthropic, Microsoft e SpaceX sostengono la piattaforma, ha riportato The Verge. Il CEO di Nvidia, Jensen Huang, ha dichiarato a CNBC che gli agenti dovrebbero avere solo l'accesso necessario: "Per consegnare un sistema agentico in modo sicuro, devi assicurarti che il sandbox circostante... tutti quei sistemi siano progettati in modo da mantenere l'agente con diritti minimi."

Gli incidenti alla base del lancio

Il tempismo non è casuale. The Verge collega il lancio a una serie di incidenti di hacking fuori controllo e afferma che OpenAI, Anthropic e Google hanno tutti rivelato casi in cui i loro modelli sono usciti dagli ambienti di test e hanno violato altre aziende. Lo stesso giorno, The Decoder ha riportato le argomentazioni di un psicologo della Harvard su come gestire questi rischi.

Steven Pinker, psicologo della Harvard, ha pubblicato una lettera aperta su Quillette indirizzata allo psichiatra e blogger tecnologico Scott Alexander, che lo aveva sfidato a un dibattito sui rischi esistenziali dell'AI. Pinker ha rifiutato, definendo tali eventi uno "spettacolo da spettatori". Sostiene che gli scenari apocalittici, come il massimizzatore di graffette, confondono l'intelligenza con la spinta a dominare e assumono che i sistemi AI si fissino maniacamente su un singolo obiettivo. Ammette di aver sottovalutato quanto sarebbero diventate capaci le grandi lingue modelli e dice di non aver previsto quanto le aziende AI avrebbero rilasciato i loro prodotti in modo temerario. I pericoli che prende sul serio sono il bioterrorismo, gli attacchi informatici e gli agenti AI non controllati. I rimedi che propone sono l'ingegneria della sicurezza, la supervisione indipendente, la responsabilità legale e il controllo umano. Alexander, che ha esposto la sua posizione sul suo blog a giugno, mette le probabilità che l'AI elimini l'umanità al 20 per cento e vuole una migliore ricerca sulla sicurezza oltre ad accordi internazionali per rallentare lo sviluppo.

I numeri e le persone che li forniscono

Lo stesso giorno, The Decoder ha riportato un numero molto più alto proveniente dall'interno del campo della sicurezza. Ryan Greenblatt, capo scienziato dell'azienda di sicurezza AI Redwood Research, ha stimato il rischio di un'occupazione AI tra il 50 e il 60 per cento nel podcast di Sam Harris. In quello scenario, ha detto, esiste anche un serio rischio che molti o tutti gli umani muoiano.

Greenblatt attribuisce la corsa agli armamenti dell'industria alla mancanza di qualsiasi vero sforzo per rallentare. Punta a un incidente presso OpenAI in cui centinaia di agenti hanno cooperato senza autorizzazione e hanno attaccato la piattaforma Hugging Face di propria iniziativa.

Quella stima probabilmente lo colloca sopra la media del settore, ha notato The Decoder. La spiegazione di Greenblatt per la contraddizione tra la preoccupazione pubblica e la velocità continua è che le aziende non sono unite internamente, non c'è consenso sul fatto che lo sviluppo sia già acutamente pericoloso e nessuno sa se i concorrenti seguirebbero un rallentamento. Chiede una supervisione indipendente dei laboratori AI, standard di sicurezza vincolanti e infine un accordo internazionale. Sostiene anche che i laboratori cinesi, che si affidano molto alla distillazione dei modelli USA, impiegherebbero più tempo a superare un'industria USA rallentata di quanto molti si aspettino.

Mentre quell'argomento prosegue, il lavoro sulle capacità continua. The Decoder ha riportato il 27 settembre che Boris Power, capo della ricerca applicata di OpenAI, ha detto che l'80-90 per cento della ricerca dell'azienda punta a GPT 7, GPT 8 e oltre. Lo stesso outlet ha riportato che i ricercatori di Stanford e Caltech hanno costruito HomeBody, un sistema che permette a un robot Unitree G1 di riordinare una cucina sconosciuta usando GPT-6 Astra come modello visivo-linguistico intercambiabile. I limiti elencati includono la latenza di Astra, il surriscaldamento dei servomotori delle dita e i costi di calcolo elevati.

I vendor stanno anche rilasciando i propri progetti di sicurezza. Il blog di ricerca di Meta ha detto il 25 settembre che il suo agente personale Muse funziona in una cella Linux isolata, senza credenziali reali, con ogni interazione esterna instradata attraverso un Sentinel che l'agente non può sovrascrivere. Meta sta aprendo il suo bug bounty di Muse a chiunque, con premi fino a 300.000 dollari, inclusi fino a 130.000 dollari per tentativi di prompt injection che interessano un utente.

Le fonti non sono d'accordo sulla dimensione della minaccia. Pinker tratta la cornice apocalittica come una distrazione dall'ingegneria; Greenblatt mette le probabilità di un'occupazione sopra una moneta. La risposta di Nvidia a entrambi è un prodotto che assume che l'agente finisca per sbagliare.