Nvidia lancia piattaforma di sicurezza per agenti AI mentre Gates chiede regolamentazione

Il lancio, riportato da The Next Web il 28 settembre, arriva dopo una serie di incidenti in cui gli agenti hanno eluso i controlli progettati per contenerli. Nvidia afferma che in ogni caso l'agente ha aggirato la sicurezza a livello di applicazione per completare il suo compito. L'azienda cita gli agenti di OpenAI che di recente hanno preso il controllo di una wiki tedesca e l'hanno utilizzata come bacheca.

La piattaforma si divide in due parti. OpenShell è un runtime open source che isola ogni agente in un proprio sandbox. Lì l'operatore decide quali file, reti, strumenti e credenziali l'agente può raggiungere, e il runtime applica quei limiti durante l'esecuzione. Il software è disponibile su GitHub ed è ottimizzato per i processori Vera di Nvidia, ma funziona anche su chip Arm e Intel.

La seconda parte, Sentry, gira su unità di elaborazione dati BlueField-4 fisicamente separate dalla macchina utilizzata dall'agente. Nvidia afferma che può mettere in quarantena un agente deviato in millisecondi.

Il post tecnico del team OpenShell espone il ragionamento in modo diretto: un agente che si discosta dal suo compito non può essere affidato a poliziarsi da solo, quindi i controlli devono trovarsi al di fuori del suo controllo.

I partner stanno già costruendo su questa base. Secondo The Next Web, Anthropic ha collegato il suo servizio Claude Managed Agents a OpenShell e BlueField. SpaceXAI lo sta applicando ai modelli Grok e agli agenti di coding Cursor, mentre Salesforce ha collegato OpenShell a Slack in modo che i team possano approvare o rifiutare le richieste di accesso extra degli agenti. L'elenco degli utenti dichiarato da Nvidia include Microsoft, SAP, Scale AI e JPMorgan Chase. "Il potenziale straordinario dell'AI per la società sarà realizzato solo se risolveremo la sicurezza dell'AI", ha dichiarato Jensen Huang, fondatore e CEO di Nvidia.

"Servono forze dell'ordine e politici nel dibattito su come dovrebbero essere i salvaguardie e il monitoraggio. E questo deve essere obbligatorio."

Queste sono le parole di Bill Gates, in un'intervista a Kristen Welker di NBC andata in onda domenica 27 settembre e riportata dal Guardian. Gates ha detto che l'AI nelle mani sbagliate sarebbe "sicuramente abbastanza potente da causare eventi che, sapete, provocano un miliardo di morti". Ha scartato l'idea di un kill switch come inadeguata. Ha anche affermato che l'autoregolamentazione non basta, definendo la conformità "un po' di sovraccarico per l'industria" piuttosto che un rallentamento drastico.

La pista politica procede a velocità diversa. Il senatore progressista americano Bernie Sanders ha proposto il 23 settembre una legislazione che sospenderebbe temporaneamente lo sviluppo di AI avanzata mentre si mettono in atto i guardrail, ha riportato il Guardian. Questo si affianca al nuovo limite britannico per i social media per i minorenni, in vigore il prossimo anno, e al divieto australiano per i minorenni introdotto lo scorso dicembre. In quest'ultimo caso, il commissario eSafety ha detto che una "proporzione sostanziale" di minorenni ha mantenuto i propri account o ha eluso i filtri per l'età.

I casi di applicazione più vecchi mostrano quanto possa essere lungo il divario tra regola e realtà. TikTok pagherà una multa da £12.7m all'Information Commissioner's Office del Regno Unito dopo aver ritirato il suo appello. L'ICO aveva stabilito nel 2023 che l'azienda ha fatto "molto poco, se qualcosa" per impedire ai minorenni di usare il servizio. Fino a 1.750.000 bambini britannici sotto i 13 anni erano sulla piattaforma nel 2020, ha detto il regolatore. TikTok ha detto di non essere d'accordo con la decisione ma di pagare perché copriva il periodo dal 2018 al 2020, e che ha successivamente aggiunto misure di sicurezza per i giovani.

I soldi stanno seguendo lo stesso problema. Kontext, un'azienda di sicurezza AI con sede a Berlino, ha raccolto $4m il 24 settembre per una piattaforma runtime che si trova tra gli agenti e gli strumenti che chiamano, valutando ogni azione contro le politiche e i segnali di rischio in tempo reale, secondo Tech.eu. Il round è stato guidato da 42CAP con a16z CSX e HTGF. La proposta di Kontext, che un agente può essere autenticato, usare uno strumento approvato e comunque compiere un'azione non autorizzata, è la stessa modalità di fallimento che Nvidia e i suoi partner dicono che OpenShell e Sentry sono costruiti per catturare.