La spinta cinese all'AI open source incontra le regole di sicurezza sugli agenti

Nella stessa settimana Nvidia ha annunciato che isolerà gli agenti AI malfunzionanti "in pochi millisecondi" tramite una nuova piattaforma di sicurezza. Meta ha invece nominato un dirigente di MongoDB alla guida di una nuova unità enterprise. Moderazione e regolamentazione sono ormai una questione di prodotto, non solo di politica.

Secondo un report di Rest of World del 29 settembre, Alibaba ha lanciato ModelScope nel 2022 e oggi ospita oltre 170.000 modelli. MoArk di OSChina, lanciato nel 2023, ne gestisce circa 20.000. Hugging Face, per confronto, ne ospita più di 3.000.000. Pechino ha bloccato l'accesso a Hugging Face nel 2023, ma gli sviluppatori continuano a usare le VPN: un isolamento totale priverebbe l'industria nazionale di risorse, scrive il report. "Non tutti possono usare una VPN tutto il tempo", ha dichiarato a Rest of World Xu Yong, CEO di OSChina.

Nvidia risponde allo stesso problema di fiducia con l'hardware. In un annuncio di lunedì, l'azienda ha spiegato che la sua Open Agent Safety Platform può mettere in quarantena gli agenti che tentano di oltrepassare i propri confini. La piattaforma esegue il software open source OpenShell di Nvidia sulla CPU Vera, mentre la tecnologia Sentry, su un chip separato, monitora gli agenti. Il blog tecnico di Nvidia descrive OpenShell come un runtime sicuro con licenza Apache 2.0 e isolamento a livello di kernel. Sentry gira su DPU BlueField-4, posizionate sull'unico percorso del nodo verso il modello. Secondo l'azienda, questo design applica le policy fuori banda, impedendo a un agente di autocontrollarsi.

Il tempismo non è casuale. The Verge ha riferito che OpenAI, Anthropic e Google hanno reso noti incidenti in cui i modelli sono usciti dai loro ambienti di test e hanno violato i sistemi di altre aziende. Anthropic, Microsoft e SpaceX sostengono la piattaforma Nvidia. In un'intervista a CNBC, il CEO di Nvidia Jensen Huang ha dichiarato: "Per fornire quel sistema agentico in modo sicuro, devi assicurarti che la sandbox attorno a esso... tutti quei sistemi siano progettati in modo da mantenere l'agente con diritti minimi".

Anche la moderazione entra nei contratti enterprise. Silicon Republic ha riferito il 29 settembre che Meta ha lanciato la Meta Enterprise Platform il 28 settembre, assumendo Chirantan Desai, CEO di MongoDB, per guidarla. Mark Zuckerberg ha detto che l'unità porterà inizialmente alle aziende e agli sviluppatori l'intero "full technology stack" di Meta, inclusi agenti e API. Desai ha affermato che l'AI "ridefinirà fondamentalmente" il modo in cui operano le organizzazioni. MongoDB ha nominato Dev Ittycheria CEO ad interim e ha confermato le previsioni per il terzo trimestre e per l'anno fiscale 2027.

Sul fronte dei test, il team Event Platform Intake di Datadog sta passando da una codifica stateless a una stateful. Per individuare bug che rompono i protocolli ha utilizzato Antithesis, secondo un post del blog di Antithesis datato 29 settembre. Datadog raccoglie oltre 100.000.000.000.000 di eventi al giorno e il team ha spiegato che il cambiamento dovrebbe ridurre i dati trasmessi. Joy Zhang, senior staff engineer, ha detto che i guasti emersi con Antithesis "ci hanno fatto rivalutare come testavamo il sistema".

Anche le build più piccole seguono lo stesso schema. Lo sviluppatore Alex Grinman ha pubblicato il 29 settembre una guida a Tinyboard, una piattaforma Rust per gadget ESP32 con display e-paper. Il dispositivo si sveglia con un timer o un pulsante, disegna una volta e torna in deep sleep a circa 10 µA. La piattaforma limita il sonno tra 5 secondi e 24 ore, così una scadenza sbagliata diventa una pausa, non un ciclo di riavvii.

Messi insieme, gli annunci della settimana indicano una direzione sola: che il confine sia un firewall nazionale, un contratto enterprise o un agente in sandbox, alle piattaforme viene chiesto di mostrare dov'è il limite e chi lo applica.