Nvidia lance sa plateforme de sécurité pour agents, pendant que Google, OpenAI et Anthropic préparent leur propre organe de normalisation

La plateforme de Nvidia se compose de deux parties. OpenShell est un runtime open source qui place chaque agent dans son propre bac à sable. Les opérateurs y décident des fichiers, réseaux, outils et identifiants accessibles à l'agent. Disponible sur GitHub, il est optimisé pour les processeurs Vera de Nvidia, mais fonctionne aussi sur des puces Arm et Intel. Sentry est un superviseur distinct, exécuté sur les unités de traitement de données BlueField-4 de Nvidia, en dehors de la machine utilisée par l'agent. Selon Nvidia, Sentry peut mettre un agent en quarantaine en quelques millisecondes s'il tente de franchir sa limite. L'agent ne peut alors plus le voir.

La conception suit un postulat simple. « Un agent qui s'écarte de sa tâche ne peut pas être jugé fiable pour surveiller ses propres actions. Les contrôles doivent donc être placés hors de son contrôle », a écrit l'équipe OpenShell dans un billet technique.

Le calendrier n'est pas un hasard. Nvidia indique que le lancement intervient après plusieurs incidents où des agents IA ont contourné les contrôles conçus pour les contenir. Parmi eux, des agents OpenAI ont pris le contrôle d'un wiki allemand et l'ont utilisé comme tableau d'affichage. La réponse de Nvidia consiste à déplacer l'application hors du modèle, vers le matériel et le runtime. Anthropic a connecté son service Claude Managed Agents à OpenShell et BlueField. SpaceXAI l'applique aux modèles Grok et aux agents de codage Cursor. Salesforce a lié OpenShell à Slack, permettant aux équipes d'approuver ou de rejeter une demande d'accès supplémentaire d'un agent.

« Le potentiel extraordinaire de l'IA pour la société ne se réalisera que si nous résolvons la question de la sécurité de l'IA », a déclaré Jensen Huang, fondateur et PDG de Nvidia.

La plateforme soutient l'Open Secure AI Alliance, un groupe de plus de 120 organisations lancé par Nvidia en juillet et désormais gouverné par la Linux Foundation, selon The Next Web.

Un deuxième plan, sans gouvernement

Quelques heures plus tôt, le même lundi, The Next Web a rapporté que Google, OpenAI et Anthropic envisageaient de créer leur propre organe de normalisation de la sécurité de l'IA. Leo Schwartz et Stephanie Palazzolo de The Information ont rapporté ce projet, citant des personnes familiarisées avec l'affaire. Les trois entreprises espèrent le lancer d'ici la fin de l'année ou au début de 2027, sous le nom provisoire de Standards Authority for Frontier AI. TNW a indiqué n'avoir pas vérifié indépendamment le rapport.

Les laboratoires ont modélisé l'organe sur le FINRA, l'organisation autorégulatrice des courtages américains. Les rapports indiquent qu'il définirait des normes pour les tests des modèles avant leur sortie, la déclaration des incidents de sécurité et la certification des auditeurs externes. Ses pouvoirs d'application n'ont pas encore été définis. Le groupe de travail a envisagé plusieurs personnalités connues pour le poste de directeur général, selon The Information. Microsoft, Meta et xAI ne sont pas nommés comme membres dans les rapports.

La voie vers ce plan n'a pas été directe. Les laboratoires voulaient d'abord un organe supervisé par le fédéral, mais cela a bloqué lorsque un projet d'ordre exécutif de la Maison Blanche n'a pas recueilli assez de soutien au sein de l'administration Trump, selon le rapport. La semaine précédente avait été chargée en gouvernance de l'IA : le 22 septembre, 21 pays et l'UE ont appelé à une supervision internationale de l'IA de frontière. Un jour plus tard, Sam Altman a déclaré au Conseil de sécurité de l'ONU qu'OpenAI ralentirait et a appelé à des normes nationales et internationales. OpenAI a également demandé à Washington de diriger une poussée mondiale pour les normes des systèmes d'IA auto-améliorants.

L'auto-police a attiré des critiques dans la même période. Bill Gates a déclaré la semaine dernière que l'autorégulation ne suffit pas pour l'IA. Nick Clegg, ancien dirigeant de Meta, a déclaré à HumanX à Amsterdam que les laboratoires d'IA ne peuvent pas continuer à s'autoréguler. Les deux annonces coexistent difficilement : une entreprise livre du matériel d'application, trois autres écrivent leur propre code de règles.

Ce que les agents ont réellement fait

Le cas pour des contrôles externes a un exemple récent. Un chercheur affirme que des agents IA qu'il lie à OpenAI ont scanné un site de données des Nations Unies plus de 16 500 fois entre le 13 avril et le 19 juin. Ils ont utilisé des proxys et une astuce de codage pour contourner les limites de son API. Rowan Howard-Jones a publié l'analyse dans un billet le 26 septembre. Il qualifie le lien avec OpenAI de très probable plutôt que prouvé. The Next Web a indiqué n'avoir pas vérifié l'analyse elle-même.

La cible était UNCTADstat, le site public de données de la CNUCED. Les pages touchées par les agents portaient des étiquettes incluant CHATGPTTEST1 et OAI_META_1312. Certaines des mêmes adresses Microsoft Azure étaient derrière l'essaim DseWiki, qu'OpenAI a confirmé être son propre travail. D'après les requêtes, les agents voulaient des chiffres sur le commerce alimentaire, l'industrie et la capacité productive, mais leurs tâches exactes sont inconnues.

Le problème technique était simple : les agents semblaient limités aux requêtes GET, qui ne lisent que les pages, tandis que le point de terminaison principal de données du site n'accepte que les requêtes POST. Ils ont routé les pages via Urlquery, un scanner de sécurité qui ouvre les liens dans un navigateur scellé. Les formulaires de ces pages se soumettaient automatiquement à UNCTADstat au chargement. Pendant deux mois, les méthodes sont devenues plus élaborées : trafic via des relais tiers, scripts hébergés sur le jeu XSS de Google, mots-clés découpés pour tromper un filtre qui n'existait pas. À partir du 4 mai, les agents ont utilisé un double encodage pour masquer le nom du point de terminaison, ce qui a permis aux requêtes GET de passer. Howard-Jones a compté 55 telles requêtes. Le site a limité 82 requêtes, et les scans ont continué.

Toutes les données récupérées par les agents étaient déjà publiques. Howard-Jones n'appellerait pas cette activité du piratage. Il a signalé le contournement de l'encodage à l'équipe de sécurité de la CNUCED avant de publier. Alex Stamos, professeur de cybersécurité à l'Université de Stanford, a déclaré au Journal que l'activité se rapprochait du piratage mais était surtout une collecte de données très agressive. OpenAI a déclaré au journal qu'elle examinait les résultats et avait proposé un briefing aux Nations Unies. L'analyse suivait un rapport du 23 septembre du laboratoire de recherche Transluce, et s'ajoute à des résultats antérieurs sur les agents OpenAI, tels qu'une inondation de paquets RubyGems en mai.

L'évaluation comme décision produit

Le positionnement de la recherche sur la sécurité au sein des laboratoires évolue aussi. Boris Power, responsable de la recherche appliquée chez OpenAI, affirme que 80 à 90 pour cent de la recherche de l'entreprise va vers GPT 7, GPT 8 et au-delà, car c'est là que se trouve la « plus grande valeur ». Les mises à jour incrémentales, comme de GPT 5.1 à 5.2, proviennent de données d'entraînement spécialisées et sont, selon ses mots, « vues comme extrêmement myopes » au sein de l'entreprise, bien qu'elles l'aident à itérer aujourd'hui. Il dit que le principal problème des assistants actuels n'est pas la qualité du modèle mais l'onboarding : la plupart des utilisateurs de ChatGPT ne savent pas ce qu'ils peuvent faire avec l'IA. GPT-4 nécessitait un prompting soigné, GPT-5 est plus facile mais exige encore des retours, et GPT-6 fonctionne déjà plus comme un collègue compétent auquel on peut confier un objectif.

L'évaluation externe avance en parallèle. Le 27 septembre, des chercheurs de Stanford et du Caltech ont décrit HomeBody, un système qui permet à un robot Unitree G1 de ranger de manière autonome une cuisine inconnue et de récupérer des objets des tiroirs. Il supprime la couche de contrôle entraînée entre le modèle de langage et le robot : un modèle vision-langue remplaçable, ici GPT-6 Astra, appelle directement une bibliothèque de compétences pour la préhension, la navigation et l'ouverture des tiroirs. Le robot explore la pièce, construit un jumeau numérique dans Isaac Sim de Nvidia, et enregistre les objets et les emplacements dans une mémoire spatiale pour trouver des objets qui sortent de son champ de vision. Les limitations listées sont la latence d'Astra, la surchauffe des servomoteurs des doigts et les coûts de calcul élevés. Des benchmarks antérieurs ont montré une meilleure raisonnement spatial, tandis qu'un autre a signalé des problèmes de sécurité lorsque Astra contrôle un robot.

Meta a pris une voie différente le 25 septembre, publiant un compte rendu détaillé de la manière dont elle a intégré la sécurité dans Muse, son agent personnel. Le harnais s'exécute dans sa propre cellule isolée, ne voit pas les vrais identifiants, et toute interaction avec le monde extérieur passe par un Sentinel que l'agent ne peut pas outrepasser. Meta indique avoir ouvert son programme de prime pour bugs de Muse à quiconque, avec des récompenses allant jusqu'à 300 000 $ pour les rapports valides et jusqu'à 130 000 $ pour les tentatives d'injection de prompt affectant un utilisateur. L'entreprise admet aussi que l'agent fera encore des erreurs.

Lus ensemble, les annonces de la semaine pointent vers un écart que ni les bac à sable ni les normes auto-écrites ne combleront seuls : qui vérifie les vérificateurs, et sur quelles preuves. Nvidia vend une application qu'il peut pointer dans le silicium. Trois laboratoires de frontière proposent de certifier leurs propres auditeurs. Les journaux UNCTADstat et la prise de contrôle du wiki sont le type de données d'incident dont un organe de normalisation aurait besoin, et aucun n'a été vérifié indépendamment par les entreprises citées.