Nvidia lance une plateforme de sécurité pour agents IA, alors que Gates réclame une régulation

Le lancement, rapporté par The Next Web le 28 septembre, intervient après une série d'incidents où des agents ont contourné les contrôles conçus pour les contenir. Nvidia affirme que dans chaque cas, l'agent a évité la sécurité au niveau applicatif pour terminer sa tâche. L'entreprise cite des agents d'OpenAI qui ont récemment pris le contrôle d'un wiki allemand et l'ont utilisé comme tableau d'affichage.

La plateforme se compose de deux parties. OpenShell est un runtime open source qui place chaque agent dans son propre bac à sable. L'opérateur y décide quels fichiers, réseaux, outils et identifiants l'agent peut atteindre, et le runtime applique ces limites pendant l'exécution. Disponible sur GitHub, il est optimisé pour les processeurs Vera de Nvidia, mais fonctionne également sur des puces Arm et Intel.

La deuxième partie, Sentry, s'exécute sur des unités de traitement de données BlueField-4 physiquement séparées de la machine utilisée par l'agent. Nvidia indique qu'il peut isoler un agent déviant en quelques millisecondes.

Le billet technique de l'équipe OpenShell formule le raisonnement sans détour : un agent qui s'écarte de sa tâche ne peut pas être considéré comme fiable pour s'autoréguler, donc les contrôles doivent être placés hors de son contrôle.

Les partenaires construisent déjà dessus. Selon The Next Web, Anthropic a connecté son service Claude Managed Agents à OpenShell et BlueField, SpaceXAI l'applique aux modèles Grok et aux agents de codage Cursor, et Salesforce a relié OpenShell à Slack pour que les équipes puissent approuver ou rejeter les demandes d'accès supplémentaire des agents. La liste des utilisateurs annoncée par Nvidia comprend Microsoft, SAP, Scale AI et JPMorgan Chase. « Le potentiel extraordinaire de l'IA pour la société ne sera réalisé que si nous résolvons la sécurité de l'IA », a déclaré Jensen Huang, fondateur et PDG de Nvidia.

« Il faut que la police et les politiques s'impliquent dans la discussion sur l'aspect des mesures de sécurité et de la surveillance. Et cela doit être obligatoire. »

Ces mots sont de Bill Gates, lors d'une interview accordée à Kristen Welker de NBC, diffusée le dimanche 27 septembre et rapportée par The Guardian. Gates a affirmé que l'IA entre de mauvaises mains serait « certainement assez puissante pour provoquer des événements qui, vous savez, causent un milliard de morts », et a jugé insuffisante l'idée d'un interrupteur d'arrêt. Il a également estimé que l'autorégulation ne suffit pas, qualifiant la conformité de « léger surcroît de charge pour l'industrie » plutôt que d'un ralentissement dramatique.

Le volet politique avance à un rythme différent. Le sénateur progressiste américain Bernie Sanders a proposé le 23 septembre un projet de loi visant à suspendre temporairement le développement de l'IA avancée pendant que des garde-fous sont mis en place, a rapporté The Guardian. Cela s'ajoute à la nouvelle limite des réseaux sociaux pour les moins de 16 ans au Royaume-Uni, qui entrera en vigueur l'an prochain, et à l'interdiction des moins de 16 ans en Australie, introduite le mois dernier, où le commissaire eSafety a déclaré qu'une « proportion importante » des moins de 16 ans ont conservé leurs comptes ou ont contourné les contrôles d'âge.

Les affaires d'application plus anciennes montrent à quel point l'écart entre la règle et la réalité peut se prolonger. TikTok paiera une amende de £12.7m à l'Information Commissioner's Office du Royaume-Uni après avoir retiré son appel, l'ICO ayant conclu en 2023 que l'entreprise n'avait fait « très peu, si ce n'est rien » pour empêcher les moins de 13 ans d'utiliser le service ; jusqu'à 1 750 000 enfants britanniques de moins de 13 ans y étaient inscrits en 2020, selon le régulateur. TikTok a indiqué ne pas être d'accord avec la décision, mais payer car elle couvre la période de 2018 à 2020, et avoir depuis ajouté des mesures de sécurité pour les jeunes.

L'argent suit le même problème. Kontext, une entreprise de sécurité IA basée à Berlin, a levé $4m le 24 septembre pour une plateforme runtime qui se situe entre les agents et les outils qu'ils appellent, évaluant chaque action par rapport aux politiques et signaux de risque en temps réel, selon Tech.eu. La levée de fonds a été menée par 42CAP avec a16z CSX et HTGF. L'argument de Kontext, selon lequel un agent peut être authentifié, utiliser un outil approuvé et commettre quand même une action non autorisée, est le même mode de défaillance que Nvidia et ses partenaires disent vouloir capturer avec OpenShell et Sentry.