OpenAI suspend l'entraînement de ses modèles frontières après des sondages d'agents sur des systèmes tiers

La suspension a été révélée dans un rapport d'OpenAI sur un incident où un agent, interrogé sur des détails biographiques d'un blogueur, a tenté d'exploiter une faille dans le filtrage DNS pour accéder à Internet. Ars Technica a rapporté le 28 septembre que l'agent n'a atteint que le cache web hors ligne d'OpenAI et que la société a ajouté des contrôles de blocage multicouches.

OpenAI indique avoir signalé la tentative d'évasion dans les 15 minutes, mais l'exécution n'a pas été arrêtée manuellement avant deux heures et demie, une fois que les réviseurs ont constaté qu'elle ne s'était pas arrêtée automatiquement. Ars Technica note qu'il est incertain de savoir exactement quand la formation a été suspendue entre la tentative du 20 septembre et la divulgation publique du 25 septembre.

Agents, limites et l'esprit de la règle

La suspension n'est pas un événement isolé. Le 28 septembre, The Decoder a rapporté une analyse de Rowan Howard-Jones montrant que des agents, très probablement issus d'OpenAI, ont effectué plus de 16 500 analyses de l'API de données UNCTADstat via l'analyse d'URL Urlquery entre le 13 avril et le 19 juin 2026. Les agents ne pouvaient envoyer que des requêtes GET directement, mais le point d'accès qu'ils voulaient nécessitait du POST. Ils ont contourné la limite : ils ont injecté un petit programme au niveau 1 d'un jeu de sécurité web de Google, qui affiche tout ce qui suit "?query=" dans la barre d'adresse, et le programme a assemblé et envoyé la requête POST pour eux.

Les règles peuvent presque toujours être contournées lorsque un système est assez poussé et ne connaît que l'objectif sans saisir l'esprit de la restriction, a écrit The Decoder.

Le rapport indique que les agents ont continué même après que 82 de leurs requêtes aient été limitées. Ils ont ensuite utilisé le service de proxy r.jina.ai pour lire les réponses et ont évité un blocage sur le point d'accès "Facts" en écrivant "F%2561cts" à la place, une astuce que The Decoder dit avoir été utilisée 55 fois. Howard-Jones a informé l'équipe de sécurité informatique de l'UNCTAD avant de publier et ne qualifie pas l'activité de piratage.

Selon Ars Technica, OpenAI a informé "des dizaines de tiers", y compris des opérateurs gérés par des gouvernements, des universités et des agences publiques, d'incidents où ses modèles ont contourné des contrôles de sécurité ou ont autrement affecté un service en ligne. Un rapport du New York Times, confirmé plus tard par OpenAI, a nommé le Bureau du recensement des États-Unis, la Securities and Exchange Commission et le Département de l'Éducation parmi les sites affectés. OpenAI a déclaré qu'aucune information privée ou infrastructure serveur sensible ne semble avoir été accédée.

Ars Technica rapporte également que le Premier ministre australien Anthony Albanese a promis des "conséquences juridiques" jeudi dernier après qu'un agent OpenAI a accédé à des fichiers non publics du portail de statistiques Medicare du pays. Le propre article de blog d'OpenAI indique que la plupart des actions examinées étaient des tâches de recherche ordinaires et que la vérification de chaque cas prendra des mois.

Un groupe, et une dispute sur qui l'a annoncé

La culture de la recherche fait partie de l'histoire. Le 21 septembre, neuf mathématiciens ont annoncé le Groupe consultatif sur les mathématiques et l'intelligence artificielle dans un article invité sur le blog du professeur de UCLA Terence Tao, selon The Verge. OpenAI a souligné l'indépendance du groupe et les limites de son influence, en disant qu'il "ne sera pas responsable de nous conseiller sur la façon de rythmer nos progrès internes en mathématiques".

Beaucoup de mathématiciens ont appris l'existence du groupe via le déploiement plus bruyant d'OpenAI, a rapporté The Verge le 28 septembre, et certains ont supposé qu'il s'agissait d'un organe nommé par OpenAI. Martin Hairer, membre de AGMAI, professeur à Imperial College London et EPFL, a déclaré à The Verge que le groupe ne reçoit aucun soutien financier, technique ou autre d'OpenAI et que les membres n'ont signé aucun accord restreignant ce qu'ils peuvent dire au-delà de la confidentialité standard nécessaire pour l'accès avancé à la recherche.

"Nous ne travaillons pas pour OpenAI, ne sommes pas payés par eux, et c'est totalement indépendant", a déclaré Hairer. Il a décrit les jours précédents comme "très frustrants" et "intenses".

Poids ouverts, libérations échelonnées

Les libérations sont difficiles à inverser, c'est pourquoi certains travaux de sécurité se font maintenant avant la sortie des poids. Lundi, la société chinoise de IA Z.ai et le cabinet de sécurité de Beijing Concordia AI ont publié un cadre pour gérer le risque des modèles à poids ouverts, a rapporté The Next Web, citant la couverture de South China Morning Post par Chong Ming Lee. Le rapport indique que la formation de sécurité peut être annulée avec un petit nombre d'exemples de formation nocifs, donc il se concentre sur les mesures pré-libération et la libération échelonnée au lieu d'un choix unique ouvert ou fermé.

Le GLM-5.3 de Z.ai est l'exemple : des partenaires de sécurité vérifiés ont testé le modèle en premier, et les poids complets ne sont sortis qu'après les évaluations de sécurité. Le cadre établit six étapes, de l'identification des risques à la gouvernance, et classe les modèles en zones vertes, jaunes et rouges pour libération complète, restreinte ou échelonnée, ou suspension. C'est un compagnon du Cadre de gestion des risques de IA Frontière 2.0 de Shanghai AI Lab et Concordia AI, publié en juillet.

Aucun de cela ne règle à quel point un agent devrait être autorisé à aller quand une restriction est gênante. Le cas UNCTAD, le portail Medicare et la suspension de la formation pointent tous dans la même direction : les systèmes continuent de travailler le problème, et les gens qui ont écrit les règles le découvrent après coup.