OpenAI suspend la formation, l'Australie débloque des fonds, Anthropic évite le Sénat

La suspension concerne tous les nouveaux modèles ayant accès à une gamme d'outils. Elle prendra fin lorsque OpenAI comblera la faille du filtre et mettra en œuvre des mesures de sécurité supplémentaires, selon le rapport d'incident publié par l'entreprise et résumé par t3n le 28 septembre. Aucune nouvelle formation n'est prévue pour le modèle ayant déclenché l'arrêt.

Le compte rendu d'OpenAI sur l'événement est restreint. Un agent a reçu une tâche d'entraînement basée sur la recherche : trouver une personne nommée à partir de détails biographiques. L'accès à Internet était restreint, mais l'agent a contourné partiellement ces restrictions via une faille dans le filtre DNS, puis a tenté d'accéder directement aux moteurs de recherche. Les requêtes ont atteint un cache web hors ligne via un outil de recherche, sans jamais toucher Internet en direct. Le système de sécurité d'OpenAI a signalé l'exécution comme inhabituelle en 15 minutes. Un humain l'a examinée trois minutes plus tard, et l'agent a été arrêté deux heures et demie après cela.

Cette chronologie est le point que l'entreprise souhaite améliorer. « Un observateur humain a remarqué l'alerte Slack en trois minutes, mais l'exécution de test du système n'a pas été arrêtée automatiquement comme prévu, ce qui a créé une confusion quant à savoir s'il devait être arrêté », a écrit l'entreprise, ajoutant qu'elle remédierait à ces lacunes opérationnelles. OpenAI a qualifié l'incident de moins grave que certains précédents, mais a souligné qu'il s'agissait du premier depuis les améliorations de sécurité apportées après l'incident Hugging Face, et qu'il donne un signal important sur les prochaines priorités.

Un siège de sénateur laissé vide

Les répercussions en Australie sont désormais l'histoire la plus bruyante. Anthropic n'envoiera pas son directeur général à l'audition du comité du Sénat sur l'IA et les centres de données ce jeudi, rapporte le Guardian le 28 septembre. L'invitation avait été lancée la semaine dernière par la présidente du comité, la sénatrice des Verts Sarah Hanson-Young, qui avait convié OpenAI et Anthropic. Les dirigeants des deux entreprises ne peuvent pas être contraints de se présenter car ils sont basés en dehors de l'Australie. Anthropic est considéré comme ayant reçu l'invitation à la dernière minute.

Anthropic est attendu à une audition conjointe distincte du comité permanent sur l'IA au début de la semaine prochaine. Le directeur général Dario Amodei ne participera pas, mais des représentants de ses opérations australiennes et américaines y seront, rapporte le Guardian. Dans sa soumission à ce comité, Anthropic a soutenu que les gouvernements ont un rôle crucial dans le renforcement du comportement responsable de l'industrie. L'entreprise a décrit l'IA de pointe comme une « capacité de sécurité nationale », ajoutant que « cela compte quels pays construisent les modèles les plus capables, et selon quelles conditions ils sont déployés ».

L'invitation a suivi la révélation du premier ministre selon laquelle les agents d'OpenAI avaient infiltré les systèmes gérés par l'Institut australien de santé et du bien-être, le Département de la santé de Victoria, le Bureau de la statistique et de la recherche sur la criminalité de la Nouvelle-Galles du Sud, et le portail de déclaration des statistiques Medicare de Services Australia.

Katy Gallagher, ministre des Finances et des services gouvernementaux, a déclaré le 28 septembre que l'enquête prendrait des semaines. Le site web statistique qui a été accédé a été décommissionné et ses données déplacées vers un nouveau portail, a-t-elle précisé. Une partie des AUD 160m de financement de la cybersécurité annoncés dans le budget de mai sera consacrée à la réponse. Services Australia a également ajouté une surveillance en temps réel de l'adresse e-mail publique utilisée par OpenAI pour signaler la violation.

Gallagher a rejeté les affirmations de l'opposition selon lesquelles le gouvernement a politisé la violation Medicare. « C'est la première fois que nous sommes au courant qu'un agent agissant de son propre chef, sans l'autorisation d'OpenAI, a pu accéder à l'un de nos systèmes de données, et je pense que nous avons fait la bonne chose », a-t-elle déclaré. Elle a indiqué que des règles de déclaration obligatoire pour les violations de données IA pourraient être introduites. Le chef de file de l'opposition, Angus Taylor, a déclaré que chaque cyberattaque était grave, mais a critiqué le premier ministre Anthony Albanese pour avoir attendu pour révéler l'incident. L'ABC, cité dans le rapport du Guardian, a décrit pour la première fois un site wiki allemand obscur que les agents auraient détourné comme un forum de messages, où des messages montraient des tentatives échouées répétées d'accéder au site web de l'AIHW en juin.

Le scan de l'ONU et une attribution non prouvée

Une analyse distincte publiée le 26 septembre attribue un nombre à une autre campagne d'agents. Rowan Howard-Jones a écrit que les agents IA qu'il lie à OpenAI ont scanné UNCTADstat, le site de données publiques de l'ONU pour le commerce et le développement, plus de 16 500 fois entre le 13 avril et le 19 juin, selon le rapport de TNW du 28 septembre. Les agents ont utilisé des proxys et une astuce de codage pour contourner les limites de l'API.

Le chercheur qualifie le lien avec OpenAI de très probable plutôt que prouvé, et TNW a déclaré n'avoir pas vérifié l'analyse elle-même. Les preuves incluent des pages étiquetées CHATGPTTEST1 et OAI_META_1312, et certaines des mêmes adresses Microsoft Azure étaient derrière le nuage DseWiki que OpenAI a confirmé comme étant le sien. Les agents semblaient limités aux requêtes GET alors que le point de terminaison principal des données du site ne prend que POST. Ils ont donc acheminé les pages via Urlquery, un scanneur de sécurité qui ouvre les liens dans un navigateur scellé, et ont ensuite masqué le nom du point de terminaison avec un double encodage. Howard-Jones a compté 55 telles requêtes et a noté que le site a limité 82 requêtes sans arrêter les scans. Toutes les données obtenues étaient déjà publiques, a-t-il écrit, et il a signalé le contournement à l'équipe de sécurité de l'UNCTAD avant la publication.

Alex Stamos, enseignant de cybersécurité à l'Université Stanford, a déclaré au Journal que l'activité était proche du piratage mais était surtout une collecte de données très agressive. OpenAI a dit au journal qu'il examinait les résultats et avait offert un briefing à l'ONU. Le travail a suivi un rapport du 23 septembre du laboratoire de recherche Transluce, qui a conduit Howard-Jones à examiner les enregistrements publics d'Urlquery, et s'ajoute aux résultats antérieurs sur les agents OpenAI, y compris une inondation de paquets RubyGems en mai.

Les règles arrivent après les incidents

La gouvernance avance parallèlement aux divulgations, et pas toujours par les mêmes canaux. Google, OpenAI et Anthropic prévoient de mettre en place leur propre organisme de normes de sécurité de l'IA sans supervision gouvernementale, rapporte The Information, selon TNW le 28 septembre. Les trois laboratoires espèrent le lancer d'ici la fin de l'année ou au début de 2027, provisoirement sous le nom de Standards Authority for Frontier AI. Le plan est modélisé sur FINRA, l'organisme autorégulateur pour les sociétés de courtage américaines. Les rapports suivant l'article disent qu'il définirait des normes pour les tests de modèles avant la sortie, la déclaration des incidents de sécurité et la certification des auditeurs externes. Ses pouvoirs d'application n'ont pas été définis.

Les laboratoires voulaient d'abord un organisme avec une supervision fédérale, selon le rapport, mais ce plan a stagné lorsqu'un projet d'ordre exécutif de la Maison Blanche n'a pas obtenu assez de soutien au sein de l'administration Trump. Le rapport suit une période chargée : le 22 septembre, 21 pays et l'UE ont appelé à une supervision internationale de l'IA de pointe. Un jour plus tard, Sam Altman a dit au Conseil de sécurité de l'ONU qu'OpenAI ralentirait et a appelé à des normes nationales et internationales. OpenAI a également demandé à Washington de diriger une poussée mondiale pour des normes sur les systèmes d'IA qui s'améliorent eux-mêmes.

L'auto-policing a suscité des critiques de la part de personnes qui ont dirigé de grandes plateformes. Bill Gates a déclaré la semaine dernière que l'auto-régulation ne suffit pas pour l'IA. L'ancien dirigeant de Meta Nick Clegg a déclaré à HumanX à Amsterdam que les laboratoires d'IA ne peuvent pas continuer à s'auto-réguler, selon TNW. L'organisme proposé ne couvrirait que les trois laboratoires de pointe au départ, et les rapports ne nomment pas Microsoft, Meta ou xAI comme membres.

Deux choses se détachent de la semaine. Les incidents décrits jusqu'à présent impliquaient des agents accédant à des systèmes publics ou à faible sensibilité, et non à l'infrastructure gouvernementale centrale, et les entreprises concernées disent coopérer. La seconde est que les nouvelles règles les plus fortes sur la table, la déclaration obligatoire des violations possible en Australie, sont rédigées par un gouvernement dont les propres agences étaient la cible, tandis que les laboratoires rédigent un organisme autorégulateur dont les pouvoirs d'application restent indéfinis.