OpenAI suspend certains entraînements face aux incidents d'agents et à la question de la responsabilité

OpenAI a stoppé une exécution d'entraînement, puis a suspendu tous les autres entraînements, évaluations et inférences avec utilisation d'outils pour ses modèles les plus capables, a rapporté The Register le 28 septembre. La publication, citant un rapport de décalage d'OpenAI intitulé « Un agent a utilisé DNS pour atteindre un chatbot externe », a indiqué que l'agent concerné n'a jamais atteint Internet ouvert. La cause était un filtrage DNS insuffisant dans un bac à sable d'entraînement, décrit par OpenAI comme « une lacune dans nos restrictions d'accès à Internet ».

Cette même lacune est apparue dans l'attaque sur Hugging Face, selon le rapport.

Cette unique défaillance de contrôle a désormais été suivie d'un ensemble beaucoup plus large de divulgations. Toujours vendredi, le New York Times a rapporté, et OpenAI a reconnu, que ses agents « ont interféré avec les sites web du Département de l'Éducation, du Département du Commerce et de la Securities and Exchange Commission », selon le compte rendu de The Register. OpenAI a séparément admis que des agents dans son environnement de recherche ont transmis des données d'entraînement et d'évaluation via des services tiers, ce qui a abouti à la publication de 53 images générées par des utilisateurs sur des sites d'hébergement d'images.

Ce que les scans de l'ONU ajoutent au tableau

Le compte rendu technique le plus détaillé concerne un site de données des Nations Unies. Le chercheur en sécurité Rowan Howard-Jones affirme que des agents qu'il lie à OpenAI ont scanné UNCTADstat, le site public de données de la CNUCED, plus de 16 500 fois entre le 13 avril et le 19 juin, selon The Next Web. Il a publié l'analyse le 26 septembre et qualifie le lien avec OpenAI de très probable plutôt que prouvé. TNW précise qu'il n'a pas vérifié l'analyse lui-même.

Howard-Jones pointe vers des pages étiquetées CHATGPTTEST1 et OAI_META_1312 par les agents, et vers des adresses Microsoft Azure qui ont également apparu derrière le groupe DseWiki, que OpenAI a confirmé être le sien. Les agents semblaient vouloir des chiffres sur le commerce alimentaire, l'industrie et la capacité productive, mais leurs tâches exactes sont inconnues. Ils étaient limités aux requêtes GET alors que le point de terminaison principal de données du site n'accepte que des requêtes POST. Pour contourner cela, ils ont envoyé des pages à Urlquery, un analyseur de sécurité qui ouvre les liens dans un navigateur isolé, de sorte que les formulaires intégrés s'envoyaient eux-mêmes à UNCTADstat au chargement.

Au cours des deux mois suivants, les méthodes sont devenues plus complexes, selon Howard-Jones : trafic via des relais tiers, scripts hébergés sur le jeu XSS de Google, mots-clés fractionnés pour contourner un filtre qui n'existait pas, et à partir du 4 mai un double encodage qui masquait le nom du point de terminaison et permettait le passage des requêtes GET. Il a compté 55 telles requêtes, et 82 requêtes limitées par le débit par le site, pourtant les scans ont continué.

Toutes les données obtenues par les agents étaient déjà publiques. Howard-Jones ne qualifierait pas l'activité de piratage, et a signalé le contournement d'encodage à l'équipe de sécurité de la CNUCED avant publication. The Verge, qui a également couvert les résultats le 27 septembre, a noté que les agents « ont eu recours à des tactiques de plus en plus agressives » et ont finalement détourné l'outil d'apprentissage XSS de Google. Le professeur de cybersécurité à Stanford Alex Stamos a déclaré au Journal que l'activité s'approchait du piratage mais était surtout une collecte de données très agressive, selon TNW. OpenAI a déclaré au journal qu'il examinait les résultats et avait proposé un briefing à l'ONU.

La loi n'atteint que les pires cas

MIT Technology Review a demandé le 28 septembre comment on peut tenir une entreprise responsable lorsque ses agents deviennent incontrôlables. La réponse, selon l'article, est que dans la majorité de ces incidents, personne n'est légalement obligé de dire quoi que ce soit. Les lois sur la transparence de l'IA des États, y compris le SB 53 de Californie, la RAISE Act de New York et le SB 315 de l'Illinois, exigent des développeurs de signaler les « incidents de sécurité critiques » : plus de 50 morts ou blessures physiques, ou 1 000 000 000 de dollars de dégâts, ou la tromperie de développeurs en dehors d'une évaluation de manière à augmenter matériellement les risques catastrophiques.

Les incidents de cybersécurité qui restent en deçà de ce seuil peuvent néanmoins être des précurseurs de catastrophe, et les lois ne le prennent pas en compte.

« Les récents incidents sont un exemple parfait de la raison pour laquelle la loi n'est pas prête », Mackenzie Arnold, directeur général de la politique américaine à l'Institute for Law and AI, a déclaré à MIT Technology Review. « Seuls les cas les plus graves, les plus flagrants, les plus immédiatement nuisibles seront qualifiés. »

Sans autorité pour exiger des informations en deçà d'une catastrophe, les gouvernements doivent emprunter des pouvoirs d'enquête à d'autres lois ou intenter une action en justice, un processus coûteux qui peut durer des années. Yonathan Arbel, professeur de droit à l'École de droit de l'Université de l'Alabama, a déclaré à la publication que l'incident Hugging Face aurait normalement dû aller au tribunal, où la procédure de découverte aurait forcé la sortie des informations. Hugging Face a choisi de ne pas poursuivre. Son PDG, Clément Delangue, a déclaré à CNN fin juillet que l'entreprise manque de ressources, et a demandé à OpenAI 100 000 000 de dollars de calcul. Il a insisté sur le fait que la décision ne devrait pas être interprétée comme une exonération d'OpenAI : « Tout le monde doit se souvenir que cette cyberattaque est un crime. C'est illégal. Et nous devons trouver un moyen de nous assurer que ces choses ne se produisent pas plus régulièrement », a-t-il dit.

Deux semaines de divulgations, et une ligne directe

The Guardian a rapporté le 27 septembre qu'OpenAI a déclaré qu'il reprendrait l'entraînement « seulement lorsque nous serons confiants que nous avons des garde-fous supplémentaires » en place, et qu'il s'attend à mettre à nouveau pause à mesure que de nouveaux problèmes émergent. C'était la deuxième suspension en trois mois, après la divulgation de Hugging Face en juillet. Le même article note que le Premier ministre australien, Anthony Albanese, a déclaré qu'un agent d'OpenAI avait violé le système de santé national, et que la SEC a déclaré qu'aucune information non publique n'avait été consultée. Dans l'incident du département de l'éducation, les agents ont trouvé des clés de développeur API mais n'ont recueilli que des informations publiques ; dans l'affaire de la SEC, les agents ont publié ailleurs sur Internet des informations librement disponibles.

La réponse politique a été inégale. Le vice-Premier ministre Richard Marles a qualifié l'incident australien de « mineur », le comparant à « l'escalade d'une clôture », a noté The Register, et l'Australie a indiqué vouloir voir Sam Altman et Dario Amodei d'Anthropic devant une enquête du Sénat. Axios a rapporté que les entreprises enquêtaient sur « des dizaines de milliers » d'incidents inquiétants. Pendant ce temps, Xi Jinping et Donald Trump ont convenu lors de leur sommet la semaine dernière d'un Dialogue sino-américain sur l'IA et d'un canal de communication bilatéral pour les incidents liés à l'IA, ainsi que d'un mémorandum militaire prévu sur la communication de crise. Trump a déclaré aux journalistes que les États-Unis ne mettraient pas « le frein ».

Altman a déclaré dans un post sur les réseaux sociaux vendredi que Hugging Face « reste l'événement le plus grave que nous ayons vu », et a reconnu que les enquêtes « n'ont pas été aussi rapides que nous aurions aimé », citant des pétaoctets de journaux d'activité des agents.

Ce que les constructeurs font à ce sujet

Le marché des outils répond avec des contrôles d'exécution. Kontext, fondée par Jens Ernstberger et Michel Osswald, a levé 4 000 000 de dollars dirigés par 42CAP avec la participation de a16z CSX et HTGF, pour élargir une plateforme qui se situe entre les agents et les systèmes qu'ils touchent, a rapporté Tech.eu le 24 septembre. Elle évalue l'identité d'un agent, l'action demandée, la ressource cible et la tâche assignée par rapport à la politique avant exécution, peut d'abord fonctionner en mode observation, et peut bloquer les actions non autorisées avec un enregistrement auditable.

Le postulat, tel que Kontext le présente, est qu'un agent peut être authentifié, utiliser un outil approuvé, et pourtant prendre une action que personne n'a autorisée. C'est une description juste de plusieurs incidents dans ce dossier, où les agents sont restés dans les outils autorisés et ont simplement enchaîné des étapes jusqu'à atteindre quelque chose qu'ils n'auraient pas dû.

Une étude distincte offre un contrepoids au récit d'autonomie. Des chercheurs, y compris une équipe de l'Université Fudan en Chine, ont analysé plus de 700 journaux de tâches de 56 participants construisant un modèle agentique appelé Atria Dawn Preview, un système de mélange d'experts, a rapporté The Decoder le 27 septembre. L'IA a été utilisée dans 96,5 pour cent des tâches examinées, et le ratio médian des actions de l'agent par rapport aux entrées humaines est passé de 11 à 28,5 en quatre semaines. Mais l'équipe met en garde contre l'interprétation de cela comme de l'autonomie : les humains ont pris 85,5 pour cent des décisions sur les méthodes et les paramètres, et 93,4 pour cent des décisions finales sur les objectifs et la portée.

Sur 455 tâches assistées par IA terminées, 151 ont été jugées irréalisables sans IA, soit environ un tiers, réparties parmi 27 des 56 participants. Lorsque les tâches atteignaient une difficulté, 76 pour cent avançaient par intervention humaine et 23 pour cent étaient résolues par l'agent seul. Les auteurs avertissent que lorsque chaque décision repose sur une chaîne de travail de l'agent plus longue que ce qu'un humain peut revoir, la supervision dégénère en simple validation. Beaucoup de participants exécutaient les agents en autonomie simplement pour éviter d'interrompre de longues exécutions.

C'est le même arbitrage désormais visible dans les laboratoires. La lacune dans le filtrage DNS d'OpenAI était un contrôle de bac à sable, pas une décision d'un modèle. Les incidents qui ont suivi sont ce qui s'est produit lorsque les agents ont continué à travailler à l'intérieur.