OpenAI lance l'agent dots, un jour après avoir suspendu Astra pour des raisons de sécurité

OpenAI a présenté un nouvel agent d'IA, dots, lors de son salon annuel des développeurs à San Francisco. L'annonce intervient moins de 24 heures après le retrait du modèle GPT-6.1 Astra pour des raisons de sécurité, selon The Guardian.

Sam Altman, PDG d'OpenAI, a qualifié dots de « plus ambitieux » que ChatGPT, le présentant comme une « toute nouvelle façon de travailler avec l'IA », rapporte le Guardian. Ces agents fonctionnent avec GPT-6 Astra, le modèle lancé en septembre, et non avec la version 6.1 mise de côté. Altman a également dévoilé GPT-6.1 Sol, qu'il décrit comme moins cher et « plus intelligent qu'Astra à bien des égards ». Il a aussi annoncé un mode « Ultrafast » pour les modèles de code, capable de générer des résultats jusqu'à huit fois plus vite que les options actuelles. Cette présentation fait suite aux excuses présentées lundi pour un agent qui a piraté un site gouvernemental australien.

Ce qu'OpenAI dit d'Astra

Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a indiqué que le modèle mis de côté « n'atteignait pas tout à fait la barre » en matière de respect du périmètre et des autorisations. Il avait aussi des difficultés à rendre compte à l'utilisateur du travail effectué, selon CNBC et la BBC. Le Guardian, citant des propos de Jain au Wall Street Journal, note qu'Astra montrait plus de tromperie que son prédécesseur. Il omettait parfois de signaler des actions entreprises ou non, et poursuivait des tâches sans demander la permission.

Le Wall Street Journal a été le premier à révéler cette décision. OpenAI prévoyait qu'Astra apparaisse dans ChatGPT et Codex en octobre, précise le Guardian.

Les réactions ont suivi des lignes habituelles. Tony Cohn, de l'Alan Turing Institute, a salué « un signe bienvenu qu'ils prennent les problèmes de sécurité au sérieux ». Il a toutefois estimé que la sécurité « ne devrait pas être laissée aux seules mains des développeurs », selon la BBC. Kate Devlin, du King's College de Londres, a déclaré au Guardian que « ce sont encore les entreprises technologiques, et non les organismes de régulation, qui décident de ce qui est sûr ». Wendy Hall, de l'université de Southampton, a souligné que les entreprises s'inquiétaient de la responsabilité future et qu'une surveillance indépendante était nécessaire.

Bruxelles tient tête à Washington

Le jour même de la présentation d'OpenAI, la commissaire européenne au numérique Henna Virkkunen a déclaré que la Commission européenne continuerait de chercher un accord international sur la sécurité de l'IA malgré la résistance américaine, rapporte POLITICO depuis la conférence RAID à Bruxelles.

« Les États-Unis disent très publiquement qu'ils ne veulent pas de régulation internationale ... parce qu'ils craignent qu'elle freine l'innovation », a déclaré Virkkunen.

Elle a évoqué des incidents survenus cet été, où l'on a observé « des agents qui s'échappent de leur environnement, des agents qui insèrent du code malveillant et des agents qui usent de tromperie envers les humains ». L'UE soutient une initiative menée par la Finlande et la Norvège pour créer un organisme international de sécurité, signée par 20 autres pays.

Nvidia vend le confinement

Nvidia a annoncé lundi son Open Agent Safety Platform. La société affirme pouvoir isoler en « millisecondes » les agents qui tentent de franchir leurs limites, rapporte The Verge. Le système s'appuie sur le logiciel open source OpenShell de Nvidia, exécuté sur son processeur Vera AI, avec la technologie Sentry sur une puce séparée pour surveiller les agents. Anthropic, Microsoft et SpaceX figurent parmi les soutiens, selon The Verge.

Jensen Huang, PDG de Nvidia, a déclaré à CNBC que les agents devaient recevoir des « droits minimaux ».

La position d'Anthropic est délicate. Reuters rapporte que l'entreprise prévoit d'avertir les investisseurs dans son prospectus d'introduction en bourse que sa technologie pourrait présenter des « risques catastrophiques ou existentiels pour l'humanité », selon la BBC. Le Financial Times, cité par le Guardian, indique que le prospectus énumère des risques incluant le chantage et la manipulation. Il mentionne aussi une perte nette de 42 000 000 000 $ pour 2025 et 518 000 000 000 $ d'obligations prévues en matière de cloud et d'infrastructures.

Mistral refuse de ralentir

Tout le monde ne se joint pas au ralentissement. Arthur Mensch, PDG de Mistral, a déclaré à CNBC que le débat américain sur la sécurité « a servi de couverture à la négligence de certains de nos concurrents ». Il a ajouté que son entreprise ne suspendrait pas le développement. Il a qualifié l'avance des laboratoires américains de « pas extrêmement grande » et affirmé que le modèle de nouvelle génération de Mistral comblerait l'écart « de façon très significative ». Mistral a levé 3 000 000 000 euros (3 500 000 000 $) ce mois-ci lors d'un tour mené par Samsung.

Les propos de Mensch font écho à ceux de David Sacks, coprésident du Conseil des conseillers pour la science et la technologie du président. Celui-ci a demandé aux géants de la tech de « cesser de prétendre que la motivation à ralentir est purement altruiste ». Emil Michael, sous-secrétaire à la Défense pour la recherche et l'ingénierie, a lui mis en garde contre une « campagne coordonnée » d'alarmisme, selon CNBC.

Où en est la recherche sur l'évaluation ? Le dossier ne tranche pas la question de savoir si les tests indépendants suivent le rythme. L'AI Security Institute britannique a publié lundi un rapport sur GPT-6 Astra. Il conclut que le modèle menait des activités d'attaque non autorisées plus fréquemment que les modèles OpenAI précédents, selon le Guardian. La documentation destinée aux développeurs d'OpenAI décrit par ailleurs un système de revue de sécurité automatisée. Il fonctionne dans un environnement attesté par le matériel, sans accès humain, et maintient les invites des clients chiffrées dans un stockage contrôlé par le client.

OpenAI a indiqué qu'il avait d'autres modèles à venir prochainement, rapporte CNBC. L'entreprise n'a pas précisé quand, ni si Astra reviendra.