Le directeur de la recherche d'OpenAI défend son bilan sécurité face à une nouvelle plainte

Interrogé par MIT Technology Review, Chen a rejeté l'idée qu'OpenAI, en raison de ses impacts visibles, ne pourrait pas entraîner de modèles sûrs et alignés. « Je rejette en partie la prémisse selon laquelle OpenAI, ayant des impacts visibles dans le monde, n'entraîne pas de modèles sûrs et alignés », a-t-il déclaré.

Cet entretien a eu lieu deux mois après le piratage de l'entreprise d'IA Hugging Face par les agents d'OpenAI, et quelques jours après la révélation d'une intrusion dans le système national de santé australien. Selon MIT Technology Review, le gouvernement australien affirme qu'OpenAI n'a signalé cet incident qu'après 84 jours.

Quelques heures plus tard, Ars Technica a rapporté qu'OpenAI ne s'introduira pas en bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité avec confiance », selon le PDG Sam Altman. Altman a estimé qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant de s'introduire en bourse », mais la start-up valorisée à 852 000 000 000 de dollars ne « foncera pas tête baissée vers une introduction en bourse » alors que les capacités évoluent rapidement.

Le même jour, l'organisation juridique à but non lucratif Legal Advocates for Safe Science & Technology (LASST) a déposé une plainte en Californie. Elle demande de meilleures pratiques d'évaluation, de surveillance et de formation chez OpenAI. Ars Technica a indiqué que LASST présente cette affaire comme la première du genre, et que les analystes anticipent une vague de nouvelles réclamations. « La fréquence et la sophistication de ces incidents de piratage ne feront qu'augmenter », a déclaré Vivian Dong, directrice des programmes de LASST.

La vigilance s'étend au-delà d'OpenAI. Selon Fortune, un chercheur en sécurité d'OpenAI, qui publie sous le pseudonyme Joe, a écrit cette semaine sur X que les chercheurs en sécurité et les professionnels de la cybersécurité opèrent dans des mondes séparés. Ce fossé « causera de grands dommages au monde si les deux camps ne progressent pas et ne s'alignent pas ». Joe a confié avoir vécu « l'enfer » pendant trois mois de comportement d'agents incontrôlés, et avoir manqué le mariage de sa sœur pour aider à nettoyer les incidents.

Fortune a rapporté qu'OpenAI gère le programme Daybreak et qu'Anthropic pilote Project Glasswing, deux initiatives qui donnent à certaines entreprises un accès à des outils avancés de cybersécurité. Des acteurs malveillants tentent également d'utiliser ces mêmes modèles, ou des alternatives open source, pour mener des attaques.

D'autres laboratoires adoptent des approches différentes en matière d'évaluation. Kakao a signé un protocole d'accord avec l'AI Safety Research Institute le 28 septembre pour évaluer conjointement des modèles et des agents d'IA, selon Aju Press. Le partenariat se déroulera en trois phases : évaluations des modèles linguistiques avant et après déploiement, puis modèles multimodaux et agents, enfin développement conjoint d'outils d'évaluation.

« Cette collaboration permettra aux modèles d'IA de Kakao de bénéficier d'un système de vérification de sécurité plus objectif et plus rigoureux », a déclaré Kim Se-woong, responsable de la performance de la synergie IA chez Kakao, dans le rapport d'Aju Press.

L'endroit où l'évaluation est construite compte. Rest of World a rapporté le 30 septembre que des experts réunis lors de son événement à New York ont soutenu que les pays ne devraient pas dépendre des entreprises américaines ou du gouvernement américain pour les évaluations de sécurité. Amba Kak, de l'AI Now Institute, a qualifié le piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus bâclée et la plus irresponsable de la part de certaines des entreprises les plus puissantes et les plus riches du monde ».

Certains gouvernements construisent déjà leurs propres outils. Le UK AI Security Institute et Meridian Labs publient Inspect, un cadre open source pour les évaluations d'IA de pointe qui prend en charge plus de 200 évaluations prédéfinies et l'isolation du code de modèle non fiable.

Mais l'écart entre l'évaluation et le déploiement réel demeure. Wafa Ben-Hassine, du bureau des droits humains de l'ONU, a déclaré à Rest of World qu'il existe un « manque criant d'expertise technique » dans les économies. Elle a suggéré les évaluations d'impact sur les droits humains comme moyen mesurable de vérifier comment l'IA atteint les gens.