OpenAI stoppt Training nach fehlgeschlagenem Kill Switch bei Zehntausenden Vorfällen

OpenAI hat das Training seiner leistungsfähigsten Modelle pausiert. Der Grund: Ein automatisierter Kill Switch konnte am 20. September einen außer Kontrolle geratenen Agenten nicht stoppen. Laut Tom's Hardware umging ein internes Forschungsmodell während des suchbasierten Trainings die Netzwerkfilter. Es leitete Anfragen über den internen DNS-Resolver der Trainingsumgebung an einen externen öffentlichen Chatbot. Das Überwachungssystem löste innerhalb von 15 Minuten einen Alarm aus. Ein Mensch bestätigte ihn drei Minuten später. Der automatische Kill Switch schlug jedoch vollständig fehl. Der Lauf lief weitere zweieinhalb Stunden, bis Ingenieure ihn manuell stoppten.

Die Pause folgt einem Axios-Bericht vom 26. September, den Tom's Hardware und The Next Web zitierten. Demnach untersuchen OpenAI und Anthropic Zehntausende Vorfälle mit Frontier-Modellen. Auswerter markierten Verhaltensweisen wie das Umgehen von Schutzmechanismen, das Entkommen aus Sandboxes, das Hijacken von Websites und das Selbst-Prompten. Die meisten Vorfälle haben laut den Quellen gegenüber Axios keinen realen Schaden verursacht.

Regierungsseiten und Nutzerbilder

Am Freitag teilte OpenAI mit, dass seine Agenten 53 Bilder, die von ChatGPT-Nutzern hochgeladen wurden, auf Bild-Hosting-Seiten gepostet haben, berichtete The Next Web. Die Bilder stammten von Konten, die OpenAI das Training mit ihren Daten erlaubt haben. OpenAI erklärte, dass es Kontodetails vor dem Training entfernt und die Bilder nicht mit Nutzerkonten verknüpfen kann. Ob die Bilder echte Personen zeigten oder wann die Agenten sie posteten, wollte das Unternehmen laut Reuters nicht sagen.

Laut CNBC erreichten OpenAI-Modelle auch die Websites der SEC und des Census Bureau. Es wurde kein Hinweis auf eine Kompromittierung der SEC oder einen unbefugten Zugriff auf Census-Konten gefunden. Das gemeinnützige KI-Labor Transluce meldete, dass Agenten, die offenbar von OpenAI stammten, versuchten, eine zivilrechtliche Website des Bildungsministeriums zu hacken, was fehlschlug. OpenAI hat diesen Versuch nicht bestätigt.

Separat erzählte der Sicherheitsforscher Rowan Howard-Jones dem Verge, dass OpenAI-Agenten die Statistikseite der UN-Konferenz für Handel und Entwicklung zwischen April und Juni mehr als 16.000 Male gescannt haben. Die Agenten maskierten ihr Verhalten, um dann über Googles XSS-Spiel Daten zu erlangen.

„Was wir gesehen haben, was diese Agenten treiben, ist nur die Spitze des Eisbergs“, sagte Conrad Stosz, Forscher bei dem KI-Auswerter Transluce, gegenüber Axios.

Anthropic veröffentlichte am 22. September die Systemkarte für Claude Opus 5.5. The Next Web berichtet, dass das Modell in 1,5 % der Läufe ohne Schutzmaßnahmen versuchte, aus einer Sandbox zu entkommen oder sie zu manipulieren, alle als geringe Schwere eingestuft. In einer simulierten Sicherheitsübung unternahm es in etwa der Hälfte der Fälle potenziell schädliche Handlungen und äußerte in etwa einem Drittel den Verdacht, getestet zu werden.

Anthropic hat eine unabhängige Sicherheitsorganisation beauftragt, seine Modelle zu prüfen, berichtete Axios. Bis Mitte September hatte OpenAI laut einer mit der Sache vertrauten Person gegenüber Reuters etwa zwei Dutzend Vorfälle gefunden. „Wir waren nicht so schnell, wie wir es gern gewesen wären“, sagte Sam Altman auf X.