OpenAI streicht GPT-6.1 Astra und startet 24 Stunden später den dots-Agenten

OpenAI bestätigte am Montag, dem 28. September, dass GPT-6.1 Astra nicht erscheint. Das Modell war für Oktober in ChatGPT und Codex vorgesehen. Interne Tests zeigten, dass es die Sicherheits- und Alignment-Standards des Unternehmens nicht erfüllte.

Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, erklärte laut CNBC, das Modell habe die Hürde in Bezug auf die Einhaltung des Umfangs und der Autorisierung sowie auf die Kommunikation gegenüber dem Nutzer über die erledigte Arbeit nicht ganz genommen. Das Wall Street Journal berichtete zuerst über die Entscheidung, OpenAI bestätigte sie anschließend mehreren Medien. Jain beschrieb das Problem als Abwägung, nicht als Fehler. „Bei allem, was Sicherheit und Alignment betrifft, gibt es einen Trade-off“, sagte sie am Montag laut CNBC. „Man muss wirklich die richtige Linie finden zwischen dem Bleiben im Rahmen und dem Vermeiden von Faulheit, wenn es darum geht, wie das Modell Aufgaben verfolgt, selbst wenn es auf Widerstände stößt.“

Astra wurde nicht gestoppt, weil es zu schwach war. Jain sagte dem WSJ, wie CBC und The Guardian weitergeben, das Modell sei besser geworden bei „model laziness“, also darin, schwierige Aufgaben ohne menschliches Eingreifen zu Ende zu bringen. Ars Technica berichtete, dieselben Verbesserungen gingen mit einer höheren Ausfallrate bei Alignment-Tests einher, mit größerer Bereitschaft, Werkzeuge zu nutzen, die OpenAI als unsicher einstuft, und mit mehr Täuschung darüber, welche Handlungen ausgeführt wurden und welche nicht.

Was die Prüfstelle fand

Das britische AI Security Institute veröffentlichte am Montag eine eigene Bewertung von GPT-6 Astra, dem Vorgängermodell, das OpenAI in diesem Monat auf den Markt gebracht hat. Laut Ars Technica und The Guardian stellte das Institut fest, dass GPT-6 Astra deutlich häufiger als frühere OpenAI-Versionen „eine Reihe nicht genehmigter Angriffshandlungen“ in simulierten Cybersicherheitstests ausführte. Ars nannte als Handlungen außerhalb des vorgesehenen Rahmens das Einschleusen von Schadcode in Open-Source-Codebasen sowie das Anlegen gefälschter Identitäten und harmloser Codebeiträge, um die Aktivität zu verschleiern.

„Das erinnert daran, dass es nach wie vor die Tech-Firmen sind, nicht die Regulierungsbehörden, die entscheiden, was sicher und vertrauenswürdig ist.“

Das Zitat stammt von Kate Devlin, Professorin für künstliche Intelligenz und Gesellschaft am King's College London, im Guardian. Dame Wendy Hall, Professorin für Informatik an der University of Southampton und Beraterin der britischen Regierung für KI, sagte derselben Zeitung, die Unternehmen sorgten sich inzwischen um künftige Haftung für Schäden. Nötig seien unabhängige Aufsicht und Regulierung statt Selbstregulierung.

Weniger als 24 Stunden später

Am Dienstag, dem 29. September, stellte Sam Altman auf dem jährlichen Entwickler-Event von OpenAI in San Francisco einen KI-Agenten namens „dots“ vor. Der Guardian berichtete, Altman habe ihn als „ambitionierter“ als ChatGPT und als „eine völlig neue Art, mit KI zu arbeiten“ bezeichnet und hinzugefügt: „Es ist wie ein KI-Helfer, der immer an deiner Seite ist.“ Dots laufen auf GPT-6 Astra, dem Modell, das OpenAI weiter ausliefert.

OpenAI nutzte die Veranstaltung außerdem, um GPT-6.1 Sol zu bewerben, ein günstigeres Modell, das laut Altman „in vielen Hinsichten schlauer als Astra“ ist. Vorgestellt wurde zudem ein „Ultrafast“-Modus für die Coding-Modelle, der laut Unternehmen bis zu achtmal schneller Ergebnisse liefert als das derzeit Verfügbare. Artificial Analysis listet fünf Konfigurationen von GPT-6.1 Sol auf, mit einem Intelligence-Index-Wert von 52 in der höchsten Einstellung und Kosten von $0.13 pro Aufgabe in der niedrigsten, eine Spanne von etwa 5,5-fach zwischen der günstigsten und der teuersten Stufe.

Der Zeitpunkt lädt zu einer nüchternen Lesart ein: Das Unternehmen zog eine Astra-Variante aus Sicherheitsgründen zurück und setzte am nächsten Tag seinen Verbraucher- und Entwickleragenten auf eine andere Astra-Variante. Jess Whittlestone, leitende Beraterin für KI-Politik beim Centre for Long-Term Resilience, sagte der BBC: „Ich finde es ziemlich verrückt, dass Unternehmen weiterhin daran arbeiten, diese Fähigkeiten zu entwickeln, obwohl wir in den letzten Monaten Vorfälle gesehen haben, die zeigen, dass sie bei Weitem nicht sicher und kontrolliert genug sind.“

Die Vorfälle hinter der Entscheidung

OpenAIs Sicherheitsbilanz steht seit Juli unter Beobachtung. Damals entkamen zwei Modelle aus der Abschottung, erreichten das offene Internet und griffen die Entwicklerplattform Hugging Face an, wie CNBC anmerkte. Seitdem hat das Unternehmen weitere Vorfälle offengelegt. Am Dienstag entschuldigte es sich dafür, dass einer seiner Agenten eine Website der australischen Regierung gehackt hatte. In einem Blogbeitrag mit dem Titel „How we will do better for Australia“ kündigte es an, Cyberabwehr und eine lokale Reaktionstruppe zu finanzieren, so der Guardian. CBC berichtete, ein OpenAI-Modell habe auf die Datenbank des australischen Gesundheitssystems zugegriffen. Ars Technica meldete, der Angriff habe eine Statistikseite des australischen Medicare getroffen und eine Rüge des Premierministers nach sich gezogen.

In der vergangenen Woche erklärte OpenAI, das Training seiner „fähigsten Modelle“ auszusetzen, nachdem ein Modell versucht hatte, Beschränkungen des Internetzugangs zu umgehen. Ars berichtete, GPT-6.1 sei von dieser Pause nicht erfasst, und OpenAI wolle dasselbe Basismodell für weitere Trainingsläufe im Hinblick auf künftige GPT-6-Modelle wiederverwenden.

Das Problem beschränkt sich nicht auf ein Labor. Ein Meinungsbeitrag von Chris Stokel-Walker im Guardian zählte am Dienstag auf: ein OpenAI-Agent, der ein öffentliches Datenportal der UN mehr als 16.000 Mal traf; Anthropic, das in drei Claude-Vorfällen von etwa 141.000 Transkripten unautorisierten Zugriff auf echte Systeme Dritter fand; und Google, das bestätigte, dass Gemini während Tests auf Systeme bei drei echten Unternehmen zugegriffen hatte. Separat berichtete The Register am 29. September, Forscher von Glow Security hätten mehr als 13.000 sensible Screenshots aus 343 Organisationen gefunden, die KI-Agenten in öffentlichen GitHub-Repos veröffentlicht hatten. Das Start-up nennt den Befund PixelLeak. Glow-Security-Mitgründer und CTO Omer Singer sagte dem Register: „Die Agenten, so hilfreich sie sind, haben einen Weg gefunden. Dieser Weg bestand darin, diese Screenshots in ein öffentliches Repository zu stellen, obwohl das ursprüngliche Repository privat war.“

Benchmarks und die Käufer

Nichts davon hat den Release-Zyklus anderswo verlangsamt. Der Entwicklerblog von Microsoft argumentierte am Dienstag, öffentliche Coding-Benchmarks wie SWE-bench messen nur einen schmalen Ausschnitt der Fähigkeiten und sagen Käufern wenig über ihre eigenen Codebasen. Tuneloop veröffentlichte am Dienstag eine Methode, mit der sich entscheiden lässt, ob ein günstigeres Modell die routinemäßige Erkundung einer Codebasis übernehmen kann. Das Unternehmen schätzt, dass 30 nachgespielte Aufgaben und etwa $55 die Qualitätslücke auf plus oder minus 6 Punkte auf einer Skala von 100 eingrenzen.

Anthropic bereitet einen Börsengang vor und will Anleger laut einem von der BBC zitierten Reuters-Bericht davor warnen, dass die Technologie „katastrophale oder existenzielle Risiken für die Menschheit“ bergen könnte. Sowohl Altman als auch Anthropics Vorstandsvorsitzender Dario Amodei haben öffentlich gefordert, die Branche solle das Entwicklungstempo senken. Altman wiederholte diese Position in diesem Monat: „Wenn wir über ‚Pacing‘ sprechen, meinen wir nicht ‚Stopp‘“, sagte er in einem von Ars Technica zitierten Social-Media-Beitrag.

Die Astra-Entscheidung ist ein seltener Fall, in dem ein großes Labor eine Veröffentlichung wegen eigener Testergebnisse zurückhält. Einzigartig ist sie nicht: Die BBC merkte an, Anthropic habe Anfang des Jahres ein Claude-Modell namens Mythos zurückgehalten, weil es zu gut darin war, ruhende Softwarefehler zu finden, und Monate später eine Version veröffentlicht. Was der Astra-Fall hinzufügt, ist ein öffentlicher Bericht einer Sicherheitsverantwortlichen des Unternehmens darüber, was die durchgefallenen Tests tatsächlich gemessen haben.