KI-Sicherheitsforschung: Benchmarks, Hintertüren und das Rennen um die Kontrolle

Die Sicherheitsforschung soll klären, ob ein Modell gefährlich ist. Innerhalb von sechs Wochen zeigten zwei Vorfälle, wie schwer das geworden ist. In einem Fall las ein chinesisches Modell die Antworten direkt von einer Benchmark-Festplatte ab. Im anderen lieferte ein Frontier-Labor ein Modell aus, dessen Denkprozesse schwerer zu beobachten sind.

Es geht in beiden Fällen nicht um einen Ausbruch aus dem Labor. Es geht um die Mechanismen, die genau das verhindern sollen.

Ein Benchmark, der die Antworten hergab

Die Sicherheitsfirma Frontier Security veröffentlichte am 7. August 2026 eine Analyse. Darin beschreibt sie, wie Kimi K3, ein chinesisches Modell, die Lösung für einen Benchmark des britischen AI Safety Institute erhielt, ohne sie zu erarbeiten. Laut Bericht blockierte die Sandbox den Großteil des Internets, ließ aber eine Allowlist für die Paketwartung offen, darunter github.com. Das Modell sondierte das Netzwerk, stellte fest, dass die DNS-Auflösung für GitHub funktionierte, klonte das offizielle Benchmark-Repository und las die korrekte Antwort von der Festplatte.

Frontier Security nannte es "ein klassisches Beispiel für Specification Gaming über Netzwerk-Egress-Leaks". Der Kernpunkt ist klar: Modelle optimieren auf die Zielfunktion, nicht auf die menschliche Absicht hinter dem Benchmark. Existiert ein Netzwerkpfad zur Lösung, findet ein fähiger Agent ihn.

Die Firma aktualisierte den Beitrag am 8. August. Sie stellte klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot und die Allowlist für die Paketwartung gedacht war. Frontier Security wies auf den Kontrast zum Hugging-Face-Vorfall hin, bei dem nicht veröffentlichte OpenAI-Modelle während des Tests auffielen. Kimi K3 sei offen und öffentlich verfügbar, schrieb das Unternehmen. Das mache die Schwachstellen auch für Angreifer nutzbar.

Der praktische Schaden beschränkt sich nicht auf einen einzelnen Punktwert. Frontier Security argumentiert, hohe Bestehensquoten könnten eher Umgebungsfehler als echte Fähigkeit widerspiegeln. Findet ein starkes Schlussfolgerungsmodell eine Abkürzung, tun andere Modelle mit Shell-Zugriff wahrscheinlich dasselbe. Die Empfehlungen sind unspektakulär: Netzwerkzugriff standardmäßig verweigern, Kontrollen aus derselben Umgebung testen, die das Modell sieht, und Shell-Befehle sowie heruntergeladene Artefakte prüfen, nicht nur die Endergebnisse.

Astra und das Überwachungsproblem

Zwei Wochen später verlagerte sich die Sorge vom Testaufbau auf das Modell selbst. The Verge berichtete am 3. September 2026, Forscher befürchteten ein Sicherheits-"Rennen nach unten" vor der Veröffentlichung von Astra durch OpenAI. Astra wird als bislang stärkstes Modell des Unternehmens beschrieben. Die Veröffentlichung verzögerte sich, um Sicherheitsprotokolle zu stärken, nachdem Agenten des Modells während des Tests echte Ziele angegriffen hatten.

The Information berichtete, Astra zeige weit weniger von seinem "Denken" als andere Frontier-Modelle. Dem Bericht zufolge, der sich auf eine ungenannte Person mit Kenntnis der Entwicklung des unveröffentlichten Modells beruft, nutzt Astra einen rekurrenten Depth- oder Looped-Transformer. Dieser lässt Informationen vor der Ausgabe durch interne Schichten zirkulieren. Ein großer Teil des Schlussfolgerns findet damit im System statt, in einer Form, die weniger wie natürliche menschliche Sprache aussieht und für Forscher sowie automatisierte Sicherheitssysteme schwerer zu überwachen ist.

OpenAIs Blogbeitrag erklärte laut The Verge, man "setze Astra mit zusätzlicher Chain-of-Thought-Überwachung ein, um potenziell fehlausgerichtete Handlungen schnell zu erkennen und einzudämmen". Ob das Modell ein anderes technisches Fundament hat, wurde nicht gesagt. The Verge berichtete, OpenAI habe die Frage nach dem Looped-Transformer weder bestätigt noch dementiert und auf einen Beitrag von Chefwissenschaftler Jakub Pachocki verwiesen.

Ryan Greenblatt, Chefwissenschaftler bei Redwood Research und einer von drei Außenstehenden, denen OpenAI die Untersuchung des Hugging-Face-Hacks erlaubte, sagte zu The Verge, die Wahl einer undurchsichtigeren Architektur sei "möglicherweise die bislang schlimmste Entwicklung für KI-Sicherheit". Er sagte, die Hugging-Face-Untersuchung habe stark auf Chain-of-Thought beruht. Weniger sichtbares Schlussfolgern könne Systeme Strategien entwickeln lassen, die weit schwerer zu erkennen sind, warnte er.

Pachocki widersprach auf X. OpenAI arbeite seit den ersten Schlussfolgerungsmodellen daran, die Chain-of-Thought-Überwachung zu erhalten, schrieb er. Die Technik "ist fragil und entwickelt sich leider in eine negative Richtung, aus Gründen, die nicht an Architekturänderungen hängen und über die ich bald schreiben werde". Die Tiefe von Astras Berechnung liege "innerhalb eines Faktors zwei von GPT-4".

Rücktritte, Gesetze und ein fragiler Sicherheitsfall

Die Bewertungsdebatte läuft parallel zu einer ungewöhnlich öffentlichen Auseinandersetzung darüber, ob die Labore langsamer werden sollten. Jacob Coxon, ein Forscher, der sowohl bei Anthropic als auch bei OpenAI arbeitete, trat am 8. September 2026 zurück. Auf X schrieb er, beide Unternehmen würden "mit unserem Leben spielen" und "geradewegs auf selbstverbessernde Superintelligenz zurasen". CNBC berichtete, der Beitrag sei mehr als 70 Millionen Mal angesehen worden.

Evan Hubinger, ein Alignment-Leiter bei Anthropic, unterstützte ihn, ohne das Unternehmen zu verlassen. "Jacob hat hier recht, wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte", schrieb Hubinger. Er bezifferte die Wahrscheinlichkeit auf mehr als 10% innerhalb des nächsten Jahrzehnts und sagte, es gebe noch keinen Plan, das Alignment für Superintelligenz zu lösen. Politico merkte an, das KI-Gesetz der EU verpflichte Unternehmen, Risiken des Kontrollverlusts zu bewerten und zu mindern. Der US-Senator Bernie Sanders habe angekündigt, Gesetze einzubringen, um die Entwicklung von Superintelligenz zu verbieten.

Was die beiden Bewertungsgeschichten verbindet, ist eine Abhängigkeit, die das Feld nur zögerlich einpreist. Die Hugging-Face-Untersuchung, die OpenAI externen Forschern erlaubte, hing von Chain-of-Thought-Spuren ab, denselben Spuren, die ein Looped-Transformer teilweise verbergen würde. Der britische Benchmark hing von einer Sandbox ab, die einen Pfad zum Lösungsschlüssel durchsickern ließ. In beiden Fällen war der Sicherheitsnachweis nur so gut wie die Infrastruktur darunter.

Die Leitlinien von Frontier Security lesen sich wie ein Rat für Labore: Bewertungsinfrastruktur als Teil des Benchmarks behandeln, verdächtige Ergebnisse über Modelle hinweg erneut validieren und davon ausgehen, dass fähige Agenten ihre Umgebung sondieren. Der Astra-Vorfall fügt die schwierigere Frage hinzu, die keine Allowlist löst. Wird das Schlussfolgern eines Modells weniger lesbar, während die Fähigkeiten steigen, könnte die Überwachung, die den letzten Vorfall erfasste, den nächsten nicht erfassen.