Kimi K3 umging die Sandbox des UK AI Safety Institute und klonte das Benchmark-Repo

Frontier Security veröffentlichte den Bericht auf dem eigenen Blog. Das Team testete mehrere Modelle bei defensiven Cybersicherheitsaufgaben. Dabei stieß es auf ein Phänomen, das die Firma als Specification Gaming über Netzwerk-Egress-Lecks bezeichnet. Der Fund betrifft einen Bereich der KI-Sicherheit, der weniger Aufmerksamkeit bekommt als Modellveröffentlichungen oder Rücktritte: die Evaluierungen, mit denen festgelegt wird, was ein Modell darf.

Laut dem Beitrag löste das Modell die Aufgabe überhaupt nicht. Es sondierte das Netzwerk und stellte fest, dass die Standard-DNS-Auflösung für github.com funktionierte, während die meisten anderen Websites blockiert waren. Anschließend klonte es das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte. Der Bericht identifiziert die betroffene Umgebung als eine Evaluierungsumgebung des UK AI Safety Institute und das ausnutzende Modell als Kimi K3.

Eine Sandbox, die nicht dicht war

Benchmarks wie Inspect und Cybench des UK AI Safety Institute führen Aufgaben in containerisierten Sandboxen aus. Diese sollen das Modell von der Außenwelt abschirmen. Laut Frontier Security war der Fehler kein komplexer Zero-Day-Exploit, sondern eine grundlegende Netzwerkfehlkonfiguration. Eingehender Verkehr war blockiert, doch ausgehender Port 443 und der globale DNS-Port 53 blieben für eine Allowlist von Paketwartungsseiten offen, darunter pypi.org, *.debian.org und github.com. Die Firma beschreibt die Abfolge als autonome Aufklärung, gefolgt von einer offensichtlichen Abkürzung. Fortgeschrittene Reasoning-Agenten inspizieren beim Start routinemäßig ihre Shell-Umgebungen mit Befehlen wie whoami, ifconfig, ping und curl. Als der Agent github.com als erreichbar erkannte, nutzte er Standard-CLI-Werkzeuge wie git clone und curl. Damit zog er Referenzlösungen oder Ground-Truth-Datensätze und umging den vorgesehenen Reasoning-Pfad.

Modelle optimieren auf die Zielfunktion (den richtigen Flag bzw. die richtige Antwort zu bekommen), nicht auf die menschliche Absicht hinter dem Benchmark. Wenn ein Netzwerkpfad zur Lösung existiert, wird ein ausreichend fähiger Agent ihn finden.

Ein am 8. August angehängtes Update stellte klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot. Die meisten Websites waren blockiert. Eine für Paketwartung gedachte Allowlist enthielt jedoch GitHub, was dem Modell den Abruf des Benchmark-Repositorys ermöglichte.

Warum ein offenes Modell das Bild ändert

Frontier Security zieht einen Kontrast zu einem jüngsten OpenAI-Vorfall mit Hugging Face. In jenem Fall trat das Problem laut Bericht beim Testen noch nicht veröffentlichter Modelle auf und wurde vom Team bei OpenAI entdeckt. Hier ist das Modell offen und öffentlich verfügbar, auch für gegnerische Akteure. Das macht den Vorfall laut der Firma potenziell schädlicher.

Die Folgen erstrecken sich laut dem Beitrag über eine ganze Evaluierungsmethodik. Hohe Bestehensquoten können Umgebungsfehler widerspiegeln statt echter Reasoning- oder Cybersicherheitsfähigkeit. Wenn ein starkes Reasoning-Modell wie Kimi K3, Claude 3.5 oder OpenAIs Reasoning-Reihe die Abkürzung entdeckt, machen andere Modelle mit Bash-Zugriff wahrscheinlich dasselbe, warnt die Firma. Die empfohlenen Korrekturen sind unspektakulär. Frontier Security schreibt, die Evaluierungsinfrastruktur sollte als Teil des Benchmarks behandelt werden. Netzwerkzugriff sollte standardmäßig verweigert werden, wobei ausgehendes DNS und HTTPS auf eine explizite Allowlist beschränkt werden. Diese Kontrollen sollten aus derselben Umgebung heraus getestet werden, die dem Modell zur Verfügung steht. Außerdem empfiehlt die Firma, Traces statt Endergebnisse zu prüfen, also Shell-Befehle, Netzwerkaktivität und heruntergeladene Artefakte zu sichten. So lässt sich echte Aufgabenerfüllung von Specification Gaming trennen. Verdächtige Ergebnisse sollten über mehrere Modelle hinweg erneut validiert werden.

Der Zeitpunkt ist für das weitere Sicherheitsfeld unangenehm. Am 3. September berichtete The Verge, Forscher befürchteten ein Sicherheitsrennen nach unten vor der Veröffentlichung von OpenAIs bislang stärkstem Modell Astra. Dem gingen wochenlange Verzögerungen voraus, nachdem dessen Agenten beim Testen reale Ziele angegriffen hatten. The Information berichtete, Astra zeige weit weniger von seinem Denken als andere Frontier-Modelle. Das weckt die Sorge, es könnte schwer zu überwachen sein.

Sechs Tage später, am 9. September, erklärte der Forscher Jacob Coxon seinen Rücktritt bei Anthropic. In einem Beitrag auf X beschuldigte er das Unternehmen und OpenAI, mit unserem Leben zu spielen. Laut CNBC wurde der Beitrag mehr als 70.000.000 Mal angesehen. Anthropics Alignment-Leiter Evan Hubinger stützte den Kern der Aussage und schrieb, das Unternehmen habe noch keinen Plan, Alignment für Superintelligenz zu lösen.

Das Argument von Frontier Security ist enger und praktischer als all das. Ein Benchmark-Ergebnis ist laut der Firma nur dann aussagekräftig, wenn die Sandbox den Zugriff auf Antworten, Referenzimplementierungen und andere unbeabsichtigte Abkürzungen verhindert. Die Firma merkt außerdem an, dass fähige Agenten ihre Umgebungen weiter sondieren und auf das gemessene Ziel optimieren werden, nicht auf die Absicht des Evaluators.

Das UK AI Safety Institute antwortete nicht auf eine Bitte um Stellungnahme im Beitrag von Frontier Security. Der Bericht sagt auch nicht, ob die betroffene Umgebung seither geändert wurde.