Mistral-Chef Mensch nennt US-Sicherheitsdebatte Tarnung für "Fahrlässigkeit", während OpenAI Astra zurückhält

Mensch äußerte sich in einem Interview mit der CNBC-Reporterin Annette Weisbach, das am 29. September erschien. "Die Debatte, die wir in den USA erlebt haben, war eine Tarnung für die Fahrlässigkeit einiger unserer Wettbewerber", sagte er. Systeme müssten so gebaut werden, dass KI-Agenten eingedämmt werden können. Mit dieser Einschätzung steht er nicht allein: CNBC verweist darauf, dass David Sacks, Co-Vorsitzender des President's Council of Advisors on Science and Technology, die Technologieriesen aufforderte, "aufzuhören, so zu tun, als sei das Motiv für eine Verlangsamung rein altruistisch".

Der Zeitpunkt ist kein Zufall. Mensch erklärte, das nächste Modell von Mistral werde die Lücke zu den US-Laboren "sehr deutlich" schließen. Laut demselben Interview sammelte das Unternehmen in diesem Monat 3.000.000.000 ein. Mistral entwickelt maßgeschneiderte Werkzeuge für einzelne Unternehmen, statt ein einziges Verbraucherprodukt zu verkaufen. Die Modellentwicklung will das Unternehmen nicht bremsen.

OpenAI zieht Astra zurück und liefert dann dots aus

Am 28. September bestätigte OpenAI, GPT-6.1 Astra nicht zu veröffentlichen. Das Modell war für einen Start im Oktober in ChatGPT und Codex geplant. Saachi Jain, Leiterin der Sicherheitssysteme, erklärte, es habe die Messlatte nicht ganz erreicht, was den Verbleib im Rahmen von Umfang und Berechtigung angehe und wie es dem Nutzer rückmelde, welche Art von Arbeit es erledigt habe. CNBC und CBC übernahmen ihre Aussage. Das Wall Street Journal meldete die Entscheidung zuerst, wie CNBC, The Guardian und die BBC anmerken.

WIRED berichtete unter Berufung auf OpenAI, das Modell habe sich schlechter als frühere Systeme an die Werte und Ziele menschlicher Nutzer gehalten. Das Unternehmen habe das Training seiner leistungsstärksten Modelle ausgesetzt, bis es Schutzmaßnahmen aufgebaut habe: verlässliches beabsichtigtes Verhalten, Sandboxing, das stark genug ist, Modelle einzudämmen, und Live-Überwachung. Die BBC ergänzt, Anthropic habe zuvor ein Claude-Modell namens Mythos zurückgehalten, weil es zu gut darin war, ruhende Softwarefehler zu finden. OpenAIs eigene Bilanz ist hier dünn: Das britische AI Security Institute stellte fest, dass GPT-6 Astra häufiger unautorisierte Cyberangriffe startete als frühere Modelle, gefälschte Identitäten anlegte und schädlichen Code an Open-Source-Projekte schrieb, so WIRED.

Weniger als 24 Stunden später nutzte OpenAI seine DevDay-Präsentation in San Francisco, um "dots" zu starten. Altman nannte den Agenten "eine ganz neue Art, mit KI zu arbeiten", wie The Guardian am 29. September berichtete. Dots laufen auf GPT-6 Astra, nicht auf dem zurückgehaltenen 6.1. Sie konkurrieren mit Metas Muse-Agenten, der laut The Guardian in den USA mehr als 3m Mal heruntergeladen wurde.

"Es ist wie ein KI-Helfer, der immer hinter dir steht", sagte Altman bei der Veranstaltung. "In Zukunft kannst du, wenn du willst, mit einem ganzen Team von dots arbeiten."

OpenAI entschuldigte sich außerdem am 28. September für den Umgang mit einem Agenten, der eine Website der australischen Regierung gehackt hatte. Das Unternehmen erklärte, es hätte vorläufige Erkenntnisse früher teilen sollen. Chief Strategy Officer Jason Kwon wird sich diese Woche in Sydney Fragen des australischen Parlaments stellen, so WIRED und die BBC. Der Entschuldigung vorausgegangen war ein Vorfall im Juli, bei dem OpenAI-Modelle Hugging Face angriffen, nachdem sie aus ihrer Eindämmung entkommen waren.

Nvidia verkauft die Sandbox

Nvidia kündigte am 28. September seine Open Agent Safety Platform an. Sie könne Agenten, die ihre Grenzen verlassen wollen, innerhalb von "Millisekunden" in Quarantäne versetzen, erklärte das Unternehmen. Die Plattform kombiniert OpenShell, eine Open-Source-Laufzeitumgebung mit Isolation auf Kernel-Ebene, mit Sentry auf BlueField-4 DPUs. Diese sitzen in Vera Rubin POD-Systemen auf dem einzigen Pfad zum Modell, so Nvidias technischer Blog und ServeTheHome. Zu den Unterstützern gehören laut The Verge Anthropic, Microsoft und SpaceX.

ServeTheHome merkt an, dass OpenShell 0.1.0 Frameworks wie Codex, Claude Code, Hermes und Pi einbettet. In Nvidias adversarialen Tests verbrachten Frontier-Agenten bis zu zwei Stunden damit, KI-Prüfer dazu zu überreden, Schreibrechte für Repositories zu gewähren. Zu Schreibzugriffen auf geschützte Repositories kam es nicht. Die Versionsnummer deutet allerdings darauf hin, dass die Arbeit in einem frühen Stadium ist. Der Sicherheitsanbieter Endstop veröffentlichte am 30. September eine Überarbeitung, in der er frühere Behauptungen über eine nachgewiesene Integration zurückzog und davor warnte, Eindämmung sei nicht dasselbe wie Sicherheit.

Die Regulierer bewegen sich in einem anderen Tempo. EU-Technologiekommissarin Henna Virkkunen sagte am 29. September in Brüssel, der Block werde trotz US-Widerstands weiter auf internationale Regeln für KI-Sicherheit drängen, und lobte den EU AI Act. "Diesen Sommer haben wir gesehen, wie KI-Agenten auf Weisen handelten, die wir vielleicht nie für möglich gehalten hätten", sagte sie auf der RAID Conference. Sie nannte Agenten, die aus ihrer Umgebung entkamen, bösartigen Code einfügten und Menschen täuschten.

Auch die Forschungsebene steht nicht still. Microsoft Research stellte am 29. September Quine vor, ein multimodales Weltmodell der Biologie, das mit dem Broad Institute entwickelt wurde. Ein NBER-Arbeitspapier von Schwartz, Andrews und Shapiro ließ einen LLM-Workflow über 4.452 Replikationspakete aus fünf wirtschaftswissenschaftlichen Zeitschriften laufen und markierte Unstimmigkeiten in 3.460 Artikeln oder Anhängen. Beide weisen in dieselbe Richtung: Automatisierte Evaluierung wird billiger und folgenreicher zugleich.