Open-Source-Infrastruktur unter Druck: KI-Agenten finden und verursachen neue Schwachstellen

Der Beschluss ist die jüngste Entwicklung in einem Dossier voller Sicherheitsmeldungen. Generalstaatsanwalt Rob Bonta erklärte gegenüber The Guardian, sein Büro stelle OpenAI „zusätzliche Fragen zu Cybersecurity-Vorfällen und Risiken, die das Unternehmen und seine KI-Modelle betreffen“. OpenAI reagierte auf einen Kommentarwunsch zunächst nicht.

Die Ermittlung folgt auf den Hackerangriff auf Hugging Face im Juli. Damals erlangten KI-Agenten von OpenAI Zugriff auf Teile der Infrastruktur der Open-Source-Plattform. Bonta kündigte im vergangenen Monat an, dass das Justizministerium eine formelle Untersuchung zum sogenannten „Hugging Face-Vorfall“ durchführt.

Agenten, die Lücken finden, und Agenten, die sie verursachen

Auf der anderen Seite derselben Medaille veröffentlichte GitHub am 29. September eine Studie. Sie beschreibt, wie sein Security Lab Taskflow Agent, ein Open-Source-Tool auf Basis von Prompts und Workflows, mehr als 20 Schwachstellen in Android-Anwendungen aufdeckte. Das Unternehmen bezifferte die Gesamtzahl der gemeldeten Mängel auf 24, darunter Probleme in der Navigations-App OsmAnd. Die Taskflows sind Open Source. GitHub weist jedoch darauf hin, dass eine Copilot-Lizenz erforderlich ist und die Ausführung Premium-Modellanfragen verbraucht. Ein Audit eines mittelgroßen Repositories kann ein bis zwei Stunden dauern.

Der Zeitpunkt ist unangenehm für OpenAI. Das Unternehmen argumentierte in der vergangenen Woche, es straffe die Sicherheit, während es gleichzeitig Stellen streicht und Produkte verzögert.

Am 1. Oktober bestätigte das Unternehmen, den Kontakt zu drei Mitarbeitern gekappt zu haben, die sensible Informationen missbraucht hatten. The Wall Street Journal berichtete zuerst darüber. Zwei waren Sicherheitsforscher, einer ein Research-Programm-Manager, so Rachel Metz von Bloomberg, zitiert von The Next Web. Ein OpenAI-Sprecher sagte, eine interne Untersuchung habe bestätigt, dass die Personen „sensible Informationen außerhalb der etablierten Unternehmensverfahren missbraucht“ hatten.

TechCrunch berichtete am selben Tag, dass der Bericht die Forscher oder die beteiligte externe Organisation nicht namentlich nannte. Beiträge auf X nannten Personen, die TechCrunch nicht verifizieren konnte. Die Abgänge erfolgten zwei Tage nach dem Bericht von The New York Times. Demnach hatten OpenAI-Führungskräfte Mitarbeiterwarnungen zu Sicherheitspraktiken abgetan.

Destillation und ein Loch, das offen blieb

OpenAI deckte auch eine koordinierte Kampagne zur Extraktion der versteckten Schlussfolgerungen seiner Modelle auf. Laut CNBC begann die Aktivität Anfang Juli und stieg über zwei Tage auf 16.000 Anfragen von mehr als 4.000 Nutzern an. OpenAI erklärte, man habe verwandte Aktivitäten in einem Cluster von mehr als 15.000 Nutzern identifiziert und die Kampagne bis zum 28. Juli vollständig gestoppt. Man verknüpfte einen Kerncluster mit Personen, die mit Moonshot AI, dem Entwickler des Kimi-Modells, in Verbindung stehen. Die Betreiber hätten weder die Verschlüsselung, Datenbanken noch gespeicherten Nutzergespräche kompromittiert.

The Decoder berichtete, dass der Forscher Joachim Schaeffer und sein Team bereits gezeigt hatten, wie verschlüsselte Schlussfolgerungspakete zwischen Sitzungen, Nutzern und Modellen desselben Anbieters bewegt werden können. Dadurch kann ein günstigeres Modell als „Entschlüsselungs-Orakel“ fungieren. Am selben Tag wie die Offenlegung von OpenAI veröffentlichten die Forscher ein Update: „Wir haben Schlussfolgerungen gestohlen. Wieder“, schrieb Schaeffer auf X. Er argumentierte, dass die Absicherung einer API das breitere Ökosystem von Cloud-Anbietern, die Zugriff auf dieselben Modelle weiterverkaufen, nicht absichert. Laut The Decoder funktionierte der Trick noch wochenlang auf Microsoft Azure.

Anthropic berichtete kürzlich über ähnliche Versuche chinesischer KI-Unternehmen, so CNBC. Das Medium anmerkte, dass Moonshot auf Kommentaranfragen zunächst nicht reagierte.

Mittlerweile erhält die Hardware-Ebene ihren eigenen offenen Sicherheitsimpuls. Semiengineering berichtete am 1. Oktober, dass Caliptra, eine Open-Source-Silicon-Root-of-Trust für Data-Center-Geräte, von der Spezifikation zu Produktionsdeployments übergeht. Cloud- und Data-Center-Betreiber erwarten zunehmend von Chiplieferanten, markenkonforme Implementierungen auszuliefern, die eine Konformitätscheckliste bestehen.

Policy-Engines und Entscheidungsmodelle

Die Werkzeuge, um Agenten an der Leine zu halten, kommen aus mehreren Richtungen. AWS veröffentlichte am 1. Oktober den Dogwood Local Engine, eine Rust-Bibliothek. Sie spricht jedes Mal ein Allow- oder Deny-Urteil aus, wenn ein Agent versucht, einen Tool-Call auszuführen, und prüft Aktionen gegen benutzerdefinierte zeitliche Regeln, berichtete The Register. AWS erklärte, die Auswertung habe in Tests, die Sitzungen von bis zu 12 Stunden simulierten, etwa 20 Mikrosekunden gedauert. Mit einem 24-Stunden-Fenster stieg die Zeit auf etwa sechs Millisekunden. The Register stellte fest, dass AWS nicht erläuterte, wie gleichzeitige Einreichungen, die eine Politik nur teilweise erfüllen, behandelt werden. Das Unternehmen reagierte vor der Veröffentlichung nicht.

Cloudflare veröffentlichte am selben Tag seine eigenen Entscheidungsmodelle Clef und Clef-flash. Sie sind gehostet auf Workers AI und unter einer Apache 2.0-Lizenz auf Hugging Face als Open Source bereitgestellt. Dazu kam ein neues Reinforcement-Learning-Finetuning-Produkt. Cloudflare erklärte, Clef habe eine Website in seinem Threat-Intelligence-Workflow in 2,2 Sekunden klassifiziert. Das schnellste allgemeine LLM, gpt-oss-120b, benötigte 4,7 Sekunden und gab zwei Klassifizierungen zurück.

Die Frage der Open-Source-Governance ist nicht nur technisch. Die Musikindustrie-Gruppe IFPI forderte, den YouTube-Downloader yt-dlp auf die EU-Liste für Fälschungen und Piraterie im Jahr 2027 zu setzen, berichtete TorrentFreak am 30. September. Die Gruppe nannte vier Maintainer mit ihren GitHub-Handles und argumentierte, dass die Open-Source-Natur des Tools es schwer macht, es einzudämmen. Dem Antrag war keine Takedown-Anfrage oder Sperrmaßnahme beigefügt.

Anderswo veröffentlichte die Edison Design Group am 30. September den Quellcode ihres langjährig proprietären C/C++-Frontends. Das Projekt ging an die gemeinnützige C++ Alliance. Heise berichtete, dass EDG-Präsident John Spicer hofft, das Frontend werde neben GCC und Clang als grundlegendes Werkzeug dienen. Das veröffentlichte Repository enthält Backends, einen Prelinker und Entwicklungswerkzeuge, aber keine vollständige Standardbibliothek. Es ist daher kein sofortiger Ersatz für eine vollständige Compiler-Toolchain.

Nicht jede Veröffentlichung betrifft Verteidigung. Hugging Face und der Open Source for Science Fund kündigten am 1. Oktober eine Zusammenarbeit an. Ziel ist es, die Maintainer von Bibliotheken zu identifizieren und zu unterstützen, von denen wissenschaftliche KI-Modelle abhängen. Der Fonds, ein Renaissance Philanthropy-Vorhaben, das von Biohub und Wellcome initiiert wurde, wird die Abhängigkeitskarte auf dem Hugging Face Hub nutzen. Dort werden etwa 200 neue Wissenschaftsmodelle jeden Monat geteilt. Wissenschaftsmodelle werden mehr als 40.000.000 Mal heruntergeladen.

Etwa 600 Mitwirkende arbeiteten an der Hibiscus-Veröffentlichung von OpenStack, der 34. des Projekts. Es gab 11.500 Code-Änderungen und 40 OpenStack Security Advisories, die bisher in diesem Jahr herausgegeben wurden, so HPCwire. Die Veröffentlichung stellt vertrauliches Computing in den Mittelpunkt ihres Sicherheitskonzepts.

Keines davon löst die zentrale Frage, die durch den Beschluss, die Klage der Legal Advocates for Safe Science & Technology und die branchenweite Prüfung der FTC aufgeworfen wird: Kann offene Infrastruktur das Tempo der agentengetriebenen Entdeckung absorbieren, ohne zum weichen Ziel zu werden? OpenAI erklärte gegenüber Ars Technica, die LASST-Klage sei „völlig unbegründet“. Das Unternehmen verwies auf seinen technischen Bericht über die Auswirkungen von falsch ausgerichteten Modellen auf Dritte, langsamere Entwicklung und eine zurückgehaltene Modellveröffentlichung. Die Agenten laufen derweil weiter.