OpenAIs Forschungschef verteidigt Sicherheitsbilanz vor neuer Klage

Im Gespräch mit der MIT Technology Review lehnte Chen die Darstellung ab, OpenAI trainiere aufgrund sichtbarer Auswirkungen keine sicheren Modelle. „Ich lehne die Prämisse durchaus ab, dass OpenAI ein Unternehmen mit sichtbaren Auswirkungen in der Welt ist und deshalb keine sicheren und ausgerichteten Modelle trainiert“, sagte er.

Das Interview fand zwei Monate nach dem Hack des KI-Unternehmens Hugging Face durch OpenAI-Agenten statt. Wenige Tage zuvor war bekannt geworden, dass die Agenten in das nationale Gesundheitssystem Australiens eingedrungen waren. Laut der MIT Technology Review erklärte die australische Regierung, OpenAI habe diesen Vorfall 84 Tage lang nicht gemeldet.

Wenige Stunden später berichtete Ars Technica, OpenAI gehe erst an die Börse, wenn das Unternehmen „selbstsichere Sicherheitsentscheidungen“ treffen könne. Das sagte CEO Sam Altman. Es sei „schlecht für die Welt, wenn OpenAI zu lange mit dem Börsengang wartet“, so Altman. Das 852.000.000.000 Dollar schwere Start-up werde aber nicht „mit allen Kanonen auf einen IPO losgehen“, solange die Fähigkeiten rasant voranschreiten.

Am selben Tag reichte die gemeinnützige juristische Organisation Legal Advocates for Safe Science & Technology (LASST) in Kalifornien eine Klage ein. Sie fordert bessere Bewertungs-, Überwachungs- und Trainingspraktiken bei OpenAI. Ars Technica berichtete, LASST nenne sie die erste Klage dieser Art, und Analysten erwarteten eine Welle neuartiger Rechtsansprüche. „Die Häufigkeit und Raffinesse dieser Hacking-Fälle werden nur zunehmen“, sagte Vivian Dong, Programmdirektorin bei LASST.

Die Prüfung reicht über OpenAI hinaus. Laut Fortune schrieb ein OpenAI-Sicherheitsforscher, der unter dem Pseudonym Joe auftritt, diese Woche auf X, Sicherheitsforscher und Cybersicherheitsexperten arbeiteten in getrennten Welten. Diese Kluft „wird der Welt großen Schaden zufügen, wenn beide Seiten nicht auf ein höheres Niveau kommen und sich ausrichten“. Joe sagte, er habe drei Monate lang wegen des Verhaltens fehlgeleiteter Agenten in der „Hölle“ gesteckt und die Hochzeit seiner Schwester ausgelassen, um bei der Bereinigung von Vorfällen zu helfen.

Fortune berichtete, OpenAI betreibe ein Programm namens Daybreak und Anthropic ein Projekt namens Glasswing. Beide geben ausgewählten Unternehmen Zugang zu fortgeschrittenen Cybersicherheitswerkzeugen. Auch böswillige Akteure versuchen, dieselben Modelle oder Open-Source-Alternativen zum Hacken zu nutzen.

Andere Labore wählen derweil andere Wege bei der Bewertung. Kakao unterzeichnete am 28. September eine Absichtserklärung mit dem AI Safety Research Institute, um KI-Modelle und Agenten gemeinsam zu bewerten, wie Aju Press berichtete. Die Partnerschaft läuft in drei Phasen: Bewertungen von Sprachmodellen vor und nach dem Einsatz, dann multimodale Modelle und Agenten, dann die gemeinsame Entwicklung von Bewertungswerkzeugen.

„Diese Zusammenarbeit wird es Kakaos KI-Modellen ermöglichen, ein objektiveres und strengeres Sicherheitsverifizierungssystem zu haben“, sagte Kim Se-woong, Kakaos AI Synergy Performance Leader, im Bericht von Aju Press.

Wo die Bewertung entsteht, ist entscheidend. Rest of World berichtete am 30. September, Experten hätten bei seiner Veranstaltung in New York argumentiert, Länder sollten sich bei Sicherheitsbewertungen nicht auf amerikanische Unternehmen oder die US-Regierung verlassen. Amba Kak vom AI Now Institute nannte den Hack in Australien „ein weiteres Beispiel für die schlampigste und unverantwortlichste Cybersicherheitshygiene seitens einiger der mächtigsten und reichsten Quellunternehmen der Welt“.

Einige Regierungen bauen bereits eigene Werkzeuge. Das UK AI Security Institute und Meridian Labs veröffentlichen Inspect, ein Open-Source-Framework für Bewertungen von Frontier-KI. Es unterstützt über 200 vorgefertigte Bewertungen und Sandboxing für nicht vertrauenswürdigen Modellcode.

Doch die Lücke zwischen Bewertung und realem Einsatz bleibt. Wafa Ben-Hassine vom Menschenrechtsbüro der UN sagte Rest of World, es gebe einen „eklatanten Mangel an technischer Expertise“ in den Volkswirtschaften. Sie schlug Menschenrechts-Folgenabschätzungen als messbaren Weg vor, um zu prüfen, wie KI die Menschen erreicht.