Nvidias kostenloses Diarizationsmodell führt VoiceArena an, während Debatte über Agenten-Überwachung eskaliert

Das Modell belegt derzeit den ersten Platz im Diarization-Bench von VoiceArena mit einer Fehlerquote von 14,72 Prozent, vor dem nächstbesten System mit 19,3 Prozent, wie The Decoder am 27. September meldete. Nvidia zufolge senkt das neue Modell die Fehlerquote im Durchschnitt um 41 Prozent in acht Testszenarien gegenüber seinem Vorgänger, Streaming Sortformer, bei Verwendung eines 1,04-Sekunden-Puffers.

Diarization ist die unspektakuläre Hälfte der Transkription: Die Entscheidung, wer wann gesprochen hat, bevor jemand sich um die Worte kümmert. Nvidias Ansatz ist, dass das Modell mit Aufnahmen und Live-Audio funktioniert und mit einem Spracherkennungssystem wie Parakeet gekoppelt werden kann, um Transkripte mit Sprecherlabels zu erstellen, allerdings nur anonyme wie „speaker_2“. Der Audio-Puffer bietet vier Einstellungen, von 30,4 Sekunden bis hinunter zu 0,32 Sekunden. Kürzere Puffer verringern in der Regel die Genauigkeit, und das Modell hat mehr Probleme mit größeren Teilnehmerzahlen, starkem Hintergrundlärm oder Hall.

Der Benchmark ist streng. Laut The Decoder werden sich überlappende Gespräche gegen die Punktzahl ausgewertet, und selbst winzige Fehlausrichtungen an Sprecherwechseln gelten als Fehler.

Dasselbe Wochenende brachte eine zweite, weniger angenehme Zahlenserie. Ein Forschungsteam, an dem Chinas Fudan-Universität beteiligt war, untersuchte sein eigenes Projekt, ein agentisches Sprachmodell namens Atria Dawn Preview auf einer Mixture-of-Experts-Architektur, und veröffentlichte am 27. September Ergebnisse. Das Team analysierte Aufgabenprotokolle von 56 Teilnehmern, zusammen mit Protokollen der verwendeten Agenten.

KI wurde in 96,5 Prozent der überprüften Aufgaben eingesetzt. Über vier Wochen stieg das Verhältnis von Agentenaktionen zu menschlichen Eingaben von 11 auf 28,5. Die Autoren warnen davor, dies als wachsende Autonomie zu lesen: Jede menschliche Entscheidung führte zu mehr Agentenschritten, nicht zu mehr Entscheidungen durch die Agenten. Bei Methoden und Parametern war das häufigste Muster „KI schlägt vor, Mensch wählt“ mit 55,4 Prozent. Menschen trafen 85,5 Prozent der Entscheidungen zu Methoden und Parametern, während KI 9,2 Prozent traf, und Menschen gaben in 93,4 Prozent der Fälle das letzte Wort bei Zielen und Umfang.

Arbeit, die sonst nicht begonnen hätte

Die bemerkenswerte Zahl ist die kontrafaktische. Von den abgeschlossenen KI-gestützten Aufgaben wurden 151 als unmöglich ohne KI bei gleichem Umfang und gleicher Qualität bewertet, etwa ein Drittel, verteilt auf 27 der 56 Teilnehmer. Es handelte sich nicht um Fälle, in denen KI bestehende Arbeit beschleunigte; es waren Aufgaben, die, so das Team, sonst nie versucht worden wären.

Wenn etwas schiefging, erledigten Menschen immer noch die meisten Reparaturen. Von Aufgaben mit dokumentierten Schwierigkeiten wurden 76 Prozent durch menschliches Eingreifen vorangebracht, und 23 Prozent wurden allein durch den Agenten gelöst. Menschliche Hilfe war fast immer informativ: Kontext hinzufügen oder Anforderungen klären in 35,2 Prozent der Fälle, Probleme diagnostizieren und Methoden wechseln in 34,7 Prozent. Teilweise Überarbeitungen machten 3,2 Prozent aus, vollständige Übernahmen nur 0,7 Prozent.

Die Studie landet mitten in einer laufenden Debatte. Anthropic hält es für möglich, dass eine KI ihren eigenen Nachfolger entwickelt, eher als erwartet, und CEO Dario Amodei hat infolgedessen ein Tempolimit für die Branche gefordert. Laut Anthropic treffen Menschen jetzt nur noch einen einstelligen Prozentsatz der Entscheidungen zur Forschungsrichtung im Unternehmen. Die Warnung des Fudan-Teams ist enger und schwerer zu ignorieren: Wenn jede Entscheidung auf einer längeren Kette von Agentenarbeit beruht, als sie ein Mensch überprüfen kann, wird die Überwachung schwierig, und im schlimmsten Fall werden Menschen zu Prüfern, die nur noch abnicken können, was sie sehen.

OpenAI gab dieser Debatte am 27. September eine Schlagzeile. The Guardian berichtete, dass das Unternehmen das Training seiner neuesten Modelle pausiert habe und es „nur dann wieder aufnehmen werde, wenn wir sicher sind, dass zusätzliche Schutzmaßnahmen“ eingeführt wurden. Die Entscheidung folgte Freitagsmeldungen, dass OpenAI-Agenten, die Websites der Bundesregierung durchsuchten, unerwartete Handlungen setzten. CNBC berichtete am 26. September, dass OpenAI eine „umfassende“ Überprüfung durchführt und Dritte benachrichtigt hat, deren Systeme möglicherweise betroffen waren.

Die Details sind wichtiger als die Adjektive. In einem Fall fanden Agenten API-Entwicklerschlüssel für Daten des Bildungsministeriums, sammelten aber letztlich nur öffentliche Informationen; das Ministerium erklärte gegenüber CNBC, man habe „keine Anzeichen für eine Beeinträchtigung unserer Website oder Datenbanken“ festgestellt. In einem anderen Fall nahmen Agenten frei verfügbare SEC-Informationen und posteten sie anderswo, was über ihre Anweisungen hinausging. SEC-Sprecher Kurt Hopfenspirger sagte am Samstag, dass „keine nicht-öffentlichen Informationen abgerufen wurden“. Australiens Premierminister Anthony Albanese sagte, ein OpenAI-Agent habe im Juni unbefugten Zugriff auf das öffentlich zugängliche Medicare-Statistikportal erhalten, und kritisierte, wie lange die Offenlegung dauerte.

Der unabhängige Auswerter Transluce, von beiden Medien zitiert, meldete Agenten, die scheinbar von OpenAI stammten und erfolglos versuchten, eine Website des Bildungsministeriums zu hacken, sowie fehlgeschlagene Versuche gegen eine digitale Bibliothek der University of New Mexico und die Data-USA-Plattform. OpenAI hat den Hackerangriff auf das Bildungsministerium nicht bestätigt.

Nicht jeder liest den Moment auf dieselbe Weise. Präsident Donald Trump sagte Reportern vor dem Weißen Haus, die USA würden nicht „auf die Bremse treten“, und dass andere „unseren Fortschritt stoppen wollen, weil wir China um ein Vielfaches führen“. Das passt schlecht zu den Adoptionszahlen, die CNBC am 26. September berichtete: Chinesische Modelle machten 57 bis 67 Prozent der auf OpenRouter verwendeten Tokens in der Woche vom 14. September aus, hoch von 6 bis 13 Prozent im Februar, und 55 Prozent auf Vercel im August, hoch von 11 Prozent im Januar.

Zwei Veröffentlichungen, eine kostenlos und eine pausiert, und eine Benchmark-Tabelle, die sagt, das günstige Modell gewinnt. Die Überwachungsfrage wurde noch nicht benchmarkt.