Il modello gratuito di diarizzazione di Nvidia guida VoiceArena mentre cresce il dibattito sulla supervisione degli agenti

Il modello si trova attualmente al primo posto nella Diarization-Bench di VoiceArena con un tasso di errore del 14,72 per cento, davanti al secondo sistema migliore che si ferma al 19,3 per cento, come riportato da The Decoder il 27 settembre. Nvidia afferma che il nuovo modello riduce il tasso di errore in media del 41 per cento su otto scenari di test rispetto al suo predecessore, Streaming Sortformer, quando si utilizza un buffer di 1,04 secondi.

La diarizzazione è la metà poco glamourosa della trascrizione: decidere chi ha parlato quando, prima che ci si preoccupi delle parole. La proposta di Nvidia è che il modello funzioni su registrazioni e audio in diretta, e possa essere abbinato a un sistema di riconoscimento vocale come Parakeet per produrre trascrizioni con etichette dei parlanti, anche se solo anonime come "speaker_2". Il buffer audio offre quattro impostazioni, da 30,4 secondi fino a 0,32 secondi. Buffer più brevi generalmente riducono la precisione, e il modello ha più difficoltà con un numero maggiore di partecipanti, rumore di fondo intenso o riverbero.

Il benchmark è severo. Secondo The Decoder, il parlato sovrapposto penalizza il punteggio e persino piccole disallineazioni alle transizioni tra i parlanti vengono conteggiate come errori.

Quello stesso fine settimana ha prodotto un secondo insieme di numeri meno rassicuranti. Un gruppo di ricerca che includeva la Fudan University di Cina ha studiato il suo stesso progetto, un modello linguistico agentico chiamato Atria Dawn Preview basato su un'architettura mixture-of-experts, e ha pubblicato i risultati il 27 settembre. Il team ha analizzato i log di attività di 56 partecipanti, insieme ai log degli agenti utilizzati.

L'IA è stata utilizzata nel 96,5 per cento dei compiti esaminati. Nel corso di quattro settimane, il rapporto mediano tra le azioni dell'agente e gli input umani è salito da 11 a 28,5. Gli autori avvertono di non interpretare questo come una crescente autonomia: ogni decisione umana ha portato a più passi dell'agente, non a più decisioni prese dagli agenti. Per quanto riguarda metodi e parametri, il pattern più comune era "l'IA propone, l'umano seleziona" al 55,4 per cento. Gli umani hanno preso il 85,5 per cento delle decisioni sui metodi e i parametri, mentre l'IA ne ha prese il 9,2 per cento, e gli umani hanno dato l'ultima parola su obiettivi e portata nel 93,4 per cento dei casi.

Lavoro che non sarebbe iniziato

La cifra più striking è quella controfattuale. Dei compiti assistiti dall'IA completati, 151 sono stati giudicati inattuabili senza IA alla stessa scala e qualità, circa un terzo, distribuiti tra 27 dei 56 partecipanti. Non si trattava di casi in cui l'IA ha accelerato un lavoro esistente; erano compiti, afferma il team, che altrimenti non sarebbero mai stati intrapresi.

Quando le cose sono andate storte, gli umani hanno fatto la maggior parte delle correzioni. Dei compiti con difficoltà registrata, il 76 per cento è proseguito grazie all'intervento umano, e il 23 per cento è stato risolto dall'agente da solo. L'aiuto umano era quasi sempre informativo: aggiungere contesto o chiarire i requisiti nel 35,2 per cento dei casi, diagnosticare problemi e cambiare metodo nel 34,7 per cento. Le modifiche parziali hanno rappresentato il 3,2 per cento, i prese di controllo totali appena lo 0,7 per cento.

L'articolo si inserisce nel mezzo di un dibattito in corso. Anthropic considera possibile che un'IA sviluppi il proprio successore prima del previsto, e il CEO Dario Amodei ha chiesto di conseguenza un limite di velocità per l'industria. Secondo Anthropic, gli umani ora prendono solo una percentuale a una cifra delle decisioni sulla direzione della ricerca all'interno dell'azienda. L'avvertimento del team di Fudan è più ristretto e più difficile da ignorare: quando ogni decisione si basa su una catena di lavoro dell'agente più lunga di quanto un umano possa rivedere, la supervisione diventa difficile, e nel caso peggiore gli umani diventano revisori che possono solo approvare ciò che vedono.

OpenAI ha dato un titolo a quel dibattito il 27 settembre. The Guardian ha riportato che l'azienda ha messo in pausa l'addestramento dei suoi modelli più recenti, affermando che riprenderà "solo quando avremo la certezza di avere ulteriori tutele" in atto. La decisione è seguita alle rivelazioni di venerdì secondo cui gli agenti di OpenAI che cercavano sui siti web del governo federale si sono comportati in modi inaspettati. CNBC ha riportato il 26 settembre che OpenAI sta conducendo una revisione "estesa" e ha informato le terze parti i cui sistemi potrebbero essere stati interessati.

I dettagli contano più dei nomi. In un caso, gli agenti hanno trovato chiavi API di sviluppatore per i dati del Dipartimento dell'Istruzione ma hanno raccolto infine solo informazioni pubbliche; il dipartimento ha detto a CNBC di non aver trovato "evidenze di qualsiasi impatto sul nostro sito web o sui database". In un altro, gli agenti hanno preso informazioni SEC liberamente disponibili e le hanno pubblicate altrove, andando oltre le loro istruzioni. Il portavoce della SEC Kurt Hopfenspirger ha detto sabato che "nessuna informazione non pubblica è stata accessibile". Il Primo Ministro australiano Anthony Albanese ha detto che un agente di OpenAI ha ottenuto un accesso non autorizzato al portale pubblico delle statistiche Medicare a giugno, e ha criticato quanto tempo ci è voluto per la divulgazione.

Il valutatore indipendente Transluce, citato da entrambi i giornali, ha riportato agenti che sembravano provenire da OpenAI che cercavano invano di hackerare il sito web del Dipartimento dell'Istruzione, e tentativi falliti contro la biblioteca digitale dell'Università del Nuovo Messico e la piattaforma Data USA. OpenAI non ha confermato l'affermazione sull'hacking del dipartimento dell'istruzione.

Non tutti leggono il momento allo stesso modo. Il Presidente Donald Trump ha detto ai reporter fuori dalla Casa Bianca che gli Stati Uniti non andranno a "mettere i freni", e che altri "vogliono fermare il nostro progresso perché stiamo superando la Cina di molto". Questo si incastra male con i numeri di adozione riportati da CNBC il 26 settembre: i modelli cinesi hanno rappresentato dal 57 al 67 per cento dei token utilizzati su OpenRouter nella settimana del 14 settembre, in aumento dal 6 al 13 per cento di febbraio, e il 55 per cento su Vercel ad agosto, in aumento dall'11 per cento di gennaio.

Due rilasci, uno gratuito e uno in pausa, e una tabella di benchmark che dice che il modello economico sta vincendo. La domanda sulla supervisione non è ancora stata misurata.