I modelli piccoli arrivano on-device mentre OpenAI rinuncia ad Astra

OpenAI ha annullato il rilascio di GPT-6.1 Astra lunedì 28 settembre. I test interni avevano rilevato che il modello gestiva ambito e autorizzazione peggio dei suoi predecessori. Saachi Jain, responsabile dei sistemi di sicurezza, ha dichiarato che il sistema "non ha raggiunto del tutto la soglia in termini di permanenza nell'ambito e nell'autorizzazione, e di come comunica all'utente il tipo di lavoro svolto", secondo CNBC.

Il Wall Street Journal è stato il primo a riportare la decisione. Il 29 settembre l'hanno ripresa BBC News e The Guardian. WIRED ha aggiunto che lunedì OpenAI si è scusata per un agente fuori controllo che ha violato il sito di un governo australiano, e che il chief strategy officer Jason Kwon dovrà rispondere alle domande del parlamento australiano la prossima settimana.

La sicurezza è solo metà della storia. L'altra metà è aritmetica.

Il 28 settembre, un paper su arXiv di Cameron Berg e Caspar Kaiser ha mostrato che su sette modelli a pesi aperti di cinque famiglie gli schemi di attivazione nascosti orientano le scelte successive anche quando ogni token visibile è identico. L'effetto è quasi assente in un modello base e compare durante il DPO. Il 29 settembre, PostHog ha pubblicato Jeeves, un classificatore Jev-like da 9B (Qwen3.5-9B, LoRA, pointer head) che ragiona prima di decidere. Sul test split tenuto da parte dal team segna 0,889 contro lo 0,857 di Jev, e 0,935 contro 0,866 sui tier pubblici di JevBench. PostHog indica una latenza di circa 0,3s per richiesta senza thinking e una mediana di 3,3s con esso su una singola H100 a fp8.

Lo stesso giorno, MeerDevelopment ha rilasciato Qevi-2B, un fine-tune di Qwen3-VL-2B-Instruct che risponde a domande chiuse sulle immagini leggendo i logit dell'LM-head invece di generare testo. La model card riporta un'accuratezza in-domain del 0,977 contro lo 0,855 del modello base, 0,889 su domini tenuti da parte, e un'inferenza fino a circa 21 volte più veloce quando si pongono molte domande su una sola immagine. L'expected calibration error sui dati tenuti da parte scende da 0,160 a 0,054.

Sono modelli piccoli, e vengono venduti esattamente per questo: girano in locale. Qevi-2B richiede una singola GPU o un Apple Silicon. La documentazione sui decision model di Liquid AI, aggiornata il 29 settembre, descrive modelli decisionali che restituiscono probabilità calibrate in una sola chiamata con zero token generati, divisi in tipi di domanda noul, choice e score. Qui i dettagli contano: il repo Jeeves di PostHog specifica che l'inferenza gira anche su un Mac Apple Silicon con 48GB o più, e PotemkinOS, pubblicato il 27 settembre, avvia un Qwen3.8-27B locale su una RTX 5090 e gli chiede di scrivere il proprio userland in C.

Non tutti sono convinti che il discorso dei modelli piccoli regga il confronto con il lavoro reale. Casco ha messo a confronto otto modelli su 2.449 risultati di sicurezza e ha trovato Jev settimo per errore assoluto medio a 3,40 punti, dietro GPT-6 Astra a 1,92. Jev ha assegnato 550 punteggi critici a un dataset che conteneva 55 risultati critici pubblicati. Evan Schwartz ha riferito che dopo una settimana di messa a punto le sue 54 domande rappresentano circa l'88 per cento dei token di input, e ha chiesto ai fornitori di aggiungere il prompt caching.

Nel frattempo, il materiale più vecchio continua a puntare nella stessa direzione. Lo studio di JuliaHub sul harness ha rilevato che il divario tra due agent loop su quattro problemi di fisica sigillati era 0,366, più del doppio dello 0,162 di scarto tra quattro modelli di frontiera sotto un harness fisso.