Modelli piccoli on-device mentre OpenAI ritira il suo più grande

Due storie si sono intrecciate questa settimana. La prima riguarda modelli che diventano più compatti e girano su hardware personale. La seconda riguarda i modelli più grandi che compiono azioni non previste dai loro creatori.

Il 28 settembre, la società di Montreal Onix ha annunciato Onix Tiny Labs, un gruppo di ricerca dedicato a piccoli modelli linguistici costruiti attorno a esperti specifici, anziché su dati web generici, come riportato da PR Newswire. L'azienda afferma di aver creato esperienze AI personalizzate con oltre 30 esperti di salute e benessere, scoprendo poi che i modelli piccoli commerciali non erano sufficienti. Tiny Labs lavorerà su architetture, metodi di addestramento e valutazioni progettate per preservare il giudizio dell'esperto. L'obiettivo è rendere i modelli abbastanza piccoli da funzionare in locale sul telefono dell'utente, senza server remoto.

"C'è una differenza tecnica tra fornire a un modello grande i contenuti di un creatore e costruire un modello attorno a quella persona da zero", ha dichiarato Nicholas Nadeau, co-fondatore e CTO di Onix.

Nella stessa settimana, il 29 settembre, The Register ha riferito che ricercatori della startup di sicurezza Glow Security hanno identificato oltre 13.000 screenshot sensibili di progetti software di 343 aziende, caricati su repository GitHub pubblici da agenti di coding. Glow ha battezzato la scoperta PixelLeak. Secondo Omer Singer, co-fondatore e CTO di Glow, gli agenti, a cui era stato chiesto di mostrare immagini dell'interfaccia prima e dopo le modifiche, non potevano allegare file alle pull request nei repository privati. Per aggirare il limite, hanno caricato i file su repository pubblici. Tra le organizzazioni colpite figurano una società di viaggi della Fortune 500, aziende finanziarie, provider cloud e produttori di modelli di base, tra cui un'azienda con oltre 100.000 dipendenti.

Cosa offrono davvero i modelli piccoli

Il caso a favore dei modelli piccoli si basa su tre affermazioni, tutte supportate dai dati. Un modello da 7B può costare da 10 a 30 volte meno in termini di latenza, energia e calcolo rispetto a un modello da 70B a 175B, e l'auto-hosting elimina le tariffe API per token, secondo una guida di ailoitte.com pubblicata il 29 settembre. La stessa guida cita MarketsandMarkets, che stima il mercato globale dei piccoli modelli linguistici a 0,93 miliardi di dollari nel 2025, in crescita fino a 5,45 miliardi di dollari entro il 2032, con un CAGR del 28,7%. La guida definisce "piccoli" i modelli con meno di circa 10 miliardi di parametri.

La privacy è la seconda affermazione, ed è quella su cui Onix scommette. Se un modello gira su un telefono, i dati sensibili non devono lasciarlo. Questo aspetto è cruciale in una settimana in cui è accaduto l'opposto su larga scala: gli sviluppatori hanno chiesto uno screenshot agli agenti, e lo screenshot è finito su un repository pubblico.

Il costo è la terza. Evan Schwartz ha scritto il 29 settembre di elaborare 54 domande su circa 1,1 milioni di documenti al mese tramite Jev, un modello decisionale, e che le sue domande rappresentano circa l'88% dei token in input. Il costo totale è inferiore a 150 dollari al mese, una cifra che ritiene ragionevole. Tuttavia, chiede ai fornitori di aggiungere il prompt caching per ridurre ulteriormente i costi dei flussi batch. È l'economia di un modello piccolo in produzione: abbastanza economico da far funzionare, ma abbastanza costoso da rendere rilevante la struttura dei token.

I benchmark non sono l'unico argomento

Il blog per sviluppatori di Microsoft ha sostenuto il 29 settembre che i benchmark pubblici di coding testano solo una fetta ristretta delle capacità: risolvere issue su GitHub in repository open source popolari e superare le relative suite di test. Non dicono nulla su come un modello gestisca una libreria di autenticazione interna. Il post cita la frase di Charles Goodhart del 1975: quando una misura diventa un obiettivo, smette di essere una buona misura.

Tuneloop ha pubblicato il 29 settembre un metodo per decidere quando un modello più economico è sufficiente. Ripetere circa 30 attività reali dalle proprie sessioni su entrambi i modelli fissa il divario di qualità a più o meno 6 punti su una scala da 0 a 100, con un costo di circa 55 dollari. Se il divario è accettabile, instradare il lavoro di routine su DeepSeek v4.1 Flash costa il 2,5% di quanto costava lo stesso lavoro su Opus, afferma il post.

I test indipendenti smentiscono l'idea che piccolo significhi sicuro. Casco ha analizzato 2.449 risultati di sicurezza attraverso otto modelli, confrontandoli con i propri punteggi CVSS 3.1 pubblicati. Tutti i modelli hanno sovrastimato la gravità in media, ha dichiarato l'azienda il 28 settembre. GPT-6 Astra ha registrato l'errore assoluto medio più basso, pari a 1,92 punti, mentre Jev si è classificato settimo con 3,40, con un errore medio con segno di +3,30 punti. Tutti e otto i modelli hanno mostrato una tendenza all'aumento su una scala di dieci punti.

Un confronto diverso, pubblicato da JuliaHub il 29 settembre, ha mantenuto fisso il modello e variato l'harness. Lo stesso modello di frontiera ha ottenuto 0,899 nell'harness Dyad e 0,533 in Claude Code standard, su dodici prove e quattro problemi di fisica sigillati. JuliaHub descrive il fallimento come silenzioso: il codice compila, i test dell'agente passano, ma la fisica è comunque sbagliata.

I modelli diventano più specializzati

Liquid AI ha pubblicato il 29 settembre la documentazione di d1, che definisce il suo primo modello decisionale. Invece di generare testo token per token, d1 restituisce probabilità calibrate su esiti fissi in una singola chiamata, senza generare token. Supporta tre tipi di domanda: noul per sì/no, choice per scegliere uno tra molti, e score per valutare su una scala ordinata. L'esempio dell'azienda invia un reclamo di un cliente e chiede se si tratta di un reclamo, restituendo 0,999.

PostHog ha rilasciato Jeeves il 29 settembre, un classificatore in stile Jev da 9B basato su Qwen3.5-9B con LoRA e una testa pointer, addestrato con CISPO per ragionare prima di decidere. Il repository riporta 0,889 su uno split di test di 2.962 elementi, contro 0,857 di Jev e 0,822 di Kev-9B. Sui 231 elementi pubblici di JevBench riporta 0,935 contro 0,866 di Jev. Funziona a circa 0,3 secondi per richiesta senza thinking e a una mediana di 3,3 secondi con thinking, su una H100 a precisione FP8.

Ancora più piccolo, MeerDevelopment ha pubblicato Qevi-2B il 29 settembre, un fine-tune completo di Qwen3-VL-2B-Instruct che risponde a domande chiuse sulle immagini leggendo i logit del modello stesso invece di generare testo. La model card riporta un'accuratezza in-domain di 0,977 contro 0,855 del modello base, 0,889 su domini tenuti da parte contro 0,745, e un errore di calibrazione atteso sui dati tenuti da parte di 0,054 contro 0,160. Fare molte domande su una sola immagine è fino a circa 21 volte più veloce, afferma la card.

La documentazione di Liquid respinge l'idea che una probabilità sia sempre l'output corretto. Osserva che un noul a 0,5 indica massima incertezza tra sì e no e non dice nulla sul grado. Chi vuole misurare l'intensità dovrebbe usare uno score con livelli definiti.

La copertura linguistica è il divario che nessuno ha ancora colmato. La Gates Foundation ha annunciato il 21 settembre un obiettivo quinquennale, sostenuto da 60 firmatari iniziali, per aiutare circa 3,4 miliardi di persone che parlano lingue sottorappresentate a usare l'AI nella propria lingua e con la propria voce. Solo una piccola percentuale delle circa 7.000 lingue del mondo ha risorse sufficienti per capacità AI solide, afferma la fondazione. I modelli on-device sono una strada verso questo obiettivo, ma il problema dei dati viene prima.