I piccoli modelli linguistici arrivano sui dispositivi: cosa dicono i numeri

Il 24 aprile 2024 Apple ha rilasciato otto piccoli modelli linguistici sotto il nome collettivo OpenELM, acronimo di Open-source Efficient Language Models, come riportato da Ars Technica. I modelli variano da 270 milioni a 3 miliardi di parametri e sono disponibili su Hugging Face con licenza Apple Sample Code. La testata ha notato che la licenza include restrizioni: il rilascio potrebbe non soddisfare la definizione abituale di open source, nonostante il codice sorgente sia accessibile.

Gli otto modelli si dividono in due categorie: quattro pre-addestrati e quattro istruiti. La finestra di contesto massima è di 2.048 token. Apple dichiara che i dati di addestramento provengono da RefinedWeb, una versione di PILE con duplicati rimossi, da un sottoinsieme di RedPajama e da un sottoinsieme di Dolma v1.6, per un totale di circa 1,8 trilioni di token. Il white paper dell'azienda afferma che la strategia di scaling layer-wise ha prodotto un miglioramento dell'accuratezza del 2,36 per cento rispetto a OLMo 1B di Allen AI, utilizzando la metà dei token di pre-addestramento. Apple ha inoltre pubblicato CoreNet, la libreria di addestramento, insieme a ricette di addestramento riproducibili. L'abstract del paper sottolinea che riproducibilità e trasparenza dei grandi modelli linguistici sono essenziali per far avanzare la ricerca aperta.

La scala è il contrasto più evidente. Ars Technica colloca il rilascio più grande di Meta Llama 3 a 70 miliardi di parametri, con una versione da 400 miliardi in arrivo, e GPT-3 di OpenAI del 2020 a 175 miliardi. Il numero di parametri è una misura approssimativa della capacità, non un verdetto definitivo.

Cosa mostrano i benchmark sui telefoni

SlimLM, inviato su arXiv il 15 novembre 2024 e rivisto il 25 novembre, è una serie di piccoli modelli linguistici per l'assistenza documentale. Gli autori hanno condotto esperimenti su un Samsung Galaxy S24, esaminando i compromessi tra dimensione del modello (da 125M a 7B parametri), lunghezza del contesto e tempo di inferenza. SlimLM è stato pre-addestrato su SlimPajama-627B e fine-tunato su DocAssist, un dataset creato dagli autori per attività di riassunto, question answering e suggerimenti. Un'applicazione Android accompagna il paper. Le motivazioni dichiarate sono la riduzione dei costi server e una migliore privacy grazie all'elaborazione on-device.

Il contributo di Google, descritto sul suo Developers Blog il 20 maggio 2025, ha una forma più vicina al prodotto. Google AI Edge ha esteso il supporto da quattro modelli iniziali a oltre una dozzina, inclusi Gemma 3 e Gemma 3n, ospitati su una community LiteRT su Hugging Face. Gemma 3 1B pesa 529 MB e può raggiungere fino a 2.585 token al secondo in pre-fill su una GPU mobile. Secondo Google, è sufficiente per elaborare una pagina di contenuti in meno di un secondo. Gemma 3n, in anteprima iniziale, è il primo piccolo modello linguistico multimodale on-device della famiglia Gemma, con varianti da 2B e 4B parametri che supportano input testuali, immagini, video e audio. Testo e immagini sono già su Hugging Face, l'audio seguirà.

Google ha inoltre distribuito una libreria RAG on-device, disponibile su Android, e una libreria per il function calling on-device, anch'essa inizialmente su Android. L'azienda sostiene che la quantizzazione post-training int4 può ridurre i modelli linguistici di un fattore da 2,5 a 4 volte rispetto a bf16, riducendo al contempo latenza e memoria di picco.

"Una volta arrivata la query, il modello non scrive il proprio ragionamento a parole. Niente in mezzo viene mai convertito in linguaggio", ha dichiarato a Science News Zuzanna Stamirowska, scienziata della complessità e CEO dell'azienda di AI Pathway.

La citazione riguarda BDH-CQ, un sistema sperimentale descritto in un paper inviato su arXiv il 10 agosto e riportato da Science News il 22 settembre. Il modello aggiorna una memoria di dimensione fissa con ogni esempio, invece di mantenere gli esempi nel contesto. Stamirowska e colleghi affermano che ha risolto quasi tre puzzle su dieci nel set di valutazione pubblico ARC-AGI-1 con due tentativi. Stima che ogni query costi circa 0,00070 dollari, all'incirca un undicesimo di GPT-5.6 Luna sullo stesso benchmark. Science News nota però che i due costi sono stati calcolati in modo diverso e che lo studio non è stato sottoposto a peer review.

Fuori dai laboratori di ricerca, le affermazioni diventano più difficili da verificare. Bouncer, un filtro per il feed di Twitter pubblicato da Imbue l'8 aprile 2026, utilizza un modello open source che il blog chiama Gemma 4 26B-A4B per la classificazione. Il post afferma che il modello è attualmente servito dal data center di Imbue, con lavori in corso per farlo girare su laptop e telefoni.

Lo scetticismo è giustificato, e in parte proviene dai ricercatori stessi. Yuntian Deng dell'Università di Waterloo ha dichiarato a Science News che BDH-CQ è "un risultato di efficienza interessante", ma non dimostra che la sua architettura sia superiore ad altri approcci. Ha aggiunto che servono più test per separare il design dal metodo di addestramento, e che un modello che non esplicita il proprio ragionamento è più difficile da ispezionare. Jonas Geiping dell'ELLIS Institute Tübingen e del Max Planck Institute for Intelligent Systems ha osservato che BDH-CQ è costruito specificamente per problemi in stile ARC, rendendo difficile il confronto diretto con sistemi general-purpose. Ha comunque definito l'approccio "elegante".

La domanda irrisolta è quanto di tutto questo sopravviva al contatto con un prodotto in commercio. Apple, secondo quanto emerge dal paper su OpenELM, tratta i modelli come rilasci di ricerca. La cautela di Google è che Gemma 3n è un'anteprima iniziale. Il divario tra una tabella di benchmark e un telefono in tasca resta la parte per cui nessuno ha ancora pubblicato numeri.