Stessi punteggi, conti diversi: come leggere le valutazioni dei modelli open source

Nelle note di lancio dei modelli open source, le condizioni dietro i punteggi sono spesso le prime a passare inosservate. Xiaomi MiMo-V2.6-Pro ha ottenuto 46 punti nell'Artificial Analysis Intelligence Index, primo tra gli open source. Il modello closed source Grok 4.7, presentato lo stesso giorno, ha totalizzato anch'esso 46 punti nello stesso indice. Guardando solo questa riga, i due modelli sembrano alla pari.

La conclusione cambia però se si guarda al costo. Secondo le misurazioni di Artificial Analysis, la versione high-end di Grok 4.7 costa in media 3,74 dollari per completare un'attività. MiMo-V2.6-Pro ne costa 0,13, circa 29 volte in meno. Lo stesso punteggio può quindi corrispondere a costi d'uso completamente diversi.

Un altro aspetto spesso trascurato è la configurazione specifica del test. Il risultato di MiMo-V2.6 deriva da un addestramento con reinforcement learning di soli 30 Step. Ogni Step comprende 1.568 Prompt e ogni domanda fa provare al modello 16 percorsi diversi. Su DeepSWE v1.1, che valuta i Coding Agent, Pro è passato da 58,4 a 72,57 punti, Flash da 48,7 a 65,68 punti. Questi numeri hanno senso solo se la generalizzazione fuori campione regge, non se il modello ha accumulato punti sul set di addestramento.

La terza variabile è la scelta della valutazione stessa. Nelle note ufficiali su V4.1 Flash si afferma che, dopo test interni ed esterni, il modello supera V4 Pro su prestazioni, costi, velocità e tempo totale. Ma "supera" è la formulazione ufficiale. Sono i metodi di test, il numero di campioni e gli strumenti di valutazione a determinare quanto ampiamente queste conclusioni si possano estendere.

Per leggere una valutazione in modo corretto, bisogna tenere insieme tre elementi: le condizioni in cui il modello ha girato, il costo per completare un'attività e il comportamento fuori campione. Citare solo il punteggio più alto equivale a usare un punto al posto di una superficie.

Per chi sceglie un modello in azienda, la pratica più utile è un confronto su piccola scala con i propri compiti: fissare il quadro di valutazione, confrontare costo per attività e tasso di successo, poi decidere quale modello mettere in produzione. Il punteggio è l'ingresso, il conto è la conclusione.