Mistral entra in UniAIBench: accuratezza, efficienza e compromessi

Aggiornamento del benchmark

Due modelli Mistral, la stessa prova

UniAIBench ha aggiunto Mistral Medium 3.5 e Mistral Small 4 alla classifica esercizio per esercizio. Entrambi hanno affrontato 33 esercizi di Analisi Matematica III e 27 di Fisica Generale II con il livello di ragionamento impostato su high, senza un limite esplicito ai token di output, e sono stati valutati con le stesse rubric T1–T8 approvate e congelate per gli altri modelli.

Correttezza

Mediane alte, posizioni complessive più basse

Il preset predefinito Balanced assegna il 50% del peso alla correttezza, il 25% alla velocità e il 25% al costo, escludendo il consumo di token. Il punteggio composito determina la classifica; le statistiche della rubric riportate sotto descrivono separatamente la correttezza.

Entrambe le mediane di correttezza superano 91 e ciascun modello ottiene il punteggio pieno in 14 esercizi, ma le risposte meno corrette riducono le medie. Small ha la mediana più alta; Medium ha la media più alta e una minore variabilità.

Confronto con le frontiere

Che cosa mostra la classifica bilanciata

Mistral presenta Medium 3.5 come un modello di frontiera e Small 4 come il modello ibrido di ragionamento più leggero. Le configurazioni selezionate sotto mantengono le posizioni della classifica Balanced completa a 17 configurazioni, affiancate ai punteggi medi della rubric.

DeepSeek V4.1 Flash guida Balanced. Small precede Medium perché il costo e il tempo di risposta inferiori compensano la correttezza leggermente più bassa. La sezione seguente isola la qualità delle risposte con Accuracy only.

Data & methodVerifica i punteggi del preset nella classifica Balanced ↗.

Data & methodScarica il CSV storico di confronto Mistral ↗, il CSV della classifica complessiva ↗ o consulta il CSV dei punteggi sui 60 esercizi ↗. La sintesi storica Mistral conserva le precedenti posizioni a 16 configurazioni; le tabelle qui usano il pannello corrente a 17 configurazioni.

Il confronto con un modello a pesi aperti

Più vicini a Gemma che al gruppo di testa

Passando ad Accuracy only, la correttezza riceve il 100% del peso e costo, latenza e consumo di token sono esclusi. Le otto configurazioni selezionate sotto mantengono le posizioni e i punteggi normalizzati del preset della classifica completa, con i punteggi medi originali della rubric in una colonna separata. Gemma 4 31B IT è un modello a pesi aperti scaricabile gratis: il punteggio medio della rubric di Small è quasi identico a quello di Gemma, mentre Medium lo supera di appena 1,49 punti della rubric.

Sulla scala originale della rubric, Sol supera Medium e Small di 11,64 e 13,15 punti; DeepSeek V4.1 Flash li supera di 10,15 e 11,66 punti. Anche o3, subito sopra Medium in Accuracy only, ottiene 92,75 nella rubric: 5,68 punti più di Medium e 7,18 più di Small. Entrambi i modelli Mistral restano sotto il gruppo di testa delle frontiere.

L’accesso gratuito ai pesi di Gemma non significa esecuzione gratuita: l’hardware locale o un’API ospitata possono comunque comportare costi.

Data & methodVerifica i punteggi del preset nella classifica Accuracy only ↗ e i punteggi medi della rubric nel CSV della classifica ↗. I pesi scaricabili di Gemma sono descritti nella panoramica ufficiale del modello ↗.

Profilo delle risorse

Accuratezza simile, costi molto diversi

Le risorse spiegano le diverse posizioni in Balanced. La tabella seguente riporta posizioni separate per consumo di token, velocità e costo, non punteggi compositi.

Medium supera Small di 1,51 punti in media. Nei 60 confronti diretti, Medium prevale in 23 esercizi, Small in 25 e in 12 i punteggi sono uguali. L’intervallo di confidenza bootstrap approssimativo al 95% per la differenza media sui confronti appaiati va da −1,68 a +5,07 punti e include lo zero: il vantaggio di accuratezza osservato non è statisticamente netto. Le differenze nelle risorse sono più nette.

Entrambi i modelli sono tra quelli che consumano più token di output fatturati: due configurazioni ne usano più di Medium e tre più di Small. I metadati Mistral non separano il ragionamento dalla risposta visibile, quindi questi conteggi non misurano la sola lunghezza della risposta. I tempi sono più vicini alla metà della classifica. Medium è la terza configurazione più costosa, Small la quarta più economica.

Small offre il rapporto prezzo–prestazioni migliore su questi esercizi. I vantaggi più chiari di Medium sono un punteggio minimo più alto e una minore variabilità.

Data & methodI dati sul consumo di risorse e sui costi storici provengono dal CSV di token e costi ricavato dalle esecuzioni ↗.

Problematiche osservate

Dove si perde punteggio

I casi seguenti illustrano errori di interpretazione e controlli mancanti che compromettono parti sostanziali della soluzione, non semplici sviste aritmetiche.

Due casi mostrano lo stesso problema in entrambi i modelli; negli altri due il vantaggio passa nettamente dall’uno all’altro. Il modello più costoso non è quindi sempre migliore sui singoli esercizi, ed entrambi possono commettere errori concettuali.

Data & methodLeggi risposte e valutazioni nelle schede dell’Atlante: A3-25-P1-E3 ↗, F2-25-P3-E3 ↗, A3-26-P2B-E2 ↗ e A3-25-P5-E3 ↗.