Analysis III · Exercise research profile

Polar centroid, integrability of singular functions, and verification of Gauss and Kelvin–Stokes (A3-25-P3-E2)

Source record, frozen scoring evidence, configuration-level measurements and retained responses for one benchmark exercise.

01

Observed panel summary

Exercise overview

Descriptive results across 21 model-mode configuration means. They do not establish general model superiority.

Published recordSource statement · frozen rubric · 23 retained responses · current judgmentsThe separate official reference solution is not reproduced.
Mean rubric score86.3Median 99.3 · n=16
Configuration spreadSD 21.932.3–100.0
Rank by lowest observed mean#15/60Overall · #10/33 within Analysis III
Mean latency202.6sEnd-to-end per response
Mean cost$0.148Snapshot estimate
Mean tokens20,594Analytical tokens per response

Configuration means

Observed score distribution

Median 99.3 / 100
AnthropicDeepSeekOpenAIxAIGoogleMistral
  1. Claude Fable 5SD not available · single run
    100.0
  2. Claude Opus 5.5SD not available · single run
    100.0
  3. DeepSeek V4 FlashSD not available · single run
    100.0
  4. DeepSeek V4 ProSD not available · single run
    100.0
  5. GPT-5.6 SolSD not available · single run
    100.0
  6. GPT-6 LunaSD not available · single run
    100.0
  7. GPT-6.1 SolSD not available · single run
    100.0
  8. Grok 4.3SD not available · single run
    100.0
  9. Grok 4.5SD not available · single run
    100.0
  10. Claude Sonnet 5.5SD not available · single run
    99.3
  11. OpenAI o3SD not available · single run
    99.3
  12. Gemini 3.5 FlashSD 2.2 · 3 retained runs
    98.1
  13. DeepSeek V4.1 FlashSD not available · single run
    97.8
  14. Gemini 3.1 Pro PreviewSD not available · single run
    97.0
  15. Mistral Medium 3.5SD not available · single run
    93.3
  16. DeepSeek V4 Flash (no thinking)SD not available · single run
    75.3
  17. Gemma 4 31B ITSD not available · single run
    74.5
  18. Mistral Small 4SD not available · single run
    53.3
  19. OpenAI GPT-4.1SD not available · single run
    52.0
  20. Claude Sonnet 4.5SD not available · single run
    39.8
  21. Claude Haiku 4.5SD not available · single run
    32.3

Whiskers show mean ± one within-configuration response SD where three retained runs are available. Single-run cells have no within-configuration variability statistic.

02

Task before results

Source record and frozen rubric

Read the evaluated task before interpreting configuration outcomes. Original Italian records remain authoritative.

Evaluated source record

Exercise statement

A3-25-P3-E2 · Analysis III
The English version is a faithful editorial translation. The Italian source remains authoritative.

ESAME: Analisi 3 DATA: 19/06/2025 ESERCIZIO: 2

TESTO: 2. Nel piano cartesiano sia A ={(x, y) : x≥0, y≥0,2ax≤x2 + y2≤4a2}(ove a > 0). (a) Disegnare A e calcolarne il baricentro geometrico. (1) (b) Dire se le funzioni 1 x e 1 y sono integrabili su A, calcolandone nel caso l’integrale. Si disegni ora A nel piano verticale ( x, z) dello spazio cartesiano, e sia E il solido che si ottiene facendo ruotare A nel primo ottante di un angolo π 2 attorno all’asse z. (c) Verificare il teorema di Gauss per E e per il campo F = (0, y,0). (d) Verificare la formula di Kelvin-Stokes per F e la componente sferica C di ∂E.

NOTE: (1)Si consiglia di descrivereA polarmente. Potrà essere utile sapere che ∫ cos4θdθ= 1 8(2 sinθcos3θ+3(θ+sinθcosθ)).

Original source textExact Italian record · no editorial changes+
ESAME: Analisi 3
DATA: 19/06/2025
ESERCIZIO: 2

TESTO:
2. Nel piano cartesiano sia A ={(x, y) : x≥0, y≥0,2ax≤x2 + y2≤4a2}(ove a > 0).
(a) Disegnare A e calcolarne il baricentro geometrico. (1)
(b) Dire se le funzioni 1
x e 1
y sono integrabili su A, calcolandone nel caso l’integrale.
Si disegni ora A nel piano verticale ( x, z) dello spazio cartesiano, e sia E il solido che si ottiene
facendo ruotare A nel primo ottante di un angolo π
2 attorno all’asse z.
(c) Verificare il teorema di Gauss per E e per il campo F = (0, y,0).
(d) Verificare la formula di Kelvin-Stokes per F e la componente sferica C di ∂E.

NOTE:
(1)Si consiglia di descrivereA polarmente. Potrà essere utile sapere che
∫
cos4θdθ= 1
8(2 sinθcos3θ+3(θ+sinθcosθ)).
TopicPolar centroid, integrability of singular functions, and verification of Gauss and Kelvin–Stokes
Syllabus areaMultiple integrals, improper integrability, and vector-calculus integral theorems
Task typemixed
Atomic criteria30
Subproblem a · 25.0%

Disegnare A e calcolarne il baricentro geometrico.

7 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7

Inspect scoring criteria +
  • Descrive correttamente A in coordinate polari e identifica area e momenti necessari al baricentro.

    T1 · 7 pts · Criterion (a_T1_01)
  • Imposta area e momenti primi con Jacobiano e limiti corretti.

    T2 · 4 pts · Criterion (a_T2_01)
  • Calcola area e due momenti primi.

    T3 · 5 pts · Criterion (a_T3_01)
  • Fornisce disegno/descrizione geometrica e baricentro finale corretti.

    T4 · 4 pts · Criterion (a_T4_01)
  • Rispetta a>0 e tutti i limiti angolari e radiali.

    T5 · 2 pts · Criterion (a_T5_01)
  • Controlla che area, momenti e baricentro siano dimensionalmente e geometricamente plausibili.

    T6 · 2 pts · Criterion (a_T6_01)
  • Usa correttamente la definizione di baricentro geometrico.

    T7 · 1 pts · Criterion (a_T7_01)
Subproblem b · 20.0%

Stabilire l'integrabilita di 1/x e 1/y su A e calcolare gli integrali quando finiti.

7 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7

Inspect scoring criteria +
  • Formalizza i due integrali impropri non negativi e le singolarita rilevanti.

    T1 · 4 pts · Criterion (b_T1_01)
  • Sceglie Tonelli/Fubini e un confronto asintotico o calcolo improprio valido.

    T2 · 3 pts · Criterion (b_T2_01)
  • Calcola i due integrali angolari e ne determina convergenza o divergenza.

    T3 · 5 pts · Criterion (b_T3_01)
  • Conclude correttamente integrabilita e valore finito.

    T4 · 3 pts · Criterion (b_T4_01)
  • Gestisce correttamente integrali impropri, non negativita e comportamento agli estremi.

    T5 · 3 pts · Criterion (b_T5_01)
  • Controlla la plausibilita locale dei due integrandi.

    T6 · 1 pts · Criterion (b_T6_01)
  • Applica correttamente Tonelli e la nozione di integrabilita di funzioni non negative.

    T7 · 1 pts · Criterion (b_T7_01)
Subproblem c · 35.0%

Verificare il teorema di Gauss per E e F=(0,y,0).

8 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Descrive E e scompone correttamente il suo bordo nelle quattro componenti.

    T1 · 6 pts · Criterion (c_T1_01)
  • Imposta entrambi i membri di Gauss e i flussi di tutte le componenti con orientazione coerente.

    T2 · 5 pts · Criterion (c_T2_01)
  • Calcola volume e flussi delle quattro componenti.

    T3 · 7 pts · Criterion (c_T3_01)
  • Conclude la verifica mostrando l'uguaglianza tra flusso totale e integrale della divergenza.

    T4 · 5 pts · Criterion (c_T4_01)
  • Rispetta domini parametrici e normali uscenti di C e T.

    T5 · 3 pts · Criterion (c_T5_01)
  • Controlla nullita dei flussi piani, segni e dimensioni dei contributi.

    T6 · 3 pts · Criterion (c_T6_01)
  • Applica Gauss con le ipotesi e l'orientazione corrette.

    T7 · 3 pts · Criterion (c_T7_01)
  • Esegue la verifica autonoma richiesta confrontando esplicitamente i due membri di Gauss.

    T8 · 3 pts · Criterion (c_T8_01)
Subproblem d · 20.0%

Verificare Kelvin-Stokes per F e la componente sferica C.

8 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Identifica C, il suo bordo orientato e i due membri di Kelvin-Stokes.

    T1 · 3 pts · Criterion (d_T1_01)
  • Imposta un confronto indipendente tra integrale del rotore e circuitazione sul bordo.

    T2 · 3 pts · Criterion (d_T2_01)
  • Calcola rotore e circuitazione completa.

    T3 · 3 pts · Criterion (d_T3_01)
  • Conclude che entrambi i membri di Kelvin-Stokes valgono zero.

    T4 · 3 pts · Criterion (d_T4_01)
  • Gestisce orientazione coerente e tutti i tratti del bordo.

    T5 · 2 pts · Criterion (d_T5_01)
  • Controlla cancellazione dei contributi e coerenza con rotF=0.

    T6 · 2 pts · Criterion (d_T6_01)
  • Applica rigorosamente Kelvin-Stokes.

    T7 · 2 pts · Criterion (d_T7_01)
  • Verifica autonomamente entrambi i membri della formula richiesta.

    T8 · 2 pts · Criterion (d_T8_01)
Complete frozen rubricOriginal Italian record · exact JSON · SHA-256 11351ae4c2a5…+
{
  "rubric_version": "1.0",
  "judge_spec_version": "2.0",
  "item_id": "analisi_3_2025_terzo_appello_esercizio_2",
  "syllabus_macroarea": "Integrali multipli, integrabilita impropria e teoremi integrali del calcolo vettoriale",
  "topic": "Baricentro polare, integrabilita di funzioni singolari, verifica di Gauss e Kelvin-Stokes",
  "task_type": "mixed",
  "created_without_model_answers": true,
  "frozen": true,
  "reference_status": "verified",
  "reference_notes": "La soluzione ufficiale e stata verificata indipendentemente. In polari A e descritta da 0<=theta<=pi/2 e 2a cos(theta)<=rho<=2a; area=pi a^2/2 e baricentro=((16-3pi)a/(3pi),4a/pi). L'integrale di 1/x diverge a +infinito, mentre quello di 1/y vale 2a log 2. Per E, div F=1 e il volume e pi(16-3pi)a^3/12. I flussi sui due settori piani sono nulli, quello sulla componente sferica e 4pi a^3/3 e quello sulla componente toroidale e -pi^2 a^3/4, con somma uguale al volume. Infine rot F=0 e la circuitazione orientata su bordo C e 0.",
  "subproblems": [
    {
      "id": "a",
      "weight": 0.25,
      "request": "Disegnare A e calcolarne il baricentro geometrico.",
      "expected_results": [
        "A: 0<=theta<=pi/2, 2a cos theta<=rho<=2a.",
        "Area=pi a^2/2.",
        "G=((16-3pi)a/(3pi),4a/pi)."
      ],
      "required_conditions": [
        "a>0.",
        "Usare momenti divisi per l'area."
      ],
      "accepted_equivalences": [
        "Descrizione come regione del primo quadrante interna al cerchio di raggio 2a ed esterna al disco (x-a)^2+y^2<a^2."
      ],
      "accepted_alternative_methods": [
        "Geometria elementare e sottrazione di regioni."
      ]
    },
    {
      "id": "b",
      "weight": 0.2,
      "request": "Stabilire l'integrabilita di 1/x e 1/y su A e calcolare gli integrali quando finiti.",
      "expected_results": [
        "1/x non e integrabile e il suo integrale vale +infinito.",
        "1/y e integrabile e il suo integrale vale 2a log 2."
      ],
      "required_conditions": [
        "Trattare le singolarita improprie ai bordi x=0 e y=0.",
        "Usare non negativita/Tonelli o una giustificazione equivalente."
      ],
      "accepted_equivalences": [
        "Qualunque criterio asintotico equivalente."
      ],
      "accepted_alternative_methods": [
        "Sezioni cartesiane o confronti locali rigorosi."
      ]
    },
    {
      "id": "c",
      "weight": 0.35,
      "request": "Verificare il teorema di Gauss per E e F=(0,y,0).",
      "expected_results": [
        "Integrale_E div F=Vol(E)=pi(16-3pi)a^3/12.",
        "Il bordo e composto da due parti piane, componente sferica C e componente toroidale T.",
        "Flussi: 0,0,4pi a^3/3,-pi^2 a^3/4; la somma coincide col volume."
      ],
      "required_conditions": [
        "Usare normali uscenti da E.",
        "Parametrizzare tutte le componenti di bordo o giustificarne il contributo."
      ],
      "accepted_equivalences": [
        "Parametrizzazioni e convenzioni orientative equivalenti, se coerenti."
      ],
      "accepted_alternative_methods": [
        "Calcolo diretto del flusso con coordinate o decomposizioni geometriche equivalenti."
      ]
    },
    {
      "id": "d",
      "weight": 0.2,
      "request": "Verificare Kelvin-Stokes per F e la componente sferica C.",
      "expected_results": [
        "rot F=0 e quindi il flusso del rotore su C e 0.",
        "La circuitazione orientata lungo bordo C e 0."
      ],
      "required_conditions": [
        "Orientare bordo e superficie coerentemente.",
        "Coprire tutti gli archi del bordo di C."
      ],
      "accepted_equivalences": [
        "Orientazione opposta accettata poiche entrambi i membri restano zero."
      ],
      "accepted_alternative_methods": [
        "Riconoscimento di F come gradiente di y^2/2 per la circuitazione, insieme al controllo del rotore."
      ]
    }
  ],
  "atomic_criteria": [
    {
      "criterion_id": "a_T1_01",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 7,
      "description": "Descrive correttamente A in coordinate polari e identifica area e momenti necessari al baricentro.",
      "full_credit_evidence": [
        "0<=theta<=pi/2, 2a cos theta<=rho<=2a; baricentro da integrali di x e y divisi per l'area."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Formalizzazione corretta con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Regione corretta ma momenti incompleti, o viceversa."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo elemento pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Regione e baricentro formalizzati in modo incompatibile."
      ],
      "accepted_equivalences": [
        "Descrizione cartesiana/geometrica equivalente."
      ],
      "accepted_alternative_methods": [
        "Differenza tra quarto di disco e semicirconferenza interna pertinente."
      ],
      "propagated_error_policy": "Un errore originario nei limiti si penalizza qui una volta."
    },
    {
      "criterion_id": "a_T2_01",
      "subproblem_id": "a",
      "primary_dimension": "T2",
      "max_points": 4,
      "description": "Imposta area e momenti primi con Jacobiano e limiti corretti.",
      "full_credit_evidence": [
        "Integrali polari con elemento rho d rho d theta e integrandi x=rho cos theta, y=rho sin theta."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Impostazione corretta con un difetto minore."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Area corretta e momenti solo parziali."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Metodo polare pertinente ma incompleto."
        }
      ],
      "zero_credit_conditions": [
        "Metodo incompatibile."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [
        "Sottrazione di momenti di figure note."
      ],
      "propagated_error_policy": "Non duplicare qui errori di integrazione."
    },
    {
      "criterion_id": "a_T3_01",
      "subproblem_id": "a",
      "primary_dimension": "T3",
      "max_points": 5,
      "description": "Calcola area e due momenti primi.",
      "full_credit_evidence": [
        "Area=pi a^2/2, M_y=(16-3pi)a^3/6, M_x=2a^3."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un errore locale minore."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due quantita corrette su tre."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Una quantita corretta."
        }
      ],
      "zero_credit_conditions": [
        "Nessun calcolo utilizzabile."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore di momento propagato al baricentro conta all'origine e nel risultato, non in ogni passaggio."
    },
    {
      "criterion_id": "a_T4_01",
      "subproblem_id": "a",
      "primary_dimension": "T4",
      "max_points": 4,
      "description": "Fornisce disegno/descrizione geometrica e baricentro finale corretti.",
      "full_credit_evidence": [
        "Regione corretta e G=((16-3pi)a/(3pi),4a/pi)."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Risultato sostanzialmente corretto con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Disegno o baricentro corretto, l'altro incompleto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo risultato parziale."
        }
      ],
      "zero_credit_conditions": [
        "Risultati assenti o errati."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 valuta l'esito distinto."
    },
    {
      "criterion_id": "a_T5_01",
      "subproblem_id": "a",
      "primary_dimension": "T5",
      "max_points": 2,
      "description": "Rispetta a>0 e tutti i limiti angolari e radiali.",
      "full_credit_evidence": [
        "I limiti definiscono esattamente A nel primo quadrante."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Condizioni rispettate con una implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un limite secondario impreciso."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo parte del dominio corretta."
        }
      ],
      "zero_credit_conditions": [
        "Dominio incompatibile."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare un errore di limite gia contato in T1."
    },
    {
      "criterion_id": "a_T6_01",
      "subproblem_id": "a",
      "primary_dimension": "T6",
      "max_points": 2,
      "description": "Controlla che area, momenti e baricentro siano dimensionalmente e geometricamente plausibili.",
      "full_credit_evidence": [
        "Coordinate positive, proporzionali ad a e interne all'inviluppo della regione."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controllo quasi completo."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Plausibilita solo implicita."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Una verifica locale."
        }
      ],
      "zero_credit_conditions": [
        "Incoerenze manifeste non riconosciute."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non moltiplicare conseguenze di un solo errore."
    },
    {
      "criterion_id": "a_T7_01",
      "subproblem_id": "a",
      "primary_dimension": "T7",
      "max_points": 1,
      "description": "Usa correttamente la definizione di baricentro geometrico.",
      "full_credit_evidence": [
        "Divide ciascun momento primo per l'area positiva."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Uso corretto con notazione lieve."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Definizione riconoscibile ma incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo richiamo pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Definizione errata."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare errori aritmetici."
    },
    {
      "criterion_id": "b_T1_01",
      "subproblem_id": "b",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Formalizza i due integrali impropri non negativi e le singolarita rilevanti.",
      "full_credit_evidence": [
        "Riconosce x=0 per 1/x e y=0 per 1/y e imposta integrali su A."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Entrambi trattati con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Uno completo e uno parziale."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Una singolarita riconosciuta."
        }
      ],
      "zero_credit_conditions": [
        "Tratta le funzioni come limitate su A."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare qui il test di convergenza."
    },
    {
      "criterion_id": "b_T2_01",
      "subproblem_id": "b",
      "primary_dimension": "T2",
      "max_points": 3,
      "description": "Sceglie Tonelli/Fubini e un confronto asintotico o calcolo improprio valido.",
      "full_credit_evidence": [
        "Riduce a integrali angolari e verifica separatamente gli estremi singolari."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Metodo corretto con lieve lacuna."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo un integrale e trattato rigorosamente."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Metodo pertinente appena abbozzato."
        }
      ],
      "zero_credit_conditions": [
        "Metodo non valido per impropri."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [
        "Confronti cartesiani locali."
      ],
      "propagated_error_policy": "Non duplicare errori di calcolo."
    },
    {
      "criterion_id": "b_T3_01",
      "subproblem_id": "b",
      "primary_dimension": "T3",
      "max_points": 5,
      "description": "Calcola i due integrali angolari e ne determina convergenza o divergenza.",
      "full_credit_evidence": [
        "Integrale (1-cos theta)/cos theta diverge a pi/2; 2a integrale (1-cos theta)/sin theta converge e vale 2a log2."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Conclusioni corrette con un errore locale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Uno dei due sviluppi completo."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo passaggio utile."
        }
      ],
      "zero_credit_conditions": [
        "Nessuno sviluppo valido."
      ],
      "accepted_equivalences": [
        "Uso di tan(theta/2) o identita equivalenti."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Penalizzare una volta l'errore causale."
    },
    {
      "criterion_id": "b_T4_01",
      "subproblem_id": "b",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Conclude correttamente integrabilita e valore finito.",
      "full_credit_evidence": [
        "1/x non integrabile con integrale +infinito; 1/y integrabile con integrale 2a log2."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Entrambe le conclusioni corrette con lieve difetto."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Una conclusione completa."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Una conclusione parziale."
        }
      ],
      "zero_credit_conditions": [
        "Conclusioni entrambe errate/assenti."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 riflette gli esiti distinti."
    },
    {
      "criterion_id": "b_T5_01",
      "subproblem_id": "b",
      "primary_dimension": "T5",
      "max_points": 3,
      "description": "Gestisce correttamente integrali impropri, non negativita e comportamento agli estremi.",
      "full_credit_evidence": [
        "Giustifica Tonelli e controlla theta=pi/2 per 1/x e theta=0 per 1/y."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una condizione resta implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo un estremo e controllato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Controllo incompleto."
        }
      ],
      "zero_credit_conditions": [
        "Ignora le singolarita."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare la divergenza gia valutata in T3."
    },
    {
      "criterion_id": "b_T6_01",
      "subproblem_id": "b",
      "primary_dimension": "T6",
      "max_points": 1,
      "description": "Controlla la plausibilita locale dei due integrandi.",
      "full_credit_evidence": [
        "Usa equivalenze 1/(pi/2-theta) e theta/2 o equivalenti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controllo quasi completo."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un solo controllo."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Plausibilita accennata."
        }
      ],
      "zero_credit_conditions": [
        "Nessun controllo."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non aggiungere errori separati per la stessa singolarita."
    },
    {
      "criterion_id": "b_T7_01",
      "subproblem_id": "b",
      "primary_dimension": "T7",
      "max_points": 1,
      "description": "Applica correttamente Tonelli e la nozione di integrabilita di funzioni non negative.",
      "full_credit_evidence": [
        "Distingue valore improprio infinito da integrabilita finita."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Uso sostanzialmente corretto."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Teorema richiamato senza piena applicazione."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo riferimento pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Inferenza teorica falsa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare aritmetica."
    },
    {
      "criterion_id": "c_T1_01",
      "subproblem_id": "c",
      "primary_dimension": "T1",
      "max_points": 6,
      "description": "Descrive E e scompone correttamente il suo bordo nelle quattro componenti.",
      "full_credit_evidence": [
        "Due settori piani A,A', componente sferica C e componente toroidale T, con normali uscenti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Scomposizione corretta con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Manca una componente sostanziale."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo parte del bordo riconosciuta."
        }
      ],
      "zero_credit_conditions": [
        "Solido o bordo errato."
      ],
      "accepted_equivalences": [
        "Descrizione in coordinate cilindriche/sferiche equivalente."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore geometrico originario si penalizza qui una volta."
    },
    {
      "criterion_id": "c_T2_01",
      "subproblem_id": "c",
      "primary_dimension": "T2",
      "max_points": 5,
      "description": "Imposta entrambi i membri di Gauss e i flussi di tutte le componenti con orientazione coerente.",
      "full_credit_evidence": [
        "Calcola integrale_E divF e somma dei flussi uscenti separati."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Impostazione completa con lieve lacuna."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un membro completo e l'altro parziale."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo un'impostazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Non effettua una verifica dei due membri."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare errori di parametrizzazione in T3."
    },
    {
      "criterion_id": "c_T3_01",
      "subproblem_id": "c",
      "primary_dimension": "T3",
      "max_points": 7,
      "description": "Calcola volume e flussi delle quattro componenti.",
      "full_credit_evidence": [
        "Vol=pi(16-3pi)a^3/12; flussi 0,0,4pi a^3/3,-pi^2 a^3/4."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un contributo secondario errato/omesso."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Volume e almeno due contributi corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un calcolo sostanziale corretto."
        }
      ],
      "zero_credit_conditions": [
        "Nessun calcolo valido."
      ],
      "accepted_equivalences": [
        "Segni intermedi diversi per parametrizzazioni opposte se la normale finale e corretta."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore di orientazione propagato coerentemente conta una volta, oltre all'eventuale esito finale."
    },
    {
      "criterion_id": "c_T4_01",
      "subproblem_id": "c",
      "primary_dimension": "T4",
      "max_points": 5,
      "description": "Conclude la verifica mostrando l'uguaglianza tra flusso totale e integrale della divergenza.",
      "full_credit_evidence": [
        "0+0+4pi a^3/3-pi^2 a^3/4=pi(16-3pi)a^3/12."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Uguaglianza sostanzialmente corretta con difetto locale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Entrambi i membri presentati ma non coincidenti per un errore di calcolo."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo un membro finale corretto."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna verifica finale."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 registra l'esito della verifica."
    },
    {
      "criterion_id": "c_T5_01",
      "subproblem_id": "c",
      "primary_dimension": "T5",
      "max_points": 3,
      "description": "Rispetta domini parametrici e normali uscenti di C e T.",
      "full_credit_evidence": [
        "Angoli in [0,pi/2], parametro toroidale in [0,pi] e segni delle normali coerenti con E."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Condizioni corrette con una implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Domini corretti ma orientazione incompleta, o viceversa."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Una condizione corretta."
        }
      ],
      "zero_credit_conditions": [
        "Domini/orientazioni incompatibili."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare un singolo errore di orientazione."
    },
    {
      "criterion_id": "c_T6_01",
      "subproblem_id": "c",
      "primary_dimension": "T6",
      "max_points": 3,
      "description": "Controlla nullita dei flussi piani, segni e dimensioni dei contributi.",
      "full_credit_evidence": [
        "F e parallelo/nulla sulle facce piane e tutti i flussi scalano come a^3."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controlli quasi completi."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un controllo decisivo corretto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Plausibilita accennata."
        }
      ],
      "zero_credit_conditions": [
        "Incoerenze manifeste."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non moltiplicare gli effetti di un unico errore."
    },
    {
      "criterion_id": "c_T7_01",
      "subproblem_id": "c",
      "primary_dimension": "T7",
      "max_points": 3,
      "description": "Applica Gauss con le ipotesi e l'orientazione corrette.",
      "full_credit_evidence": [
        "Usa divF=1 su un solido col bordo descritto e flusso uscente."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Uso corretto con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Teorema corretto ma applicazione incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Citazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Teorema applicato in modo falso."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare aritmetica."
    },
    {
      "criterion_id": "c_T8_01",
      "subproblem_id": "c",
      "primary_dimension": "T8",
      "max_points": 3,
      "description": "Esegue la verifica autonoma richiesta confrontando esplicitamente i due membri di Gauss.",
      "full_credit_evidence": [
        "Calcolo di volume/divergenza e flusso di bordo indipendenti e coincidenti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Verifica quasi completa."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Entrambi i lati impostati ma uno incompleto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo un controllo parziale."
        }
      ],
      "zero_credit_conditions": [
        "Calcola un solo membro o invoca il teorema senza verifica."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non richiedere ulteriori verifiche ridondanti."
    },
    {
      "criterion_id": "d_T1_01",
      "subproblem_id": "d",
      "primary_dimension": "T1",
      "max_points": 3,
      "description": "Identifica C, il suo bordo orientato e i due membri di Kelvin-Stokes.",
      "full_credit_evidence": [
        "Superficie sferica C e bordo composto dagli archi pertinenti, con flusso del rotore e circuitazione."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Formalizzazione corretta con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo superficie o bordo completo."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un elemento pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Oggetti errati."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare errori di orientazione."
    },
    {
      "criterion_id": "d_T2_01",
      "subproblem_id": "d",
      "primary_dimension": "T2",
      "max_points": 3,
      "description": "Imposta un confronto indipendente tra integrale del rotore e circuitazione sul bordo.",
      "full_credit_evidence": [
        "Calcola rotF e parametrizza tutti i tratti di bordo o usa una primitiva globale."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Metodo completo con lieve lacuna."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un membro completo e l'altro parziale."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo un'impostazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna verifica."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [
        "F=grad(y^2/2)."
      ],
      "propagated_error_policy": "Non duplicare i calcoli in T3."
    },
    {
      "criterion_id": "d_T3_01",
      "subproblem_id": "d",
      "primary_dimension": "T3",
      "max_points": 3,
      "description": "Calcola rotore e circuitazione completa.",
      "full_credit_evidence": [
        "rotF=0 e i contributi del bordo si cancellano, dando 0."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Calcolo corretto con lieve difetto."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Rotore corretto e circuitazione parziale."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo contributo utile."
        }
      ],
      "zero_credit_conditions": [
        "Calcoli assenti o errati."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [
        "Circuitazione nulla da campo conservativo."
      ],
      "propagated_error_policy": "Un errore locale propagato conta una volta."
    },
    {
      "criterion_id": "d_T4_01",
      "subproblem_id": "d",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Conclude che entrambi i membri di Kelvin-Stokes valgono zero.",
      "full_credit_evidence": [
        "Integrale_C rotF dot n=0=circuitazione_bordoC F dot dx."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Conclusione corretta con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo un membro finale corretto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Conclusione parziale."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna uguaglianza finale."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 valuta l'esito."
    },
    {
      "criterion_id": "d_T5_01",
      "subproblem_id": "d",
      "primary_dimension": "T5",
      "max_points": 2,
      "description": "Gestisce orientazione coerente e tutti i tratti del bordo.",
      "full_credit_evidence": [
        "Orientazione indotta dalla normale scelta e percorso chiuso completo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Condizioni rispettate con una implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Bordo completo ma orientazione non esplicita."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo parte corretta."
        }
      ],
      "zero_credit_conditions": [
        "Percorso non chiuso/incompatibile."
      ],
      "accepted_equivalences": [
        "Orientazione globale opposta coerente."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare il segno in T3."
    },
    {
      "criterion_id": "d_T6_01",
      "subproblem_id": "d",
      "primary_dimension": "T6",
      "max_points": 2,
      "description": "Controlla cancellazione dei contributi e coerenza con rotF=0.",
      "full_credit_evidence": [
        "La circuitazione nulla e compatibile col campo conservativo/rotore nullo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controllo quasi completo."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un controllo corretto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Plausibilita accennata."
        }
      ],
      "zero_credit_conditions": [
        "Contraddizione non riconosciuta."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non aggiungere errori per la medesima cancellazione."
    },
    {
      "criterion_id": "d_T7_01",
      "subproblem_id": "d",
      "primary_dimension": "T7",
      "max_points": 2,
      "description": "Applica rigorosamente Kelvin-Stokes.",
      "full_credit_evidence": [
        "Distingue rotore, normale e orientazione indotta del bordo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Uso corretto con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Teorema corretto ma applicazione incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Citazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Formula teorica falsa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare aritmetica."
    },
    {
      "criterion_id": "d_T8_01",
      "subproblem_id": "d",
      "primary_dimension": "T8",
      "max_points": 2,
      "description": "Verifica autonomamente entrambi i membri della formula richiesta.",
      "full_credit_evidence": [
        "Rotore nullo e circuitazione calcolata indipendentemente nulla."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Verifica quasi completa."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un membro calcolato e l'altro solo giustificato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Controllo parziale."
        }
      ],
      "zero_credit_conditions": [
        "Invoca soltanto il teorema."
      ],
      "accepted_equivalences": [
        "Uso della potenziale come verifica indipendente della circuitazione."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non richiedere verifiche ulteriori."
    }
  ],
  "dimension_applicability": {
    "T1": "applicable",
    "T2": "applicable",
    "T3": "applicable",
    "T4": "applicable",
    "T5": "applicable",
    "T6": "applicable",
    "T7": "applicable",
    "T8": "applicable"
  },
  "dimension_applicability_notes": {
    "T8": "Applicabile perche i punti (c) e (d) chiedono esplicitamente di verificare Gauss e Kelvin-Stokes calcolando indipendentemente i due membri."
  },
  "dimension_point_budget": {
    "T1": 20,
    "T2": 15,
    "T3": 20,
    "T4": 15,
    "T5": 10,
    "T6": 8,
    "T7": 7,
    "T8": 5
  },
  "rubric_specific_caps": [],
  "human_approval": {
    "approved": true,
    "reviewer": "benchmark_owner_via_codex_task",
    "date": "2026-07-18"
  }
}
03

Per-exercise ranking

Configurations

Choose one of four stable ranking views. Retry count remains available as a secondary table sort.

Rank configurations by

Score ranks high to low. Speed, cost and tokens rank low to high. Retry sorting remains available from the table header.

Results for all 21 model-mode configurations
ConfigurationSelected rankMean score / replicasLatencyCostTokens
Claude Fable 5Anthropic · official model page ↗#1by score100.0SD not available · single run139.0s$0.68614,5210.00
Claude Opus 5.5Anthropic · official model page ↗#1by score100.0SD not available · single run106.7s$0.26013,8020.00
DeepSeek V4 FlashDeepSeek · official model page ↗#1by score100.0SD not available · single run368.4s$0.01242,4770.00
DeepSeek V4 ProDeepSeek · official model page ↗#1by score100.0SD not available · single run329.2s$0.02529,1900.00
GPT-5.6 SolOpenAI · official model page ↗#1by score100.0SD not available · single run411.8s$0.72924,8410.00
GPT-6 LunaOpenAI · official model page ↗#1by score100.0SD not available · single run169.8s$0.01020,8950.00
GPT-6.1 SolOpenAI · official model page ↗#1by score100.0SD not available · single run226.4s$0.12713,1660.00
Grok 4.3xAI · official model page ↗#1by score100.0SD not available · single run139.0s$0.03916,1860.00
Grok 4.5xAI · official model page ↗#1by score100.0SD not available · single run434.0s$0.14124,1210.00
Claude Sonnet 5.5Anthropic · official model page ↗#10by score99.3SD not available · single run57.0s$0.0839,1200.00
OpenAI o3OpenAI · official model page ↗#10by score99.3SD not available · single run145.3s$0.16721,3830.00
Gemini 3.5 FlashGoogle · official model page ↗#12by score98.1SD 2.2 · 3 retained runs521.0s$0.19722,4230.00
DeepSeek V4.1 FlashDeepSeek · official model page ↗#13by score97.8SD not available · single run158.7s$0.04437,3960.00
Gemini 3.1 Pro PreviewGoogle · official model page ↗#14by score97.0SD not available · single run147.1s$0.22719,4590.00
Mistral Medium 3.5Mistral · official model page ↗#15by score93.3SD not available · single run158.5s$0.17724,0810.00
DeepSeek V4 Flash (no thinking)DeepSeek · official model page ↗#16by score75.3SD not available · single run353.5s$0.01448,7680.00
Gemma 4 31B ITGoogle · official model page ↗#17by score74.5SD not available · single run89.5s$0.00003,8650.00
Mistral Small 4Mistral · official model page ↗#18by score53.3SD not available · single run149.6s$0.01729,5990.00
OpenAI GPT-4.1OpenAI · official model page ↗#19by score52.0SD not available · single run64.5s$0.0597,8940.00
Claude Sonnet 4.5Anthropic · official model page ↗#20by score39.8SD not available · single run59.9s$0.0624,7670.00
Claude Haiku 4.5Anthropic · official model page ↗#21by score32.3SD not available · single run26.3s$0.0204,5200.00
#1 by score

Claude Fable 5

Anthropic
100.0mean score

SD not available · single run

Latency
139.0s
Cost
$0.686
Tokens
14,521
Retries
0.00
Official model page ↗
#1 by score

Claude Opus 5.5

Anthropic
100.0mean score

SD not available · single run

Latency
106.7s
Cost
$0.260
Tokens
13,802
Retries
0.00
Official model page ↗
#1 by score

DeepSeek V4 Flash

DeepSeek
100.0mean score

SD not available · single run

Latency
368.4s
Cost
$0.012
Tokens
42,477
Retries
0.00
Official model page ↗
#1 by score

DeepSeek V4 Pro

DeepSeek
100.0mean score

SD not available · single run

Latency
329.2s
Cost
$0.025
Tokens
29,190
Retries
0.00
Official model page ↗
#1 by score

GPT-5.6 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
411.8s
Cost
$0.729
Tokens
24,841
Retries
0.00
Official model page ↗
#1 by score

GPT-6 Luna

OpenAI
100.0mean score

SD not available · single run

Latency
169.8s
Cost
$0.010
Tokens
20,895
Retries
0.00
Official model page ↗
#1 by score

GPT-6.1 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
226.4s
Cost
$0.127
Tokens
13,166
Retries
0.00
Official model page ↗
#1 by score

Grok 4.3

xAI
100.0mean score

SD not available · single run

Latency
139.0s
Cost
$0.039
Tokens
16,186
Retries
0.00
Official model page ↗
#1 by score

Grok 4.5

xAI
100.0mean score

SD not available · single run

Latency
434.0s
Cost
$0.141
Tokens
24,121
Retries
0.00
Official model page ↗
#10 by score

Claude Sonnet 5.5

Anthropic
99.3mean score

SD not available · single run

Latency
57.0s
Cost
$0.083
Tokens
9,120
Retries
0.00
Official model page ↗
#10 by score

OpenAI o3

OpenAI
99.3mean score

SD not available · single run

Latency
145.3s
Cost
$0.167
Tokens
21,383
Retries
0.00
Official model page ↗
#12 by score

Gemini 3.5 Flash

Google
98.1mean score

SD 2.2 · 3 retained runs

Latency
521.0s
Cost
$0.197
Tokens
22,423
Retries
0.00
Official model page ↗
#13 by score

DeepSeek V4.1 Flash

DeepSeek
97.8mean score

SD not available · single run

Latency
158.7s
Cost
$0.044
Tokens
37,396
Retries
0.00
Official model page ↗
#14 by score

Gemini 3.1 Pro Preview

Google
97.0mean score

SD not available · single run

Latency
147.1s
Cost
$0.227
Tokens
19,459
Retries
0.00
Official model page ↗
#15 by score

Mistral Medium 3.5

Mistral
93.3mean score

SD not available · single run

Latency
158.5s
Cost
$0.177
Tokens
24,081
Retries
0.00
Official model page ↗
#16 by score

DeepSeek V4 Flash (no thinking)

DeepSeek
75.3mean score

SD not available · single run

Latency
353.5s
Cost
$0.014
Tokens
48,768
Retries
0.00
Official model page ↗
#17 by score

Gemma 4 31B IT

Google
74.5mean score

SD not available · single run

Latency
89.5s
Cost
$0.0000
Tokens
3,865
Retries
0.00
Official model page ↗
#18 by score

Mistral Small 4

Mistral
53.3mean score

SD not available · single run

Latency
149.6s
Cost
$0.017
Tokens
29,599
Retries
0.00
Official model page ↗
#19 by score

OpenAI GPT-4.1

OpenAI
52.0mean score

SD not available · single run

Latency
64.5s
Cost
$0.059
Tokens
7,894
Retries
0.00
Official model page ↗
#20 by score

Claude Sonnet 4.5

Anthropic
39.8mean score

SD not available · single run

Latency
59.9s
Cost
$0.062
Tokens
4,767
Retries
0.00
Official model page ↗
#21 by score

Claude Haiku 4.5

Anthropic
32.3mean score

SD not available · single run

Latency
26.3s
Cost
$0.020
Tokens
4,520
Retries
0.00
Official model page ↗
04

Criterion-level benchmark record

Scoring evidence

Dimension and criterion values are descriptive results for the 21 evaluated configuration means. N/A remains distinct from zero.

Attainment scale0%50%100%N/A = not applicable
T189.3%Understanding / modelling
T288.5%Method selection
T385.9%Development
T486.4%Final results
T582.4%Domains / assumptions
T683.6%Consistency
T786.5%Rigor
T880.0%Independent verification
T1 through T8 attainment for each model-mode configuration
ConfigurationT120 ptsT215 ptsT320 ptsT415 ptsT510 ptsT68 ptsT77 ptsT85 pts
Claude Fable 5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Claude Opus 5.5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4 Flash100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4 Pro100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-5.6 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6 Luna100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6.1 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Grok 4.3100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Grok 4.5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Claude Sonnet 5.5100.0%100.0%100.0%100.0%100.0%90.6%100.0%100.0%
OpenAI o3100.0%100.0%100.0%100.0%100.0%100.0%100.0%85.0%
Gemini 3.5 Flash97.5%100.0%97.1%100.0%98.3%96.9%97.6%95.0%
DeepSeek V4.1 Flash100.0%100.0%100.0%100.0%82.5%93.8%100.0%100.0%
Gemini 3.1 Pro Preview100.0%100.0%91.3%100.0%92.5%93.8%100.0%100.0%
Mistral Medium 3.583.8%100.0%100.0%100.0%72.5%100.0%89.3%100.0%
DeepSeek V4 Flash (no thinking)92.5%76.7%76.3%71.7%57.5%75.0%75.0%45.0%
Gemma 4 31B IT88.8%78.3%73.8%66.7%65.0%65.6%71.4%70.0%
Mistral Small 465.0%63.3%52.5%60.0%35.0%34.4%50.0%30.0%
OpenAI GPT-4.173.8%58.3%46.3%53.3%47.5%40.6%46.4%0.0%
Claude Sonnet 4.542.5%45.0%33.8%40.0%42.5%37.5%42.9%30.0%
Claude Haiku 4.531.3%36.7%33.8%23.3%37.5%28.1%42.9%25.0%
05

Load on request

Retained responses and judgments

23 responses across 21 model-mode configurations. Long records load only when opened.

Interpretation boundary

Answers are reproduced as submitted. Each is paired with its authority-resolved judgment for this snapshot; this is not a general evaluation of the underlying model.

Compare two configurations All retained replicas

Select two configurations and load all their retained replicas.

Select two configurations and load all their retained replicas.

#1Claude Fable 5Anthropic · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1Claude Opus 5.5Anthropic · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1DeepSeek V4 FlashDeepSeek · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1DeepSeek V4 ProDeepSeek · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-5.6 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-6 LunaOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-6.1 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1Grok 4.3xAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1Grok 4.5xAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#10Claude Sonnet 5.5Anthropic · 1 retained run · load on request99.3configuration mean+
Configuration recordOfficial model page ↗
#10OpenAI o3OpenAI · 1 retained run · load on request99.3configuration mean+
Configuration recordOfficial model page ↗
#12Gemini 3.5 FlashGoogle · 3 retained runs · load on request98.1configuration mean+
Configuration recordOfficial model page ↗
#13DeepSeek V4.1 FlashDeepSeek · 1 retained run · load on request97.8configuration mean+
Configuration recordOfficial model page ↗
#14Gemini 3.1 Pro PreviewGoogle · 1 retained run · load on request97.0configuration mean+
Configuration recordOfficial model page ↗
#15Mistral Medium 3.5Mistral · 1 retained run · load on request93.3configuration mean+
Configuration recordOfficial model page ↗
#16DeepSeek V4 Flash (no thinking)DeepSeek · 1 retained run · load on request75.3configuration mean+
Configuration recordOfficial model page ↗
#17Gemma 4 31B ITGoogle · 1 retained run · load on request74.5configuration mean+
Configuration recordOfficial model page ↗
#18Mistral Small 4Mistral · 1 retained run · load on request53.3configuration mean+
Configuration recordOfficial model page ↗
#19OpenAI GPT-4.1OpenAI · 1 retained run · load on request52.0configuration mean+
Configuration recordOfficial model page ↗
#20Claude Sonnet 4.5Anthropic · 1 retained run · load on request39.8configuration mean+
Configuration recordOfficial model page ↗
#21Claude Haiku 4.5Anthropic · 1 retained run · load on request32.3configuration mean+
Configuration recordOfficial model page ↗
06

Record context

About this benchmark record

The Atlas presents the exercise, rubric, results and retained responses in one interactive record.

Exercise IDA3-25-P3-E2
SubjectAnalysis III
Exam sitting2025 · Third sitting
Benchmark snapshot2026-10-15
Rubric version1.0
Retained responses23
How to use this page

Use the Atlas to inspect what was tested and how each configuration performed. Most configuration–exercise cells are single-run, so displayed values are descriptive rather than uncertainty estimates.