Analysis III · Exercise research profile

Centroid, improper integrability, Gauss and Kelvin–Stokes theorems (A3-26-P3-E2)

Source record, frozen scoring evidence, configuration-level measurements and retained responses for one benchmark exercise.

01

Observed panel summary

Exercise overview

Descriptive results across 21 model-mode configuration means. They do not establish general model superiority.

Published recordSource statement · frozen rubric · 21 retained responses · current judgmentsThe separate official reference solution is not reproduced.
Mean rubric score86.4Median 98.5 · n=16
Configuration spreadSD 21.439.0–100.0
Rank by lowest observed mean#16/60Overall · #11/33 within Analysis III
Mean latency277.2sEnd-to-end per response
Mean cost$0.139Snapshot estimate
Mean tokens19,288Analytical tokens per response

Configuration means

Observed score distribution

Median 98.5 / 100
AnthropicDeepSeekOpenAIGooglexAIMistral
  1. Claude Fable 5SD not available · single run
    100.0
  2. Claude Opus 5.5SD not available · single run
    100.0
  3. Claude Sonnet 5.5SD not available · single run
    100.0
  4. DeepSeek V4 FlashSD not available · single run
    100.0
  5. DeepSeek V4 ProSD not available · single run
    100.0
  6. GPT-5.6 SolSD not available · single run
    100.0
  7. GPT-6 LunaSD not available · single run
    100.0
  8. GPT-6.1 SolSD not available · single run
    100.0
  9. Gemini 3.1 Pro PreviewSD not available · single run
    99.0
  10. Gemini 3.5 FlashSD not available · single run
    99.0
  11. Grok 4.5SD not available · single run
    98.5
  12. OpenAI o3SD not available · single run
    98.5
  13. DeepSeek V4.1 FlashSD not available · single run
    97.0
  14. DeepSeek V4 Flash (no thinking)SD not available · single run
    96.0
  15. Grok 4.3SD not available · single run
    95.8
  16. Mistral Medium 3.5SD not available · single run
    80.0
  17. Gemma 4 31B ITSD not available · single run
    65.8
  18. Mistral Small 4SD not available · single run
    61.8
  19. OpenAI GPT-4.1SD not available · single run
    45.0
  20. Claude Sonnet 4.5SD not available · single run
    39.5
  21. Claude Haiku 4.5SD not available · single run
    39.0

Whiskers show mean ± one within-configuration response SD where three retained runs are available. Single-run cells have no within-configuration variability statistic.

02

Task before results

Source record and frozen rubric

Read the evaluated task before interpreting configuration outcomes. Original Italian records remain authoritative.

Evaluated source record

Exercise statement

A3-26-P3-E2 · Analysis III
The English version is a faithful editorial translation. The Italian source remains authoritative.

ESAME: Analisi 3 DATA: 18/06/2026 ESERCIZIO: 2

TESTO: Nel piano cartesiano sia A={(x,y): x≥0, y≥0, x+y≤2a, x^2+y^2≥a^2} (ove a>0). (a) Disegnare A e calcolarne il baricentro geometrico. (b) Dire se le funzioni y/x e 1/(x^2+y^2) sono integrabili su A, calcolandone nel caso l'integrale. Si disegni ora A nel piano verticale (x,z) dello spazio cartesiano, e sia E il solido che si ottiene facendo ruotare A nel primo ottante di un angolo π/2 attorno all'asse z. (c) Verificare il teorema di Gauss per E e il campo F=(0,0,z), calcolando i flussi di F per ciascuna delle componenti di ∂E. (d) Verificare la formula di Kelvin-Stokes per F e la componente piana A di ∂E nel piano (x,z).

Original source textExact Italian record · no editorial changes+
ESAME: Analisi 3
DATA: 18/06/2026
ESERCIZIO: 2

TESTO:
Nel piano cartesiano sia A={(x,y): x≥0, y≥0, x+y≤2a, x^2+y^2≥a^2} (ove a>0).
(a) Disegnare A e calcolarne il baricentro geometrico.
(b) Dire se le funzioni y/x e 1/(x^2+y^2) sono integrabili su A, calcolandone nel caso l'integrale.
Si disegni ora A nel piano verticale (x,z) dello spazio cartesiano, e sia E il solido che si ottiene facendo ruotare A nel primo ottante di un angolo π/2 attorno all'asse z.
(c) Verificare il teorema di Gauss per E e il campo F=(0,0,z), calcolando i flussi di F per ciascuna delle componenti di ∂E.
(d) Verificare la formula di Kelvin-Stokes per F e la componente piana A di ∂E nel piano (x,z).
TopicCentroid, improper integrability, Gauss and Kelvin–Stokes theorems
Syllabus areaMultiple integrals and integral theorems
Task typemixed
Atomic criteria29
Subproblem a · 20.0%

Disegno e baricentro geometrico di A.

6 atomic criteria · T1 · T2 · T3 · T4 · T5

Inspect scoring criteria +
  • Riconosce A come triangolo nel primo quadrante privato del quarto di disco.

    T1 · 4 pts · Criterion (a_T1_01)
  • Formalizza baricentro e simmetria.

    T1 · 4 pts · Criterion (a_T1_02)
  • Imposta area e momenti come differenza triangolo-quarto di disco.

    T2 · 4 pts · Criterion (a_T2_01)
  • Calcola area e momenti.

    T3 · 4 pts · Criterion (a_T3_01)
  • Fornisce il baricentro.

    T4 · 3 pts · Criterion (a_T4_01)
  • Mantiene l'ipotesi a>0 e la regione corretta.

    T5 · 1 pts · Criterion (a_T5_01)
Subproblem b · 20.0%

Integrabilità e integrali di y/x e 1/(x²+y²).

6 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6

Inspect scoring criteria +
  • Distingue correttamente le due singolarità/integrabilità.

    T1 · 5 pts · Criterion (b_T1_01)
  • Imposta test locale e coordinate polari.

    T2 · 4 pts · Criterion (b_T2_01)
  • Calcola correttamente l'integrale della funzione integrabile.

    T3 · 5 pts · Criterion (b_T3_01)
  • Conclude integrabilità e valore richiesto.

    T4 · 3 pts · Criterion (b_T4_01)
  • Identifica correttamente i domini singolari.

    T5 · 2 pts · Criterion (b_T5_01)
  • Controlla segno e dipendenza dalla scala.

    T6 · 1 pts · Criterion (b_T6_01)
Subproblem c · 42.0%

Verifica di Gauss su E tramite tutte le componenti del bordo.

9 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Descrive E e le cinque componenti del bordo.

    T1 · 5 pts · Criterion (c_T1_01)
  • Imposta volume e flussi con orientazioni uscenti.

    T2 · 5 pts · Criterion (c_T2_01)
  • Calcola il flusso sulla componente sferica.

    T3 · 4 pts · Criterion (c_T3_01)
  • Calcola il flusso sulla superficie laterale.

    T3 · 4 pts · Criterion (c_T3_02)
  • Fornisce flussi per ciascuna componente e uguaglianza finale.

    T4 · 6 pts · Criterion (c_T4_01)
  • Gestisce componenti, intervalli e orientazioni.

    T5 · 5 pts · Criterion (c_T5_01)
  • Controlla coerenza fra somma dei flussi e volume.

    T6 · 5 pts · Criterion (c_T6_01)
  • Applica rigorosamente il teorema di Gauss.

    T7 · 4 pts · Criterion (c_T7_01)
  • Esegue la verifica autonoma richiesta di Gauss.

    T8 · 4 pts · Criterion (c_T8_01)
Subproblem d · 18.0%

Verifica di Kelvin-Stokes sulla componente A.

8 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Identifica correttamente superficie, bordo e rotore.

    T1 · 2 pts · Criterion (d_T1_01)
  • Imposta orientazione e circuitazione sui quattro tratti.

    T2 · 2 pts · Criterion (d_T2_01)
  • Calcola i quattro contributi alla circuitazione.

    T3 · 3 pts · Criterion (d_T3_01)
  • Conclude la formula di Kelvin-Stokes.

    T4 · 3 pts · Criterion (d_T4_01)
  • Mantiene orientazione coerente su tutti i tratti.

    T5 · 2 pts · Criterion (d_T5_01)
  • Controlla somma e scala.

    T6 · 2 pts · Criterion (d_T6_01)
  • Applica rigorosamente Kelvin-Stokes.

    T7 · 3 pts · Criterion (d_T7_01)
  • Esegue il confronto autonomo richiesto da Stokes.

    T8 · 1 pts · Criterion (d_T8_01)
Complete frozen rubricOriginal Italian record · exact JSON · SHA-256 3ea12e5074dc…+
{
  "rubric_version": "1.1-adjudication-2026-07-28",
  "judge_spec_version": "2.0",
  "item_id": "analisi_3_2026_terzo_appello_esercizio_2",
  "syllabus_macroarea": "Integrali multipli e teoremi integrali",
  "topic": "Baricentro, integrabilità impropria, Gauss e Kelvin-Stokes",
  "task_type": "mixed",
  "created_without_model_answers": true,
  "frozen": true,
  "reference_status": "verified_human_revision",
  "reference_notes": "Versione corretta, approvata e congelata dalla decisione 2026-07-28_reference_error_integrale_catalan_v1. Nel punto (b), ∫_A dxdy/(x²+y²)=∫_0^{π/2}[log2-log(cosθ+sinθ)]dθ=3πlog2/4-G, dove G è la costante di Catalan; numericamente 0.717223973550 circa. I punti (a), (c) e (d), le conclusioni di integrabilità e ogni altro risultato restano invariati.",
  "adjudication_decision_id": "2026-07-28_reference_error_integrale_catalan_v1",
  "subproblems": [
    {
      "id": "a",
      "request": "Disegno e baricentro geometrico di A.",
      "expected_results": [
        "area=(8-π)a²/4",
        "momenti a³",
        "baricentro gold"
      ],
      "required_conditions": [
        "a>0 e simmetria x↔y."
      ],
      "accepted_equivalences": [
        "Forme equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodi rigorosi compatibili con richieste e gold."
      ],
      "weight": 0.2
    },
    {
      "id": "b",
      "request": "Integrabilità e integrali di y/x e 1/(x²+y²).",
      "expected_results": [
        "y/x non integrabile",
        "1/(x²+y²) integrabile",
        "∫_A dxdy/(x²+y²)=3πlog2/4-G, con G costante di Catalan"
      ],
      "required_conditions": [
        "Analisi delle singolarità sul dominio."
      ],
      "accepted_equivalences": [
        "Forme equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodi rigorosi compatibili con richieste e gold."
      ],
      "weight": 0.2
    },
    {
      "id": "c",
      "request": "Verifica di Gauss su E tramite tutte le componenti del bordo.",
      "expected_results": [
        "cinque componenti",
        "flussi gold",
        "volume πa³/2"
      ],
      "required_conditions": [
        "Orientazioni uscenti e confronto indipendente."
      ],
      "accepted_equivalences": [
        "Forme equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodi rigorosi compatibili con richieste e gold."
      ],
      "weight": 0.42
    },
    {
      "id": "d",
      "request": "Verifica di Kelvin-Stokes sulla componente A.",
      "expected_results": [
        "rot F=0",
        "quattro circuitazioni",
        "somma zero"
      ],
      "required_conditions": [
        "Orientazione coerente."
      ],
      "accepted_equivalences": [
        "Forme equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodi rigorosi compatibili con richieste e gold."
      ],
      "weight": 0.18
    }
  ],
  "atomic_criteria": [
    {
      "criterion_id": "a_T1_01",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Riconosce A come triangolo nel primo quadrante privato del quarto di disco.",
      "full_credit_evidence": [
        "0≤θ≤π/2 e a≤r≤2a/(cosθ+sinθ); area (8-π)a²/4."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "a_T1_02",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Formalizza baricentro e simmetria.",
      "full_credit_evidence": [
        "x_G=y_G per simmetria; momenti rispetto agli assi uguali."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "a_T2_01",
      "subproblem_id": "a",
      "primary_dimension": "T2",
      "max_points": 4,
      "description": "Imposta area e momenti come differenza triangolo-quarto di disco.",
      "full_credit_evidence": [
        "Momento rispetto a y: 4a³/3-a³/3=a³."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "a_T3_01",
      "subproblem_id": "a",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Calcola area e momenti.",
      "full_credit_evidence": [
        "Area=(8-π)a²/4; M_x=M_y=a³."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "a_T4_01",
      "subproblem_id": "a",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Fornisce il baricentro.",
      "full_credit_evidence": [
        "G=(4a/(8-π),4a/(8-π))."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "a_T5_01",
      "subproblem_id": "a",
      "primary_dimension": "T5",
      "max_points": 1,
      "description": "Mantiene l'ipotesi a>0 e la regione corretta.",
      "full_credit_evidence": [
        "Scale dimensionali e vincoli coerenti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T1_01",
      "subproblem_id": "b",
      "primary_dimension": "T1",
      "max_points": 5,
      "description": "Distingue correttamente le due singolarità/integrabilità.",
      "full_credit_evidence": [
        "y/x non integrabile presso x=0; 1/(x²+y²) limitata su A perché r≥a."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T2_01",
      "subproblem_id": "b",
      "primary_dimension": "T2",
      "max_points": 4,
      "description": "Imposta test locale e coordinate polari.",
      "full_credit_evidence": [
        "Confronto con 1/x per y/x; a≤r≤2a/(cosθ+sinθ) per 1/r²."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T3_01",
      "subproblem_id": "b",
      "primary_dimension": "T3",
      "max_points": 5,
      "description": "Calcola correttamente l'integrale della funzione integrabile.",
      "full_credit_evidence": [
        "∫_A dxdy/(x²+y²)=∫_0^{π/2}[log2-log(cosθ+sinθ)]dθ=3πlog2/4-G, con G costante di Catalan.",
        "Valore numerico 0.717223973550 circa."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme analiticamente equivalenti a 3πlog2/4-G."
      ],
      "accepted_alternative_methods": [
        "Calcolo polare, identità trigonometriche o valutazione equivalente rigorosa dell'integrale."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T4_01",
      "subproblem_id": "b",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Conclude integrabilità e valore richiesto.",
      "full_credit_evidence": [
        "y/x diverge a +∞; 1/(x²+y²) è integrabile e il suo integrale vale 3πlog2/4-G."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T5_01",
      "subproblem_id": "b",
      "primary_dimension": "T5",
      "max_points": 2,
      "description": "Identifica correttamente i domini singolari.",
      "full_credit_evidence": [
        "A tocca x=0 ma resta a distanza r≥a dall'origine."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "b_T6_01",
      "subproblem_id": "b",
      "primary_dimension": "T6",
      "max_points": 1,
      "description": "Controlla segno e dipendenza dalla scala.",
      "full_credit_evidence": [
        "Integrale di 1/r² adimensionale e positivo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T1_01",
      "subproblem_id": "c",
      "primary_dimension": "T1",
      "max_points": 5,
      "description": "Descrive E e le cinque componenti del bordo.",
      "full_credit_evidence": [
        "A, A', corona B su z=0, ottavo di sfera S, quarto di superficie laterale C."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T2_01",
      "subproblem_id": "c",
      "primary_dimension": "T2",
      "max_points": 5,
      "description": "Imposta volume e flussi con orientazioni uscenti.",
      "full_credit_evidence": [
        "Guldino o integrazione per il volume; parametrizzazioni coerenti di S e C."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T3_01",
      "subproblem_id": "c",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Calcola il flusso sulla componente sferica.",
      "full_credit_evidence": [
        "Φ_S=-πa³/6."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T3_02",
      "subproblem_id": "c",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Calcola il flusso sulla superficie laterale.",
      "full_credit_evidence": [
        "C(ρ,θ)=(ρcosθ,ρsinθ,2a-ρ) o equivalente; Φ_C=2πa³/3."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T4_01",
      "subproblem_id": "c",
      "primary_dimension": "T4",
      "max_points": 6,
      "description": "Fornisce flussi per ciascuna componente e uguaglianza finale.",
      "full_credit_evidence": [
        "Φ_A=Φ_A'=Φ_B=0; flusso totale πa³/2."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T5_01",
      "subproblem_id": "c",
      "primary_dimension": "T5",
      "max_points": 5,
      "description": "Gestisce componenti, intervalli e orientazioni.",
      "full_credit_evidence": [
        "Normali uscenti e domini di parametrizzazione coerenti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T6_01",
      "subproblem_id": "c",
      "primary_dimension": "T6",
      "max_points": 5,
      "description": "Controlla coerenza fra somma dei flussi e volume.",
      "full_credit_evidence": [
        "Vol(E)=πa³/2 e div F=1."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T7_01",
      "subproblem_id": "c",
      "primary_dimension": "T7",
      "max_points": 4,
      "description": "Applica rigorosamente il teorema di Gauss.",
      "full_credit_evidence": [
        "Regolarità a tratti del bordo e orientazione uscente; integrale di volume della divergenza."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "c_T8_01",
      "subproblem_id": "c",
      "primary_dimension": "T8",
      "max_points": 4,
      "description": "Esegue la verifica autonoma richiesta di Gauss.",
      "full_credit_evidence": [
        "Calcolo separato dei flussi di tutte e cinque le componenti e confronto con ∫_E divF."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T1_01",
      "subproblem_id": "d",
      "primary_dimension": "T1",
      "max_points": 2,
      "description": "Identifica correttamente superficie, bordo e rotore.",
      "full_credit_evidence": [
        "A nel piano (x,z); rot F=0."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T2_01",
      "subproblem_id": "d",
      "primary_dimension": "T2",
      "max_points": 2,
      "description": "Imposta orientazione e circuitazione sui quattro tratti.",
      "full_credit_evidence": [
        "Bordo percorso in senso orario rispetto alla normale scelta, o orientazione opposta coerente."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T3_01",
      "subproblem_id": "d",
      "primary_dimension": "T3",
      "max_points": 3,
      "description": "Calcola i quattro contributi alla circuitazione.",
      "full_credit_evidence": [
        "3a²/2, -2a², 0, a²/2, simultaneamente cambiati di segno se si inverte orientazione."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T4_01",
      "subproblem_id": "d",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Conclude la formula di Kelvin-Stokes.",
      "full_credit_evidence": [
        "Somma della circuitazione 0 uguale al flusso del rotore 0."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T5_01",
      "subproblem_id": "d",
      "primary_dimension": "T5",
      "max_points": 2,
      "description": "Mantiene orientazione coerente su tutti i tratti.",
      "full_credit_evidence": [
        "Normale e verso del bordo compatibili."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T6_01",
      "subproblem_id": "d",
      "primary_dimension": "T6",
      "max_points": 2,
      "description": "Controlla somma e scala.",
      "full_credit_evidence": [
        "Contributi di ordine a² e somma nulla."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T7_01",
      "subproblem_id": "d",
      "primary_dimension": "T7",
      "max_points": 3,
      "description": "Applica rigorosamente Kelvin-Stokes.",
      "full_credit_evidence": [
        "Superficie e bordo orientati coerentemente; rotore correttamente calcolato."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    },
    {
      "criterion_id": "d_T8_01",
      "subproblem_id": "d",
      "primary_dimension": "T8",
      "max_points": 1,
      "description": "Esegue il confronto autonomo richiesto da Stokes.",
      "full_credit_evidence": [
        "Circuitazione calcolata direttamente e confrontata con l'integrale del rotore."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Corretto salvo un difetto locale non sostanziale."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Contenuto essenziale presente ma incompleto o con un errore moderato."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo impostazione pertinente o singolo elemento utile osservabile."
        }
      ],
      "zero_credit_conditions": [
        "Assente, non osservabile o incompatibile con il gold."
      ],
      "accepted_equivalences": [
        "Forme matematicamente equivalenti."
      ],
      "accepted_alternative_methods": [
        "Metodo alternativo rigoroso compatibile con richieste e gold."
      ],
      "propagated_error_policy": "Penalizzare l'errore originario una sola volta; valutare coerentemente gli sviluppi successivi."
    }
  ],
  "dimension_applicability": {
    "T1": "applicable",
    "T2": "applicable",
    "T3": "applicable",
    "T4": "applicable",
    "T5": "applicable",
    "T6": "applicable",
    "T7": "applicable",
    "T8": "applicable"
  },
  "dimension_applicability_notes": {
    "T8": "Applicabile perché il testo richiede una verifica autonoma esplicita."
  },
  "dimension_point_budget": {
    "T1": 20,
    "T2": 15,
    "T3": 20,
    "T4": 15,
    "T5": 10,
    "T6": 8,
    "T7": 7,
    "T8": 5
  },
  "applicable_max_score": 100,
  "normalization_rule": "Punteggio grezzo su 100.",
  "not_applicable_dimensions": [],
  "pertinent_checks": [
    "Area e momenti di A.",
    "Ricalcolo simbolico e numerico dell'integrale di 1/r²: 3πlog2/4-G≈0.717223973550.",
    "Cinque componenti e normali uscenti.",
    "Somme indipendenti di Gauss e Stokes."
  ],
  "known_error_severity": [
    {
      "error": "Integrabilità classificata erroneamente",
      "severity": "major"
    },
    {
      "error": "Valore dell'integrale di 1/(x²+y²) diverso da 3πlog2/4-G",
      "severity": "major"
    },
    {
      "error": "Componente del bordo omessa",
      "severity": "major"
    },
    {
      "error": "Verifica soltanto dichiarata",
      "severity": "major"
    },
    {
      "error": "Orientazione incoerente",
      "severity": "moderate"
    }
  ],
  "rubric_specific_caps": [],
  "human_review_triggers": [
    "Valutazione alternativa non verificabile dell'integrale di ∫_A 1/(x²+y²).",
    "Parametrizzazione/orientazione alternativa incerta.",
    "Numero o natura delle componenti di ∂E contestato."
  ],
  "human_approval": {
    "approved": true,
    "reviewer": "benchmark_owner_via_codex_task",
    "date": "2026-07-28"
  }
}
03

Per-exercise ranking

Configurations

Choose one of four stable ranking views. Retry count remains available as a secondary table sort.

Rank configurations by

Score ranks high to low. Speed, cost and tokens rank low to high. Retry sorting remains available from the table header.

Results for all 21 model-mode configurations
ConfigurationSelected rankMean score / replicasLatencyCostTokens
Claude Fable 5Anthropic · official model page ↗#1by score100.0SD not available · single run1527.9s$0.63813,5160.00
Claude Opus 5.5Anthropic · official model page ↗#1by score100.0SD not available · single run86.5s$0.19310,4350.00
Claude Sonnet 5.5Anthropic · official model page ↗#1by score100.0SD not available · single run43.9s$0.0667,3150.00
DeepSeek V4 FlashDeepSeek · official model page ↗#1by score100.0SD not available · single run301.2s$0.01036,2640.00
DeepSeek V4 ProDeepSeek · official model page ↗#1by score100.0SD not available · single run864.0s$0.03135,6860.00
GPT-5.6 SolOpenAI · official model page ↗#1by score100.0SD not available · single run917.1s$0.56919,4760.00
GPT-6 LunaOpenAI · official model page ↗#1by score100.0SD not available · single run141.3s$0.007615,7590.00
GPT-6.1 SolOpenAI · official model page ↗#1by score100.0SD not available · single run239.2s$0.13313,7960.00
Gemini 3.1 Pro PreviewGoogle · official model page ↗#9by score99.0SD not available · single run93.2s$0.18215,6620.00
Gemini 3.5 FlashGoogle · official model page ↗#9by score99.0SD not available · single run106.3s$0.22024,9540.00
Grok 4.5xAI · official model page ↗#11by score98.5SD not available · single run262.9s$0.09416,1750.00
OpenAI o3OpenAI · official model page ↗#11by score98.5SD not available · single run215.6s$0.26934,0660.00
DeepSeek V4.1 FlashDeepSeek · official model page ↗#13by score97.0SD not available · single run145.0s$0.04034,2160.00
DeepSeek V4 Flash (no thinking)DeepSeek · official model page ↗#14by score96.0SD not available · single run112.6s$0.004516,2570.00
Grok 4.3xAI · official model page ↗#15by score95.8SD not available · single run193.9s$0.04618,8120.00
Mistral Medium 3.5Mistral · official model page ↗#16by score80.0SD not available · single run198.8s$0.29039,1450.00
Gemma 4 31B ITGoogle · official model page ↗#17by score65.8SD not available · single run87.8s$0.00003,7370.00
Mistral Small 4Mistral · official model page ↗#18by score61.8SD not available · single run179.5s$0.02236,7080.00
OpenAI GPT-4.1OpenAI · official model page ↗#19by score45.0SD not available · single run36.7s$0.0364,9590.00
Claude Sonnet 4.5Anthropic · official model page ↗#20by score39.5SD not available · single run43.8s$0.0473,6910.00
Claude Haiku 4.5Anthropic · official model page ↗#21by score39.0SD not available · single run23.8s$0.0194,4260.00
#1 by score

Claude Fable 5

Anthropic
100.0mean score

SD not available · single run

Latency
1527.9s
Cost
$0.638
Tokens
13,516
Retries
0.00
Official model page ↗
#1 by score

Claude Opus 5.5

Anthropic
100.0mean score

SD not available · single run

Latency
86.5s
Cost
$0.193
Tokens
10,435
Retries
0.00
Official model page ↗
#1 by score

Claude Sonnet 5.5

Anthropic
100.0mean score

SD not available · single run

Latency
43.9s
Cost
$0.066
Tokens
7,315
Retries
0.00
Official model page ↗
#1 by score

DeepSeek V4 Flash

DeepSeek
100.0mean score

SD not available · single run

Latency
301.2s
Cost
$0.010
Tokens
36,264
Retries
0.00
Official model page ↗
#1 by score

DeepSeek V4 Pro

DeepSeek
100.0mean score

SD not available · single run

Latency
864.0s
Cost
$0.031
Tokens
35,686
Retries
0.00
Official model page ↗
#1 by score

GPT-5.6 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
917.1s
Cost
$0.569
Tokens
19,476
Retries
0.00
Official model page ↗
#1 by score

GPT-6 Luna

OpenAI
100.0mean score

SD not available · single run

Latency
141.3s
Cost
$0.0076
Tokens
15,759
Retries
0.00
Official model page ↗
#1 by score

GPT-6.1 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
239.2s
Cost
$0.133
Tokens
13,796
Retries
0.00
Official model page ↗
#9 by score

Gemini 3.1 Pro Preview

Google
99.0mean score

SD not available · single run

Latency
93.2s
Cost
$0.182
Tokens
15,662
Retries
0.00
Official model page ↗
#9 by score

Gemini 3.5 Flash

Google
99.0mean score

SD not available · single run

Latency
106.3s
Cost
$0.220
Tokens
24,954
Retries
0.00
Official model page ↗
#11 by score

Grok 4.5

xAI
98.5mean score

SD not available · single run

Latency
262.9s
Cost
$0.094
Tokens
16,175
Retries
0.00
Official model page ↗
#11 by score

OpenAI o3

OpenAI
98.5mean score

SD not available · single run

Latency
215.6s
Cost
$0.269
Tokens
34,066
Retries
0.00
Official model page ↗
#13 by score

DeepSeek V4.1 Flash

DeepSeek
97.0mean score

SD not available · single run

Latency
145.0s
Cost
$0.040
Tokens
34,216
Retries
0.00
Official model page ↗
#14 by score

DeepSeek V4 Flash (no thinking)

DeepSeek
96.0mean score

SD not available · single run

Latency
112.6s
Cost
$0.0045
Tokens
16,257
Retries
0.00
Official model page ↗
#15 by score

Grok 4.3

xAI
95.8mean score

SD not available · single run

Latency
193.9s
Cost
$0.046
Tokens
18,812
Retries
0.00
Official model page ↗
#16 by score

Mistral Medium 3.5

Mistral
80.0mean score

SD not available · single run

Latency
198.8s
Cost
$0.290
Tokens
39,145
Retries
0.00
Official model page ↗
#17 by score

Gemma 4 31B IT

Google
65.8mean score

SD not available · single run

Latency
87.8s
Cost
$0.0000
Tokens
3,737
Retries
0.00
Official model page ↗
#18 by score

Mistral Small 4

Mistral
61.8mean score

SD not available · single run

Latency
179.5s
Cost
$0.022
Tokens
36,708
Retries
0.00
Official model page ↗
#19 by score

OpenAI GPT-4.1

OpenAI
45.0mean score

SD not available · single run

Latency
36.7s
Cost
$0.036
Tokens
4,959
Retries
0.00
Official model page ↗
#20 by score

Claude Sonnet 4.5

Anthropic
39.5mean score

SD not available · single run

Latency
43.8s
Cost
$0.047
Tokens
3,691
Retries
0.00
Official model page ↗
#21 by score

Claude Haiku 4.5

Anthropic
39.0mean score

SD not available · single run

Latency
23.8s
Cost
$0.019
Tokens
4,426
Retries
0.00
Official model page ↗
04

Criterion-level benchmark record

Scoring evidence

Dimension and criterion values are descriptive results for the 21 evaluated configuration means. N/A remains distinct from zero.

Attainment scale0%50%100%N/A = not applicable
T195.1%Understanding / modelling
T289.1%Method selection
T380.1%Development
T484.8%Final results
T583.6%Domains / assumptions
T687.8%Consistency
T785.9%Rigor
T877.9%Independent verification
T1 through T8 attainment for each model-mode configuration
ConfigurationT120 ptsT215 ptsT320 ptsT415 ptsT510 ptsT68 ptsT77 ptsT85 pts
Claude Fable 5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Claude Opus 5.5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Claude Sonnet 5.5100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4 Flash100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4 Pro100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-5.6 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6 Luna100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6.1 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
Gemini 3.1 Pro Preview100.0%100.0%100.0%100.0%90.0%100.0%100.0%100.0%
Gemini 3.5 Flash100.0%100.0%100.0%100.0%90.0%100.0%100.0%100.0%
Grok 4.5100.0%100.0%92.5%100.0%100.0%100.0%100.0%100.0%
OpenAI o3100.0%100.0%92.5%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4.1 Flash100.0%100.0%85.0%100.0%100.0%100.0%100.0%100.0%
DeepSeek V4 Flash (no thinking)100.0%100.0%87.5%90.0%100.0%100.0%100.0%100.0%
Grok 4.3100.0%100.0%93.8%95.0%87.5%100.0%100.0%80.0%
Mistral Medium 3.5100.0%83.3%67.5%70.0%75.0%100.0%71.4%60.0%
Gemma 4 31B IT87.5%65.0%57.5%70.0%52.5%62.5%60.7%40.0%
Mistral Small 487.5%70.0%38.8%65.0%42.5%81.3%64.3%20.0%
OpenAI GPT-4.171.3%61.7%28.8%40.0%42.5%34.4%35.7%5.0%
Claude Sonnet 4.581.3%48.3%17.5%20.0%42.5%34.4%35.7%0.0%
Claude Haiku 4.570.0%43.3%21.3%30.0%32.5%31.3%35.7%30.0%
05

Load on request

Retained responses and judgments

21 responses across 21 model-mode configurations. Long records load only when opened.

Interpretation boundary

Answers are reproduced as submitted. Each is paired with its authority-resolved judgment for this snapshot; this is not a general evaluation of the underlying model.

Compare two configurations All retained replicas

Select two configurations and load all their retained replicas.

Select two configurations and load all their retained replicas.

#1Claude Fable 5Anthropic · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1Claude Opus 5.5Anthropic · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1Claude Sonnet 5.5Anthropic · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1DeepSeek V4 FlashDeepSeek · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1DeepSeek V4 ProDeepSeek · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-5.6 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-6 LunaOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-6.1 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#9Gemini 3.1 Pro PreviewGoogle · 1 retained run · load on request99.0configuration mean+
Configuration recordOfficial model page ↗
#9Gemini 3.5 FlashGoogle · 1 retained run · load on request99.0configuration mean+
Configuration recordOfficial model page ↗
#11Grok 4.5xAI · 1 retained run · load on request98.5configuration mean+
Configuration recordOfficial model page ↗
#11OpenAI o3OpenAI · 1 retained run · load on request98.5configuration mean+
Configuration recordOfficial model page ↗
#13DeepSeek V4.1 FlashDeepSeek · 1 retained run · load on request97.0configuration mean+
Configuration recordOfficial model page ↗
#14DeepSeek V4 Flash (no thinking)DeepSeek · 1 retained run · load on request96.0configuration mean+
Configuration recordOfficial model page ↗
#15Grok 4.3xAI · 1 retained run · load on request95.8configuration mean+
Configuration recordOfficial model page ↗
#16Mistral Medium 3.5Mistral · 1 retained run · load on request80.0configuration mean+
Configuration recordOfficial model page ↗
#17Gemma 4 31B ITGoogle · 1 retained run · load on request65.8configuration mean+
Configuration recordOfficial model page ↗
#18Mistral Small 4Mistral · 1 retained run · load on request61.8configuration mean+
Configuration recordOfficial model page ↗
#19OpenAI GPT-4.1OpenAI · 1 retained run · load on request45.0configuration mean+
Configuration recordOfficial model page ↗
#20Claude Sonnet 4.5Anthropic · 1 retained run · load on request39.5configuration mean+
Configuration recordOfficial model page ↗
#21Claude Haiku 4.5Anthropic · 1 retained run · load on request39.0configuration mean+
Configuration recordOfficial model page ↗
06

Record context

About this benchmark record

The Atlas presents the exercise, rubric, results and retained responses in one interactive record.

Exercise IDA3-26-P3-E2
SubjectAnalysis III
Exam sitting2026 · Third sitting
Benchmark snapshot2026-10-15
Rubric version1.1-adjudication-2026-07-28
Retained responses21
How to use this page

Use the Atlas to inspect what was tested and how each configuration performed. Most configuration–exercise cells are single-run, so displayed values are descriptive rather than uncertainty estimates.