Analysis III · Exercise research profile

Existence and uniqueness for an implicit equation, and Cauchy problems for alpha=1 and alpha=0 (A3-25-P2-E3)

Source record, frozen scoring evidence, configuration-level measurements and retained responses for one benchmark exercise.

01

Observed panel summary

Exercise overview

Descriptive results across 21 model-mode configuration means. They do not establish general model superiority.

Published recordSource statement · frozen rubric · 23 retained responses · current judgmentsThe separate official reference solution is not reproduced.
Mean rubric score81.2Median 86.0 · n=16
Configuration spreadSD 15.252.3–100.0
Rank by lowest observed mean#6/60Overall · #4/33 within Analysis III
Mean latency86.6sEnd-to-end per response
Mean cost$0.080Snapshot estimate
Mean tokens9,142Analytical tokens per response

Configuration means

Observed score distribution

Median 86.0 / 100
OpenAIAnthropicDeepSeekxAIGoogleMistral
  1. GPT-5.6 SolSD not available · single run
    100.0
  2. GPT-6.1 SolSD not available · single run
    100.0
  3. GPT-6 LunaSD not available · single run
    99.3
  4. Claude Sonnet 5.5SD not available · single run
    98.5
  5. Claude Opus 5.5SD not available · single run
    94.5
  6. DeepSeek V4 ProSD not available · single run
    92.0
  7. Grok 4.5SD not available · single run
    91.3
  8. DeepSeek V4.1 FlashSD not available · single run
    90.3
  9. Claude Fable 5SD not available · single run
    90.0
  10. DeepSeek V4 FlashSD not available · single run
    89.0
  11. Gemini 3.1 Pro PreviewSD not available · single run
    86.0
  12. Gemini 3.5 FlashSD 3.7 · 3 retained runs
    84.8
  13. OpenAI o3SD not available · single run
    79.5
  14. Mistral Small 4SD not available · single run
    77.3
  15. Grok 4.3SD not available · single run
    69.0
  16. Gemma 4 31B ITSD not available · single run
    66.0
  17. Mistral Medium 3.5SD not available · single run
    64.5
  18. Claude Sonnet 4.5SD not available · single run
    62.0
  19. OpenAI GPT-4.1SD not available · single run
    60.5
  20. DeepSeek V4 Flash (no thinking)SD not available · single run
    58.0
  21. Claude Haiku 4.5SD not available · single run
    52.3

Whiskers show mean ± one within-configuration response SD where three retained runs are available. Single-run cells have no within-configuration variability statistic.

02

Task before results

Source record and frozen rubric

Read the evaluated task before interpreting configuration outcomes. Original Italian records remain authoritative.

Evaluated source record

Exercise statement

A3-25-P2-E3 · Analysis III
The English version is a faithful editorial translation. The Italian source remains authoritative.

ESAME: Analisi 3 DATA: 07/02/2025 ESERCIZIO: 3

TESTO: 3. È data l’equazione differenziale (αy2 +t)y′ =y + (α−1)t nella funzione scalarey(t) (oveα∈R). (a) Cosa si può affermare a priori su esistenza e unicità delle soluzioni del problema dato? (b) Posto α= 1 risolvere i problemi di Cauchy cony(1) = 0, oppurey(1) =−1, oppurey(−1) = 2. (c) Posto α= 0 risolvere gli stessi problemi di Cauchy del punto precedente.

Source transcription errata1 recorded normalization · original preserved+

These notes document evident transcription or OCR artifacts. They do not overwrite the authoritative source record above.

As transcribed(αy2 +t)y′; scalarey(t); oveα∈REditorial normalization(αy²+t)y′; scalare y(t); ove α∈ℝLost superscript and spaces in the source transcription.
Original source textExact Italian record · no editorial changes+
ESAME: Analisi 3
DATA: 07/02/2025
ESERCIZIO: 3

TESTO:
3. È data l’equazione differenziale (αy2 +t)y′ =y + (α−1)t nella funzione scalarey(t) (oveα∈R).
(a) Cosa si può affermare a priori su esistenza e unicità delle soluzioni del problema dato?
(b) Posto α= 1 risolvere i problemi di Cauchy cony(1) = 0, oppurey(1) =−1, oppurey(−1) = 2.
(c) Posto α= 0 risolvere gli stessi problemi di Cauchy del punto precedente.
TopicExistence and uniqueness for an implicit equation, and Cauchy problems for alpha=1 and alpha=0
Syllabus areaFirst-order ordinary differential equations
Task typemixed
Atomic criteria27
Subproblem a · 30.0%

Stabilire a priori esistenza e unicità in funzione di alpha e del dato iniziale.

9 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7

Inspect scoring criteria +
  • Riconosce la forma implicita e la distinzione strutturale alpha=0/alpha diverso da zero.

    T1 · 4 pts · Criterion (a_T1_01)
  • Formalizza correttamente la regione regolare dei dati iniziali.

    T1 · 4 pts · Criterion (a_T1_02)
  • Imposta la compatibilità necessaria sui dati singolari.

    T1 · 4 pts · Criterion (a_T1_03)
  • Sceglie correttamente teoria lineare e Cauchy-Lipschitz nei rispettivi regimi.

    T2 · 5 pts · Criterion (a_T2_01)
  • Deriva correttamente forma normale, compatibilità e dati eccezionali.

    T3 · 5 pts · Criterion (a_T3_01)
  • Presenta una classificazione a priori completa e correttamente qualificata.

    T4 · 3 pts · Criterion (a_T4_01)
  • Rispetta i semiasse t diverso da zero e la varietà alpha y^2+t=0.

    T5 · 2 pts · Criterion (a_T5_01)
  • Distingue condizioni necessarie da conclusioni di esistenza/unicità.

    T6 · 1 pts · Criterion (a_T6_01)
  • Usa rigorosamente i teoremi di esistenza e unicità con le loro ipotesi.

    T7 · 2 pts · Criterion (a_T7_01)
Subproblem b · 38.0%

Per alpha=1 risolvere i tre problemi di Cauchy assegnati.

9 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Riconosce l'equazione per alpha=1, la soluzione nulla e la famiglia non nulla.

    T1 · 4 pts · Criterion (b_T1_01)
  • Imposta un metodo completo per ricavare l'integrale primo e selezionare i rami.

    T2 · 5 pts · Criterion (b_T2_01)
  • Deriva correttamente l'integrale primo per le soluzioni non nulle.

    T3 · 4 pts · Criterion (b_T3_01)
  • Imposta i tre dati e sceglie correttamente costanti e rami.

    T3 · 4 pts · Criterion (b_T3_02)
  • Fornisce le tre soluzioni finali con domini massimali gold.

    T4 · 7 pts · Criterion (b_T4_01)
  • Gestisce correttamente divisione per y, rami radicali e intervalli massimali.

    T5 · 4 pts · Criterion (b_T5_01)
  • Controlla dati iniziali, segni e comportamento agli estremi dei domini.

    T6 · 4 pts · Criterion (b_T6_01)
  • Usa correttamente fattore integrante/integrale primo e principio di selezione del ramo.

    T7 · 2 pts · Criterion (b_T7_01)
  • Verifica direttamente le tre formule nell'equazione e nei dati.

    T8 · 4 pts · Criterion (b_T8_01)
Subproblem c · 32.0%

Per alpha=0 risolvere gli stessi tre problemi di Cauchy.

9 atomic criteria · T1 · T2 · T3 · T4 · T5 · T6 · T7 · T8

Inspect scoring criteria +
  • Riconosce per alpha=0 un'equazione lineare sui due semiasse.

    T1 · 4 pts · Criterion (c_T1_01)
  • Imposta correttamente la soluzione generale lineare e i dati sui componenti appropriati.

    T2 · 5 pts · Criterion (c_T2_01)
  • Deriva la famiglia generale corretta.

    T3 · 3 pts · Criterion (c_T3_01)
  • Imposta correttamente i tre dati e determina le costanti.

    T3 · 4 pts · Criterion (c_T3_02)
  • Fornisce le tre soluzioni finali con i domini corretti.

    T4 · 5 pts · Criterion (c_T4_01)
  • Mantiene separati t>0 e t<0 e non prolunga in C1 attraverso zero.

    T5 · 4 pts · Criterion (c_T5_01)
  • Controlla dati iniziali, segni e singolarità della derivata.

    T6 · 3 pts · Criterion (c_T6_01)
  • Usa correttamente la teoria delle equazioni lineari sui componenti del dominio.

    T7 · 3 pts · Criterion (c_T7_01)
  • Verifica almeno una formula generale e tutti i dati iniziali.

    T8 · 1 pts · Criterion (c_T8_01)
Complete frozen rubricOriginal Italian record · exact JSON · SHA-256 44bfc60a8c95…+
{
  "rubric_version": "1.0",
  "judge_spec_version": "2.0",
  "item_id": "analisi_3_2025_secondo_appello_esercizio_3",
  "syllabus_macroarea": "Equazioni differenziali ordinarie del primo ordine",
  "topic": "Esistenza e unicità per un'equazione implicita e soluzione di problemi di Cauchy nei casi alpha=1 e alpha=0",
  "task_type": "mixed",
  "created_without_model_answers": true,
  "frozen": true,
  "reference_status": "verified_with_typographical_notes",
  "reference_notes": "La soluzione ufficiale è il gold per classificazioni, soluzioni e domini. Per alpha=0 si ha t y'=y-t. Per alpha diverso da zero, fuori da alpha y0^2+t0=0, la forma normale corretta derivata dall'equazione assegnata è y'=[y+(alpha-1)t]/[alpha y^2+t]; nella trascrizione della soluzione compare un segno meno isolato davanti a y, incompatibile con l'equazione e con i risultati successivi, trattato come refuso tipografico. Sulla varietà singolare, la compatibilità dà (0,0) e, per alpha diverso da 1, (-1/[alpha(alpha-1)^2],1/[alpha(alpha-1)]). Per alpha=1 le tre soluzioni gold sono y=0 su R, y=-sqrt(t) su (0,+infinito), y=(5+sqrt(25+16t))/4 su (-25/16,+infinito). Per alpha=0 sono -t ln t, -t(1+ln t) su (0,+infinito), e -t(2+ln|t|) su (-infinito,0).",
  "subproblems": [
    {
      "id": "a",
      "weight": 0.3,
      "request": "Stabilire a priori esistenza e unicità in funzione di alpha e del dato iniziale.",
      "expected_results": [
        "Per alpha=0 l'equazione è lineare sui due intervalli (-infinito,0) e (0,+infinito); un'eventuale soluzione attraverso t=0 deve avere y(0)=0.",
        "Per alpha diverso da zero i dati regolari alpha y0^2+t0 diverso da zero danno esistenza e unicità locale e unicità sul dominio di prosecuzione.",
        "Sulla varietà singolare la necessaria compatibilità con il numeratore lascia solo (0,0) e, se alpha diverso da 1, (-1/[alpha(alpha-1)^2],1/[alpha(alpha-1)])."
      ],
      "required_conditions": [
        "Distinguere alpha=0 da alpha diverso da zero.",
        "Non applicare Cauchy-Lipschitz dove il coefficiente di y' si annulla.",
        "Le condizioni sui dati singolari sono necessarie, non una prova automatica di esistenza/unicità."
      ],
      "accepted_equivalences": [
        "Notazioni equivalenti per la varietà singolare e i dati compatibili."
      ],
      "accepted_alternative_methods": [
        "Teorema della funzione implicita applicato all'equazione in y'."
      ]
    },
    {
      "id": "b",
      "weight": 0.38,
      "request": "Per alpha=1 risolvere i tre problemi di Cauchy assegnati.",
      "expected_results": [
        "L'equazione è (y^2+t)y'=y; y=0 è soluzione.",
        "Per y non nullo un integrale primo è y-t/y=k, cioè y^2-ky-t=0.",
        "y(1)=0 dà y=0 su R; y(1)=-1 dà y=-sqrt(t) su (0,+infinito); y(-1)=2 dà y=(5+sqrt(25+16t))/4 su (-25/16,+infinito)."
      ],
      "required_conditions": [
        "Trattare separatamente la soluzione y=0, persa dividendo per y.",
        "Scegliere il ramo coerente con il dato iniziale.",
        "Indicare gli intervalli massimali gold."
      ],
      "accepted_equivalences": [
        "Curve implicite y^2-ky-t=0 con ramo e dominio inequivoci."
      ],
      "accepted_alternative_methods": [
        "Equazione per t(y): dt/dy-t/y=y, oppure fattore integrante della forma differenziale."
      ]
    },
    {
      "id": "c",
      "weight": 0.32,
      "request": "Per alpha=0 risolvere gli stessi tre problemi di Cauchy.",
      "expected_results": [
        "Su ciascun semiasse la soluzione generale è y=t(k-ln|t|).",
        "y(1)=0 dà y=-t ln t; y(1)=-1 dà y=-t(1+ln t), entrambe su (0,+infinito).",
        "y(-1)=2 dà y=-t(2+ln|t|) su (-infinito,0).",
        "Nessuna di queste soluzioni si prolunga come C1 attraverso t=0."
      ],
      "required_conditions": [
        "Risolvere separatamente sui componenti t>0 e t<0.",
        "Imporre correttamente ciascun dato.",
        "Non includere t=0 nei domini massimali."
      ],
      "accepted_equivalences": [
        "Forma t(C-ln|t|) con costanti determinate dai dati."
      ],
      "accepted_alternative_methods": [
        "Riconoscimento di (y/t)'=-1/t per t non nullo."
      ]
    }
  ],
  "atomic_criteria": [
    {
      "criterion_id": "a_T1_01",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Riconosce la forma implicita e la distinzione strutturale alpha=0/alpha diverso da zero.",
      "full_credit_evidence": [
        "Per alpha=0 equazione lineare singolare in t=0; altrimenti coefficiente alpha y^2+t potenzialmente nullo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una distinzione poco esplicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo un regime formalizzato bene."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Riconosce genericamente la singolarità."
        }
      ],
      "zero_credit_conditions": [
        "Tratta sempre l'equazione come normale regolare."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore di normalizzazione conta una volta."
    },
    {
      "criterion_id": "a_T1_02",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Formalizza correttamente la regione regolare dei dati iniziali.",
      "full_credit_evidence": [
        "Per alpha diverso da zero, alpha y0^2+t0 diverso da zero consente la forma normale e i teoremi locali."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Condizione corretta ma poco motivata."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Riconosce il denominatore ma non conclude correttamente."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Condizione solo accennata."
        }
      ],
      "zero_credit_conditions": [
        "Regione regolare errata."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare la condizione in T5."
    },
    {
      "criterion_id": "a_T1_03",
      "subproblem_id": "a",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Imposta la compatibilità necessaria sui dati singolari.",
      "full_credit_evidence": [
        "Richiede simultaneamente alpha y0^2+t0=0 e y0+(alpha-1)t0=0 e trova i due tipi di dati gold."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Sistema corretto con un caso poco esplicito."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Compatibilità corretta ma soluzione incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo annullamento del coefficiente."
        }
      ],
      "zero_credit_conditions": [
        "Applica automaticamente esistenza/unicità sulla singolarità."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore nel sistema non va moltiplicato nei casi risultanti."
    },
    {
      "criterion_id": "a_T2_01",
      "subproblem_id": "a",
      "primary_dimension": "T2",
      "max_points": 5,
      "description": "Sceglie correttamente teoria lineare e Cauchy-Lipschitz nei rispettivi regimi.",
      "full_credit_evidence": [
        "Teoria lineare sui semiasse per alpha=0; forma normale liscia e Cauchy-Lipschitz fuori dalla varietà singolare."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un regime con ipotesi implicite."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Un solo regime trattato correttamente."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Teorema pertinente citato."
        }
      ],
      "zero_credit_conditions": [
        "Teoremi incompatibili con la singolarità."
      ],
      "accepted_equivalences": [
        "Teorema di Picard-Lindelöf."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare calcoli locali qui."
    },
    {
      "criterion_id": "a_T3_01",
      "subproblem_id": "a",
      "primary_dimension": "T3",
      "max_points": 5,
      "description": "Deriva correttamente forma normale, compatibilità e dati eccezionali.",
      "full_credit_evidence": [
        "y'=[y+(alpha-1)t]/[alpha y^2+t] e dati singolari gold."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un errore algebrico minore."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Forma normale o dati eccezionali corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un passaggio utile."
        }
      ],
      "zero_credit_conditions": [
        "Sviluppo inutilizzabile."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Il refuso di segno nella trascrizione ufficiale non è gold; valutare l'equazione assegnata e i risultati coerenti."
    },
    {
      "criterion_id": "a_T4_01",
      "subproblem_id": "a",
      "primary_dimension": "T4",
      "max_points": 3,
      "description": "Presenta una classificazione a priori completa e correttamente qualificata.",
      "full_credit_evidence": [
        "Conclusioni gold per alpha=0, dati regolari alpha diverso da zero e sole possibilità compatibili sulla singolarità."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un sottocaso secondario omesso."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due regimi su tre corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo regime corretto."
        }
      ],
      "zero_credit_conditions": [
        "Classificazione assente o globalmente falsa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 riflette gli esiti senza nuovi errori causali."
    },
    {
      "criterion_id": "a_T5_01",
      "subproblem_id": "a",
      "primary_dimension": "T5",
      "max_points": 2,
      "description": "Rispetta i semiasse t diverso da zero e la varietà alpha y^2+t=0.",
      "full_credit_evidence": [
        "Domini e condizioni sui dati iniziali sono espliciti o inequivocabili."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una condizione implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo un vincolo principale corretto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Vincoli parziali."
        }
      ],
      "zero_credit_conditions": [
        "Applica formule su punti non ammessi."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare a_T1_02."
    },
    {
      "criterion_id": "a_T6_01",
      "subproblem_id": "a",
      "primary_dimension": "T6",
      "max_points": 1,
      "description": "Distingue condizioni necessarie da conclusioni di esistenza/unicità.",
      "full_credit_evidence": [
        "Non afferma automaticamente esistenza sui due tipi di dati compatibili singolari."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Distinzione quasi esplicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Conclusione prudente ma poco chiara."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Qualche cautela pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Trasforma la compatibilità in prova completa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "La stessa inferenza falsa si conta una volta."
    },
    {
      "criterion_id": "a_T7_01",
      "subproblem_id": "a",
      "primary_dimension": "T7",
      "max_points": 2,
      "description": "Usa rigorosamente i teoremi di esistenza e unicità con le loro ipotesi.",
      "full_credit_evidence": [
        "Continuità e Lipschitz locale della forma normale sono applicate solo fuori dal denominatore nullo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un'ipotesi implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Conclusione corretta ma rigore incompleto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Citazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Teorema applicato sulla singolarità senza giustificazione."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare algebra."
    },
    {
      "criterion_id": "b_T1_01",
      "subproblem_id": "b",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Riconosce l'equazione per alpha=1, la soluzione nulla e la famiglia non nulla.",
      "full_credit_evidence": [
        "(y^2+t)y'=y; y=0 separata; per y non nullo curve y-t/y=k."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una componente poco esplicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Soluzione nulla o famiglia non nulla corretta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo equazione specializzata."
        }
      ],
      "zero_credit_conditions": [
        "Equazione diversa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "La perdita di y=0 per divisione è un solo errore strutturale."
    },
    {
      "criterion_id": "b_T2_01",
      "subproblem_id": "b",
      "primary_dimension": "T2",
      "max_points": 5,
      "description": "Imposta un metodo completo per ricavare l'integrale primo e selezionare i rami.",
      "full_credit_evidence": [
        "Usa t=t(y), forma differenziale con fattore integrante o metodo equivalente, poi impone dati e ramo."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Metodo corretto con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Integrale primo impostato ma selezione incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Metodo pertinente accennato."
        }
      ],
      "zero_credit_conditions": [
        "Metodo incompatibile."
      ],
      "accepted_equivalences": [
        "Equazione lineare dt/dy-t/y=y."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Errori di calcolo sono in T3."
    },
    {
      "criterion_id": "b_T3_01",
      "subproblem_id": "b",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Deriva correttamente l'integrale primo per le soluzioni non nulle.",
      "full_credit_evidence": [
        "y-t/y=k, equivalentemente y^2-ky-t=0."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un segno locale minore."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Equazione quasi corretta ma incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un passaggio utile."
        }
      ],
      "zero_credit_conditions": [
        "Nessun calcolo valido."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore nel primo integrale conta una volta."
    },
    {
      "criterion_id": "b_T3_02",
      "subproblem_id": "b",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Imposta i tre dati e sceglie correttamente costanti e rami.",
      "full_credit_evidence": [
        "Dato nullo trattato separatamente; k=0 con ramo negativo per (1,-1); k=5/2 con ramo positivo per (-1,2)."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un dettaglio di ramo omesso."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due dati corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un dato corretto."
        }
      ],
      "zero_credit_conditions": [
        "Nessun dato imposto correttamente."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Errore nella costante propagato conta una volta."
    },
    {
      "criterion_id": "b_T4_01",
      "subproblem_id": "b",
      "primary_dimension": "T4",
      "max_points": 7,
      "description": "Fornisce le tre soluzioni finali con domini massimali gold.",
      "full_credit_evidence": [
        "0 su R; -sqrt(t) su (0,+infinito); (5+sqrt(25+16t))/4 su (-25/16,+infinito)."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Tre formule corrette con un dominio omesso."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due problemi completi."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un problema completo."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna soluzione corretta."
      ],
      "accepted_equivalences": [
        "Forme implicite con ramo e dominio inequivoci."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 registra l'impatto finale di T3."
    },
    {
      "criterion_id": "b_T5_01",
      "subproblem_id": "b",
      "primary_dimension": "T5",
      "max_points": 4,
      "description": "Gestisce correttamente divisione per y, rami radicali e intervalli massimali.",
      "full_credit_evidence": [
        "y=0 non persa; segni dei rami coerenti; domini escludono gli estremi dove la soluzione non è C1."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una condizione implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Rami corretti ma domini incompleti, o viceversa."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un solo vincolo corretto."
        }
      ],
      "zero_credit_conditions": [
        "Rami incompatibili con i dati."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non duplicare la perdita di y=0 in T1."
    },
    {
      "criterion_id": "b_T6_01",
      "subproblem_id": "b",
      "primary_dimension": "T6",
      "max_points": 4,
      "description": "Controlla dati iniziali, segni e comportamento agli estremi dei domini.",
      "full_credit_evidence": [
        "Ogni formula assume il dato; i rami hanno il segno corretto; la derivata diventa singolare agli estremi finiti."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controlli quasi tutti impliciti."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Almeno due controlli corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un controllo corretto."
        }
      ],
      "zero_credit_conditions": [
        "Formule incompatibili con i dati non riconosciute."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Valutare coerenza residua."
    },
    {
      "criterion_id": "b_T7_01",
      "subproblem_id": "b",
      "primary_dimension": "T7",
      "max_points": 2,
      "description": "Usa correttamente fattore integrante/integrale primo e principio di selezione del ramo.",
      "full_credit_evidence": [
        "Il procedimento è valido solo dove y non nullo e la soluzione nulla è reinserita separatamente."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Condizione implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Procedimento corretto ma poco rigoroso sulla divisione."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Richiamo pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Divisione per y usata per escludere y=0."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare algebra."
    },
    {
      "criterion_id": "b_T8_01",
      "subproblem_id": "b",
      "primary_dimension": "T8",
      "max_points": 4,
      "description": "Verifica direttamente le tre formule nell'equazione e nei dati.",
      "full_credit_evidence": [
        "Sostituzione o derivazione equivalente conferma equazione, dato e dominio per tutti e tre i casi."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Verifiche decisive con una lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due casi controllati o solo dati/equazione per tutti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un controllo completo."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna verifica osservabile."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non richiedere un secondo metodo ridondante."
    },
    {
      "criterion_id": "c_T1_01",
      "subproblem_id": "c",
      "primary_dimension": "T1",
      "max_points": 4,
      "description": "Riconosce per alpha=0 un'equazione lineare sui due semiasse.",
      "full_credit_evidence": [
        "t y'=y-t, ovvero y'-y/t=-1 per t diverso da zero."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Dominio implicito."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Struttura lineare corretta con forma incompleta."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo specializzazione corretta."
        }
      ],
      "zero_credit_conditions": [
        "Equazione diversa."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Errore di specializzazione conta una volta."
    },
    {
      "criterion_id": "c_T2_01",
      "subproblem_id": "c",
      "primary_dimension": "T2",
      "max_points": 5,
      "description": "Imposta correttamente la soluzione generale lineare e i dati sui componenti appropriati.",
      "full_credit_evidence": [
        "Fattore integrante o (y/t)' conduce a y=t(k-ln|t|), poi impone ciascun dato."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Metodo corretto con lieve omissione."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Generale impostata ma dati incompleti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo omogenea o fattore integrante."
        }
      ],
      "zero_credit_conditions": [
        "Metodo incompatibile."
      ],
      "accepted_equivalences": [
        "Fattore integrante 1/|t| con costante adattata al semiasse."
      ],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Errori di integrazione sono in T3."
    },
    {
      "criterion_id": "c_T3_01",
      "subproblem_id": "c",
      "primary_dimension": "T3",
      "max_points": 3,
      "description": "Deriva la famiglia generale corretta.",
      "full_credit_evidence": [
        "y=t(k-ln|t|) su ciascun semiasse."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un difetto formale minore."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Struttura corretta con segno/costante errati."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un passaggio utile."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna famiglia valida."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Un errore nel fattore integrante conta una volta."
    },
    {
      "criterion_id": "c_T3_02",
      "subproblem_id": "c",
      "primary_dimension": "T3",
      "max_points": 4,
      "description": "Imposta correttamente i tre dati e determina le costanti.",
      "full_credit_evidence": [
        "k=0 per (1,0), k=-1 per (1,-1), k=-2 per (-1,2)."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Un errore locale in una costante."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due dati corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un dato corretto."
        }
      ],
      "zero_credit_conditions": [
        "Nessun dato imposto correttamente."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Una costante errata propagata conta una volta."
    },
    {
      "criterion_id": "c_T4_01",
      "subproblem_id": "c",
      "primary_dimension": "T4",
      "max_points": 5,
      "description": "Fornisce le tre soluzioni finali con i domini corretti.",
      "full_credit_evidence": [
        "-t ln t e -t(1+ln t) su (0,+infinito); -t(2+ln|t|) su (-infinito,0)."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Tre formule corrette con un dominio omesso."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due problemi completi."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un problema completo."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna soluzione corretta."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "T4 registra l'esito senza nuovo errore causale."
    },
    {
      "criterion_id": "c_T5_01",
      "subproblem_id": "c",
      "primary_dimension": "T5",
      "max_points": 4,
      "description": "Mantiene separati t>0 e t<0 e non prolunga in C1 attraverso zero.",
      "full_credit_evidence": [
        "Domini massimali gold; y'=k-ln|t|-1 diverge per t verso zero."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Non prolungabilità corretta ma poco motivata."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Semiasse corretti senza discussione C1."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Solo alcuni domini."
        }
      ],
      "zero_credit_conditions": [
        "Include t=0 come punto regolare C1."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Omissione del dominio conta una volta."
    },
    {
      "criterion_id": "c_T6_01",
      "subproblem_id": "c",
      "primary_dimension": "T6",
      "max_points": 3,
      "description": "Controlla dati iniziali, segni e singolarità della derivata.",
      "full_credit_evidence": [
        "Le formule assumono i dati e risolvono l'equazione sui rispettivi semiasse; la derivata diverge a zero."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Controlli quasi tutti impliciti."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Due controlli corretti."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un controllo corretto."
        }
      ],
      "zero_credit_conditions": [
        "Incompatibilità manifeste non riconosciute."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Valutare coerenza residua."
    },
    {
      "criterion_id": "c_T7_01",
      "subproblem_id": "c",
      "primary_dimension": "T7",
      "max_points": 3,
      "description": "Usa correttamente la teoria delle equazioni lineari sui componenti del dominio.",
      "full_credit_evidence": [
        "Fattore integrante e costante generale sono usati separatamente sui due intervalli massimali."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Una condizione implicita."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Teoria corretta ma dominio incompleto."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Citazione pertinente."
        }
      ],
      "zero_credit_conditions": [
        "Teoria applicata attraverso la singolarità."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non penalizzare algebra."
    },
    {
      "criterion_id": "c_T8_01",
      "subproblem_id": "c",
      "primary_dimension": "T8",
      "max_points": 1,
      "description": "Verifica almeno una formula generale e tutti i dati iniziali.",
      "full_credit_evidence": [
        "Sostituzione della famiglia nell'equazione e controllo dei tre dati."
      ],
      "partial_credit_rules": [
        {
          "credit_fraction": 0.75,
          "anchor": "Verifica quasi completa."
        },
        {
          "credit_fraction": 0.5,
          "anchor": "Solo equazione o dati controllati."
        },
        {
          "credit_fraction": 0.25,
          "anchor": "Un controllo parziale."
        }
      ],
      "zero_credit_conditions": [
        "Nessuna verifica."
      ],
      "accepted_equivalences": [],
      "accepted_alternative_methods": [],
      "propagated_error_policy": "Non richiedere verifiche ridondanti."
    }
  ],
  "dimension_applicability": {
    "T1": "applicable",
    "T2": "applicable",
    "T3": "applicable",
    "T4": "applicable",
    "T5": "applicable",
    "T6": "applicable",
    "T7": "applicable",
    "T8": "applicable"
  },
  "dimension_applicability_notes": {
    "T8": "Applicabile perché le formule esplicite e i dati consentono controlli diretti tecnicamente significativi, inclusa la regolarità ai bordi dei domini."
  },
  "dimension_point_budget": {
    "T1": 20,
    "T2": 15,
    "T3": 20,
    "T4": 15,
    "T5": 10,
    "T6": 8,
    "T7": 7,
    "T8": 5
  },
  "applicable_max_score": 100,
  "pertinent_checks": [
    "Controllare la compatibilità dei dati sulla varietà alpha y^2+t=0.",
    "Per alpha=1 verificare separatamente y=0 e i rami radicali nei dati iniziali.",
    "Controllare che agli estremi finiti dei domini radicali la derivata non resti regolare.",
    "Per alpha=0 verificare direttamente y=t(k-ln|t|) e la divergenza di y' presso zero."
  ],
  "known_error_severity": [
    {
      "error": "Applicazione di Cauchy-Lipschitz sulla varietà singolare",
      "severity": "major"
    },
    {
      "error": "Perdita della soluzione y=0 dividendo per y",
      "severity": "major"
    },
    {
      "error": "Ramo radicale incompatibile col dato",
      "severity": "major"
    },
    {
      "error": "Domini massimali errati o inclusione di t=0 nel caso alpha=0",
      "severity": "major"
    },
    {
      "error": "Omissione di uno dei tre problemi di Cauchy",
      "severity": "major"
    }
  ],
  "rubric_specific_caps": [],
  "human_review_triggers": [
    "Una risposta propone esistenza o unicità sui dati iniziali singolari oltre le sole conclusioni a priori del gold.",
    "Una risposta propone prolungamenti o domini massimali differenti per i rami radicali.",
    "Una risposta segue letteralmente il refuso di segno nella forma normale trascritta anziché l'equazione assegnata e i risultati gold.",
    "Metodo alternativo avanzato non verificabile con sicurezza o possibile conflitto con la reference."
  ],
  "human_approval": {
    "approved": true,
    "reviewer": "benchmark_owner_via_codex_task",
    "date": "2026-07-18"
  }
}
03

Per-exercise ranking

Configurations

Choose one of four stable ranking views. Retry count remains available as a secondary table sort.

Rank configurations by

Score ranks high to low. Speed, cost and tokens rank low to high. Retry sorting remains available from the table header.

Results for all 21 model-mode configurations
ConfigurationSelected rankMean score / replicasLatencyCostTokens
GPT-5.6 SolOpenAI · official model page ↗#1by score100.0SD not available · single run281.0s$0.47216,1690.00
GPT-6.1 SolOpenAI · official model page ↗#1by score100.0SD not available · single run175.1s$0.0969,9580.00
GPT-6 LunaOpenAI · official model page ↗#3by score99.3SD not available · single run107.1s$0.006513,3920.00
Claude Sonnet 5.5Anthropic · official model page ↗#4by score98.5SD not available · single run46.4s$0.0636,9330.00
Claude Opus 5.5Anthropic · official model page ↗#5by score94.5SD not available · single run64.5s$0.1478,0280.00
DeepSeek V4 ProDeepSeek · official model page ↗#6by score92.0SD not available · single run124.1s$0.00839,7710.00
Grok 4.5xAI · official model page ↗#7by score91.3SD not available · single run72.2s$0.0285,2210.00
DeepSeek V4.1 FlashDeepSeek · official model page ↗#8by score90.3SD not available · single run88.9s$0.02520,8940.00
Claude Fable 5Anthropic · official model page ↗#9by score90.0SD not available · single run82.5s$0.3808,2450.00
DeepSeek V4 FlashDeepSeek · official model page ↗#10by score89.0SD not available · single run163.5s$0.004817,3790.00
Gemini 3.1 Pro PreviewGoogle · official model page ↗#11by score86.0SD not available · single run57.3s$0.0907,9330.00
Gemini 3.5 FlashGoogle · official model page ↗#12by score84.8SD 3.7 · 3 retained runs187.3s$0.11212,8350.00
OpenAI o3OpenAI · official model page ↗#13by score79.5SD not available · single run38.2s$0.0445,8300.00
Mistral Small 4Mistral · official model page ↗#14by score77.3SD not available · single run59.9s$0.007312,5590.00
Grok 4.3xAI · official model page ↗#15by score69.0SD not available · single run36.5s$0.0156,5600.00
Gemma 4 31B ITGoogle · official model page ↗#16by score66.0SD not available · single run60.9s$0.00002,6520.00
Mistral Medium 3.5Mistral · official model page ↗#17by score64.5SD not available · single run59.9s$0.08411,6050.00
Claude Sonnet 4.5Anthropic · official model page ↗#18by score62.0SD not available · single run35.0s$0.0372,9360.00
OpenAI GPT-4.1OpenAI · official model page ↗#19by score60.5SD not available · single run27.2s$0.0324,3870.00
DeepSeek V4 Flash (no thinking)DeepSeek · official model page ↗#20by score58.0SD not available · single run26.7s$0.00114,0200.00
Claude Haiku 4.5Anthropic · official model page ↗#21by score52.3SD not available · single run24.6s$0.0214,6700.00
#1 by score

GPT-5.6 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
281.0s
Cost
$0.472
Tokens
16,169
Retries
0.00
Official model page ↗
#1 by score

GPT-6.1 Sol

OpenAI
100.0mean score

SD not available · single run

Latency
175.1s
Cost
$0.096
Tokens
9,958
Retries
0.00
Official model page ↗
#3 by score

GPT-6 Luna

OpenAI
99.3mean score

SD not available · single run

Latency
107.1s
Cost
$0.0065
Tokens
13,392
Retries
0.00
Official model page ↗
#4 by score

Claude Sonnet 5.5

Anthropic
98.5mean score

SD not available · single run

Latency
46.4s
Cost
$0.063
Tokens
6,933
Retries
0.00
Official model page ↗
#5 by score

Claude Opus 5.5

Anthropic
94.5mean score

SD not available · single run

Latency
64.5s
Cost
$0.147
Tokens
8,028
Retries
0.00
Official model page ↗
#6 by score

DeepSeek V4 Pro

DeepSeek
92.0mean score

SD not available · single run

Latency
124.1s
Cost
$0.0083
Tokens
9,771
Retries
0.00
Official model page ↗
#7 by score

Grok 4.5

xAI
91.3mean score

SD not available · single run

Latency
72.2s
Cost
$0.028
Tokens
5,221
Retries
0.00
Official model page ↗
#8 by score

DeepSeek V4.1 Flash

DeepSeek
90.3mean score

SD not available · single run

Latency
88.9s
Cost
$0.025
Tokens
20,894
Retries
0.00
Official model page ↗
#9 by score

Claude Fable 5

Anthropic
90.0mean score

SD not available · single run

Latency
82.5s
Cost
$0.380
Tokens
8,245
Retries
0.00
Official model page ↗
#10 by score

DeepSeek V4 Flash

DeepSeek
89.0mean score

SD not available · single run

Latency
163.5s
Cost
$0.0048
Tokens
17,379
Retries
0.00
Official model page ↗
#11 by score

Gemini 3.1 Pro Preview

Google
86.0mean score

SD not available · single run

Latency
57.3s
Cost
$0.090
Tokens
7,933
Retries
0.00
Official model page ↗
#12 by score

Gemini 3.5 Flash

Google
84.8mean score

SD 3.7 · 3 retained runs

Latency
187.3s
Cost
$0.112
Tokens
12,835
Retries
0.00
Official model page ↗
#13 by score

OpenAI o3

OpenAI
79.5mean score

SD not available · single run

Latency
38.2s
Cost
$0.044
Tokens
5,830
Retries
0.00
Official model page ↗
#14 by score

Mistral Small 4

Mistral
77.3mean score

SD not available · single run

Latency
59.9s
Cost
$0.0073
Tokens
12,559
Retries
0.00
Official model page ↗
#15 by score

Grok 4.3

xAI
69.0mean score

SD not available · single run

Latency
36.5s
Cost
$0.015
Tokens
6,560
Retries
0.00
Official model page ↗
#16 by score

Gemma 4 31B IT

Google
66.0mean score

SD not available · single run

Latency
60.9s
Cost
$0.0000
Tokens
2,652
Retries
0.00
Official model page ↗
#17 by score

Mistral Medium 3.5

Mistral
64.5mean score

SD not available · single run

Latency
59.9s
Cost
$0.084
Tokens
11,605
Retries
0.00
Official model page ↗
#18 by score

Claude Sonnet 4.5

Anthropic
62.0mean score

SD not available · single run

Latency
35.0s
Cost
$0.037
Tokens
2,936
Retries
0.00
Official model page ↗
#19 by score

OpenAI GPT-4.1

OpenAI
60.5mean score

SD not available · single run

Latency
27.2s
Cost
$0.032
Tokens
4,387
Retries
0.00
Official model page ↗
#20 by score

DeepSeek V4 Flash (no thinking)

DeepSeek
58.0mean score

SD not available · single run

Latency
26.7s
Cost
$0.0011
Tokens
4,020
Retries
0.00
Official model page ↗
#21 by score

Claude Haiku 4.5

Anthropic
52.3mean score

SD not available · single run

Latency
24.6s
Cost
$0.021
Tokens
4,670
Retries
0.00
Official model page ↗
04

Criterion-level benchmark record

Scoring evidence

Dimension and criterion values are descriptive results for the 21 evaluated configuration means. N/A remains distinct from zero.

Attainment scale0%50%100%N/A = not applicable
T182.1%Understanding / modelling
T287.0%Method selection
T387.3%Development
T472.1%Final results
T571.3%Domains / assumptions
T675.6%Consistency
T789.3%Rigor
T879.5%Independent verification
T1 through T8 attainment for each model-mode configuration
ConfigurationT120 ptsT215 ptsT320 ptsT415 ptsT510 ptsT68 ptsT77 ptsT85 pts
GPT-5.6 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6.1 Sol100.0%100.0%100.0%100.0%100.0%100.0%100.0%100.0%
GPT-6 Luna100.0%100.0%100.0%95.0%100.0%100.0%100.0%100.0%
Claude Sonnet 5.5100.0%100.0%100.0%95.0%100.0%90.6%100.0%100.0%
Claude Opus 5.5100.0%100.0%100.0%76.7%80.0%100.0%100.0%100.0%
DeepSeek V4 Pro85.0%100.0%87.5%90.0%90.0%100.0%100.0%100.0%
Grok 4.585.0%100.0%87.5%90.0%90.0%90.6%100.0%100.0%
DeepSeek V4.1 Flash85.0%91.7%100.0%90.0%80.0%75.0%100.0%100.0%
Claude Fable 590.0%100.0%87.5%83.3%90.0%87.5%100.0%80.0%
DeepSeek V4 Flash85.0%91.7%87.5%90.0%80.0%90.6%100.0%100.0%
Gemini 3.1 Pro Preview80.0%91.7%87.5%85.0%80.0%90.6%100.0%75.0%
Gemini 3.5 Flash85.0%94.4%87.5%78.3%73.3%76.0%100.0%80.0%
OpenAI o385.0%91.7%87.5%66.7%70.0%53.1%100.0%60.0%
Mistral Small 475.0%100.0%87.5%61.7%60.0%50.0%92.9%80.0%
Grok 4.365.0%75.0%87.5%65.0%40.0%50.0%78.6%80.0%
Gemma 4 31B IT65.0%75.0%83.8%53.3%50.0%50.0%78.6%50.0%
Mistral Medium 3.575.0%50.0%73.8%61.7%50.0%56.3%82.1%55.0%
Claude Sonnet 4.570.0%58.3%82.5%41.7%50.0%50.0%67.9%55.0%
OpenAI GPT-4.165.0%75.0%77.5%33.3%40.0%65.6%50.0%60.0%
DeepSeek V4 Flash (no thinking)70.0%75.0%77.5%25.0%35.0%56.3%50.0%40.0%
Claude Haiku 4.560.0%58.3%50.0%33.3%40.0%56.3%75.0%55.0%
05

Load on request

Retained responses and judgments

23 responses across 21 model-mode configurations. Long records load only when opened.

Interpretation boundary

Answers are reproduced as submitted. Each is paired with its authority-resolved judgment for this snapshot; this is not a general evaluation of the underlying model.

Compare two configurations All retained replicas

Select two configurations and load all their retained replicas.

Select two configurations and load all their retained replicas.

#1GPT-5.6 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#1GPT-6.1 SolOpenAI · 1 retained run · load on request100.0configuration mean+
Configuration recordOfficial model page ↗
#3GPT-6 LunaOpenAI · 1 retained run · load on request99.3configuration mean+
Configuration recordOfficial model page ↗
#4Claude Sonnet 5.5Anthropic · 1 retained run · load on request98.5configuration mean+
Configuration recordOfficial model page ↗
#5Claude Opus 5.5Anthropic · 1 retained run · load on request94.5configuration mean+
Configuration recordOfficial model page ↗
#6DeepSeek V4 ProDeepSeek · 1 retained run · load on request92.0configuration mean+
Configuration recordOfficial model page ↗
#7Grok 4.5xAI · 1 retained run · load on request91.3configuration mean+
Configuration recordOfficial model page ↗
#8DeepSeek V4.1 FlashDeepSeek · 1 retained run · load on request90.3configuration mean+
Configuration recordOfficial model page ↗
#9Claude Fable 5Anthropic · 1 retained run · load on request90.0configuration mean+
Configuration recordOfficial model page ↗
#10DeepSeek V4 FlashDeepSeek · 1 retained run · load on request89.0configuration mean+
Configuration recordOfficial model page ↗
#11Gemini 3.1 Pro PreviewGoogle · 1 retained run · load on request86.0configuration mean+
Configuration recordOfficial model page ↗
#12Gemini 3.5 FlashGoogle · 3 retained runs · load on request84.8configuration mean+
Configuration recordOfficial model page ↗
#13OpenAI o3OpenAI · 1 retained run · load on request79.5configuration mean+
Configuration recordOfficial model page ↗
#14Mistral Small 4Mistral · 1 retained run · load on request77.3configuration mean+
Configuration recordOfficial model page ↗
#15Grok 4.3xAI · 1 retained run · load on request69.0configuration mean+
Configuration recordOfficial model page ↗
#16Gemma 4 31B ITGoogle · 1 retained run · load on request66.0configuration mean+
Configuration recordOfficial model page ↗
#17Mistral Medium 3.5Mistral · 1 retained run · load on request64.5configuration mean+
Configuration recordOfficial model page ↗
#18Claude Sonnet 4.5Anthropic · 1 retained run · load on request62.0configuration mean+
Configuration recordOfficial model page ↗
#19OpenAI GPT-4.1OpenAI · 1 retained run · load on request60.5configuration mean+
Configuration recordOfficial model page ↗
#20DeepSeek V4 Flash (no thinking)DeepSeek · 1 retained run · load on request58.0configuration mean+
Configuration recordOfficial model page ↗
#21Claude Haiku 4.5Anthropic · 1 retained run · load on request52.3configuration mean+
Configuration recordOfficial model page ↗
06

Record context

About this benchmark record

The Atlas presents the exercise, rubric, results and retained responses in one interactive record.

Exercise IDA3-25-P2-E3
SubjectAnalysis III
Exam sitting2025 · Second sitting
Benchmark snapshot2026-10-15
Rubric version1.0
Retained responses23
How to use this page

Use the Atlas to inspect what was tested and how each configuration performed. Most configuration–exercise cells are single-run, so displayed values are descriptive rather than uncertainty estimates.