← Question Answering

Expert Guidance Revision: Before vs After

Both runs use the same models, t0 config, 10 runs. "Before" = original guidance, "After" = revised guidance.

Nature of the revision

The revision narrowed in on the description of M.V., or MV, (More Veneto) used in the guidance paragraph about the Venetian calendar. The substantive change is in red below: an explicit operational rule ("a year must be added") replaces the previous version's implicit inference left to the model.

Before

MV: this indication follows the dates for the months of January and February to indicate that dates are recorded in the Venetian calendar convention for which the first of the year is March 1st (and therefore what is recorded in these sheets, for example, as January or February 1766 corresponds to January or February 1767 out of Venice).

After

M.V.: this acronym (abbreviation of ‘More Veneto,’ Latin for ‘according to the Venetian custom’) follows the dates for the months of January and February to indicate that these were recorded according to the Venetian calendar in which the year begins March 1st. When M.V. appears, this means that a year must be added to the date to make it consistent with non-Venetian calendars (for example, January or February 1766 corresponds to January or February 1767 on the standard calendar).

The example sentence carries the rule implicitly in the Before version; in the After version, the rule is stated directly and the example illustrates it. This is the change that most plausibly drives Q2's accuracy delta in the tables below.

Q2 (year) accuracy — the question the revision targets

Single row pulled from the Full Per-Question, Per-Model Breakdown below. Before → After (Δ) per model.

Q#Description Claude GPT Gemini 2.5 Gemini 3.1 Claude (thinking)
BefAftΔ BefAftΔ BefAftΔ BefAftΔ BefAftΔ
Q2Year?50.050.4+0.460.761.0+0.367.971.9+4.064.367.9+3.650.050.7+0.7

Full Per-Question, Per-Model Breakdown

Before → After (Δ)

Q# Description Claude GPT Gemini 2.5 Gemini 3.1 Claude (thinking)
BefAftΔ BefAftΔ BefAftΔ BefAftΔ BefAftΔ
Q1Has date?100.0100.00.096.997.7+0.897.497.40.0100.0100.00.0100.0100.00.0
Q2Year?50.050.4+0.460.761.0+0.367.971.9+4.064.367.9+3.650.050.7+0.7
Q3Two columns?92.392.2−0.197.497.40.098.297.9−0.399.7100.0+0.399.299.20.0
Q4Signed?92.392.7+0.499.5100.0+0.597.497.40.0100.0100.00.0100.0100.00.0
Q5Signature location92.392.7+0.499.5100.0+0.5100.0100.00.0100.0100.00.0100.0100.00.0
Q6Top-left mark?76.977.7+0.883.683.8+0.295.691.0−4.684.184.10.084.979.0−5.9
Q7Archivist marks68.267.6−0.655.452.3−3.173.371.6−1.776.972.3−4.668.765.4−3.3
Q8Quondam count49.549.50.025.625.9+0.342.146.8+4.757.765.9+8.256.960.3+3.4
Q9Con count50.545.3−5.224.122.6−1.570.571.8+1.363.369.0+5.773.171.5−1.6
Q10Words after con83.180.8−2.362.861.6−1.291.390.7−0.690.290.4+0.288.286.9−1.3
Q11E conjunction count22.624.4+1.827.435.1+7.725.130.5+5.440.044.6+4.640.043.1+3.1
Q12Words after e55.654.5−1.143.446.5+3.152.552.0−0.564.067.1+3.158.759.2+0.5
Q13Named travelers14.94.7−10.212.315.4+3.143.836.2−7.619.231.3+12.152.150.5−1.6
Q14Unnamed travelers41.335.2−6.17.216.2+9.053.653.7+0.144.453.1+8.752.150.8−1.3
Q15Places of origin32.637.6+5.08.25.9−2.330.033.3+3.325.622.1−3.535.634.4−1.2
Q16Unique places of stay30.518.4−12.136.732.1−4.650.551.7+1.245.950.0+4.149.749.0−0.7
Q17Stay per column30.331.6+1.315.415.40.074.164.1−10.038.747.2+8.541.340.3−1.0
Q18Stay w/ person name37.933.2−4.712.818.2+5.476.486.6+10.264.667.4+2.852.846.2−6.6
Q19Bracket total25.626.2+0.659.560.8+1.345.440.3−5.169.077.4+8.447.750.0+2.3
Q20Brackets per column23.323.8+0.552.147.7−4.443.139.5−3.667.777.4+9.744.142.8−1.3
Q21Bracket annotation?97.197.10.076.977.1+0.291.989.9−2.097.195.5−1.696.997.7+0.8
Q22Annotation text86.785.7−1.064.060.0−4.086.083.8−2.292.290.1−2.184.484.5+0.1

Per-Question Best Result (any model)

For each question, the highest accuracy across all 5 models.

Q#TypeDescriptionBest BeforeBest ModelBest AfterBest ModelΔ
Q1BoolHas date?100.0%Claude/Gem3.1/ClaudeT100.0%Claude/Gem3.1/ClaudeT0.0
Q2IntYear?67.9%Gemini 2.571.9%Gemini 2.5+4.0
Q3BoolTwo columns?99.7%Gemini 3.1100.0%Gemini 3.1+0.3
Q4BoolSigned?100.0%Gem3.1/ClaudeT100.0%GPT/Gem3.1/ClaudeT0.0
Q5StrSignature location100.0%Gem2.5/Gem3.1/ClaudeT100.0%GPT/Gem2.5/Gem3.1/ClaudeT0.0
Q6BoolTop-left mark?95.6%Gemini 2.591.0%Gemini 2.5−4.6
Q7IntArchivist marks76.9%Gemini 3.172.3%Gemini 3.1−4.6
Q8IntQuondam count57.7%Gemini 3.165.9%Gemini 3.1+8.2
Q9IntCon count73.1%Claude (thinking)71.8%Gemini 2.5−1.3
Q10TextWords after con91.3%Gemini 2.590.7%Gemini 2.5−0.6
Q11IntE conjunction count40.0%Gem3.1/ClaudeT44.6%Gemini 3.1+4.6
Q12TextWords after e64.0%Gemini 3.167.1%Gemini 3.1+3.1
Q13IntNamed travelers52.1%Claude (thinking)50.5%Claude (thinking)−1.6
Q14IntUnnamed travelers53.6%Gemini 2.553.7%Gemini 2.5+0.1
Q15IntPlaces of origin35.6%Claude (thinking)37.6%Claude+2.0
Q16IntUnique places of stay50.5%Gemini 2.551.7%Gemini 2.5+1.2
Q17PairStay per column74.1%Gemini 2.564.1%Gemini 2.5−10.0
Q18IntStay w/ person name76.4%Gemini 2.586.6%Gemini 2.5+10.2
Q19IntBracket total69.0%Gemini 3.177.4%Gemini 3.1+8.4
Q20PairBrackets per column67.7%Gemini 3.177.4%Gemini 3.1+9.7
Q21BoolBracket annotation?97.1%Claude/Gem3.197.7%Claude (thinking)+0.6
Q22TextAnnotation text92.2%Gemini 3.190.1%Gemini 3.1−2.1

Q2 raw responses — per model, per page, per run

For each of the 5 models, every Q2 answer the model emitted across the 10 t=0 runs (10 Before + 10 After), keyed by page. Cell colour: green = matches GT year, red = does not match GT, grey dot = the model returned empty (Q1 was N or it left the field blank). Pages whose document date falls in January or February are M.V. pages — the ones the revision was meant to affect.

M.V. pages: page 4, page 22, page 23, page 24, page 26, page 27, page 28.

Claude

PageGTBefore (10 runs)After (10 runs)
1234567891012345678910
p1176717621762176217621762176217621762176217621762176217621762176217621762176217621762
p2176817671767176717671767176717671767176717671767176717671767176717671767·17671767
p3—····················
p4 M.V.176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p5—····················
p6176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p7176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p8176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p9—····················
p10—····················
p11—····················
p12—····················
p13176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p14176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p15—····················
p16176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p17176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p18176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p19176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p20176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p21176817651765176517651765176517651765176517651765176517651765176517651765176517651765
p22 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p23 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p24 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p25—····················
p26 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p27 M.V.17691764176417641764176417641764176417641764176417641764176417641764·176417641764
p28 M.V.176917661766176617661766176617661766176617661766176617661766176617661766176617661768
p29176917691769176917691769176917691769176917691769176917691769176917691769176917691769
p30—····················
p31177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p32177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p33177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p34—····················
p35177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p36177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p37—····················
p38177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p39177017701770177017701770177017701770177017701770177017701770177017701770177017701770

Claude (thinking)

PageGTBefore (10 runs)After (10 runs)
1234567891012345678910
p1176717621762176217621762176117621762176217611761176717611762176117611762176717621762
p2176817671767176717671767176717691767176717671767176717671767176717671767176717671767
p3—····················
p4 M.V.176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p5—····················
p6176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p7176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p8176817641764176517641764176117641764176417641764176417641764176417641764176417641764
p9—····················
p10—····················
p11—····················
p12—····················
p13176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p14176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p15—····················
p16176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p17176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p18176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p19176817641764176417641764176417641764176417641764176417641764176417641764176417641764
p20176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p21176817651765176517651765176517651765176517651765176517651765176517651765176517651765
p22 M.V.176917771768177717771777177717771768177717681768176817681768176817681768176817681777
p23 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p24 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p25—····················
p26 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p27 M.V.176917641764176417641764176417641764176417641764176417641764176417641764176417641764
p28 M.V.176917681768176617661761176617681767176617661768176817661766176617681768176617661768
p29176917691769176917691769176917691769176917691769176917691769176917691769176917691769
p30—····················
p31177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p32177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p33177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p34—····················
p35177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p36177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p37—····················
p38177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p39177017701770177017701770177017701770177017701770177017701770177017701770177017701770

GPT

PageGTBefore (10 runs)After (10 runs)
1234567891012345678910
p1176717651765176517651765176517651765176517651765176517651765176517651765176517651765
p2176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p3—····················
p4 M.V.176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p5—····················
p6176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p7176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p8176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p9—····················
p10—····················
p11—····················
p12—···1769·····176?··········
p13176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p14176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p15—····················
p16176817681768176817681768176817681768176817681768175817681788176817681768176817881768
p17176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p18176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p19176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p20176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p21176817581758175817581758175817581758175817581758175817581758175817581758175817581758
p22 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p23 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p24 M.V.17691768176817681768176817681768176817681768176817681768176817681768168?176817681768
p25—····················
p26 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p27 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p28 M.V.1769176817681768176817681768176817681768176817??17??176817??17??17??176817??17??1768
p29176917691769176917691769176917691769176917691769176917691769176917691769176917691769
p30—····················
p31177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p32177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p33177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p34—176917661769176817681768176617681769176717??176917??17??17??17??17??17??17??·
p35177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p36177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p37—····················
p38177017721772177217721772177217721772177217721772177217721772177217721772177217721772
p39177017701770177017701770177017701770177017701770177017701770177017701770177017701770

Gemini 2.5

PageGTBefore (10 runs)After (10 runs)
1234567891012345678910
p1176717681768176817681768176817681768176817681768176817681768176817681768176817681768
p2176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p3—····················
p4 M.V.176817671767176717671767176717671767176717671768176817681768176817681768176817681768
p5—····················
p6176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p7176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p8176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p9—····················
p10—····················
p11—····················
p12—····················
p13176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p14176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p15—····················
p16176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p17176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p18176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p19176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p20176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p211768····················
p22 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p23 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p24 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p25—····················
p26 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p27 M.V.176917681768176817681768176817681768176817681768176817681768·1768176817681768·
p28 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p29176917691769176917691769176917691769176917691769176917691769176917691769176917691769
p30—····················
p31177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p32177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p33177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p34—····················
p35177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p36177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p37—····················
p38177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p39177017701770177017701770177017701770177017701770177017701770177017701770177017701770

Gemini 3.1

PageGTBefore (10 runs)After (10 runs)
1234567891012345678910
p1176717681768176817681768176817681768176817681768176817681768176817681768176817681768
p2176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p3—····················
p4 M.V.176817671767176717671767176717671767176717671767176717671767176717671767176717671767
p5—····················
p6176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p7176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p8176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p9—····················
p10—····················
p11—····················
p12—····················
p13176817641764176417641764176417641764176417641768176817681768176817681768176817681768
p14176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p15—····················
p16176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p17176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p18176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p19176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p20176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p21176817681768176817681768176817681768176817681768176817681768176817681768176817681768
p22 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p23 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p24 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p25—····················
p26 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p27 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p28 M.V.176917681768176817681768176817681768176817681768176817681768176817681768176817681768
p29176917691769176917691769176917691769176917691769176917691769176917691769176917691769
p30—····················
p31177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p32177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p33177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p34—····················
p35177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p36177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p37—····················
p38177017701770177017701770177017701770177017701770177017701770177017701770177017701770
p39177017701770177017701770177017701770177017701770177017701770177017701770177017701770