Gemini 4 Carbon pakt eerste plek in wiskundetest MathArena
2 min. leestijd

Gemini 4 Carbon pakt eerste plek in wiskundetest MathArena

Google heeft met Gemini 4 Carbon de eerste plek veroverd op MathArena, de ranglijst die AI-modellen laat rekenen aan recente wiskundewedstrijden. Het model haalt 85,4 procent en zet daarmee GPT-6.1 Sol van OpenAI van de troon. Die overwinning heeft wel een prijs: een volledige testronde met Carbon kost bijna vijftien keer zoveel als met het model van OpenAI.

Wat MathArena meet

MathArena is een project van het SRI Lab van ETH Zürich en het Bulgaarse instituut INSAIT. De makers leggen taalmodellen opgaven voor uit wedstrijden als AIME, HMMT, USAMO, de Internationale Wiskunde Olympiade en Putnam, aangevuld met onderzoeksvraagstukken en opgaven in de bewijstaal Lean. Doordat de opgaven recent zijn, is de kans klein dat een model ze tijdens de training al heeft gezien. Volgens de toelichting op matharena.ai weegt elke vraag even zwaar mee in de totaalscore. Ontbrekende resultaten worden geschat met een statistisch model.

Lege examenzaal met tafels, opgavebladen en potloden in middaglicht

De nieuwe ranglijst

Onderzoeker Jasper Dekoninck van MathArena kondigde de nieuwe stand aan op X, waarna The Decoder er op 14 november over berichtte. Gemini 4 Carbon komt in de hoogste denkstand uit op 85,4 procent, met een marge van 3 procentpunt. Op de tweede plek staat Claude Fable 5.2 van Anthropic met 82,8 procent, daarna volgt GPT-6.1 Sol met 80,6 procent. De verschillen vallen deels binnen de foutmarges, zeker bij Fable (plus of min 5,3 punt).

Open modellen blijven ver achter. De beste daarvan is Kimi K3.1 Pro van Moonshot AI, met 54,3 procent.

Duur en koppig

Het meest opvallende getal staat in de kostenkolom. Een testronde met Carbon kost gemiddeld 15,70 dollar. GPT-6.1 Sol doet hetzelfde werk voor 1,07 dollar. Claude Fable 5.2 is met 40,20 dollar nog duurder dan Carbon.

Carbon schiet ook regelmatig door de tijdslimiet heen. Het model geeft zelden op, schrijft The Decoder, wat zowel een voordeel als een nadeel kan zijn. In één geval liet Carbon ruim elf uur een script draaien zonder tussentijds te controleren hoe het ervoor stond.

Google bracht Gemini 4 Carbon eind oktober eerst alleen uit voor beveiligingsspecialisten. Sinds 10 november is het model beschikbaar voor betalende ontwikkelaars.

Wat betekent dit

Het is een tijd geleden dat er geen OpenAI-model bovenaan MathArena stond. De top drie ligt wel dicht bij elkaar en de prijs per opgave loopt flink uiteen. Wie AI vooral wil inzetten voor wiskunde of exacte analyses, kijkt dus beter naar de rekening dan naar de eerste plek alleen. Voor de meeste toepassingen levert GPT-6.1 Sol vrijwel dezelfde score voor een fractie van het geld.

De ranglijst toont verder alleen publiek beschikbare modellen. Volgens The Decoder gebruikt OpenAI voor zwaar wiskundig werk ook modellen die nog niet openbaar zijn. Dat het bedrijf daar actief mee bezig is, bleek deze week nog bij het bewijs rond het Standaardmodel met GPT-6 Astra.