Claude Opus 5.5 wint zware AI-benchmark GDPx met 12 procent

SemiAnalysis, het onderzoeksbureau van chipanalist Dylan Patel, publiceerde maandag GDPx, een benchmark die meet hoe goed AI-agents echt vakwerk afmaken. De uitkomst is ontnuchterend. Het beste model, Claude Opus 5.5 van Anthropic, haalt 12 procent.

Wat GDPx meet

De test bestaat uit 206 taken in elf domeinen, waaronder chipontwerp, cybersecurity, biologie, financiën, juridisch werk, quant trading, materiaalkunde en softwareontwikkeling. Ook alignment en recursieve zelfverbetering (modellen die AI-onderzoek doen) zitten erin. Overheid, vastgoed en verzekeringen liet SemiAnalysis bewust weg. De auteurs Max Kan, Andrew Megalaa en Patel kozen de sectoren waar zij de eerste grote AI-omzet verwachten, niet de sectoren met het grootste aandeel in het bbp.

De taken komen van 14 bedrijven die trainingsomgevingen voor AI bouwen. Een model krijgt standaard acht uur per opdracht en werkt in een realistische omgeving, zoals een virtuele dataroom of een gesimuleerd lab. De score is pass@1 over drie pogingen. SemiAnalysis is kritisch op bestaande tests: de eigen kwaliteitscontrole markeerde bijna de helft van de taken in Terminal Bench 4.0 als kapot, en GDPval van OpenAI uit september 2025 noemt het bureau ontoereikend voor de huidige agents.

Opus 5.5 voor, Gemini 4 Carbon tweede

Volgens het overzicht van Unite.AI scoort Opus 5.5 12,0 procent, tegen 51,41 dollar per taak. Gemini 4 Carbon van Google volgt met 10,9 procent en kost met 16,29 dollar per taak ruim drie keer minder. GPT-6 Astra van OpenAI eindigt op 9,6 procent (53,99 dollar), Muse Wonder Full van Meta op 9,0 procent. Van de dertien geteste modellen sluit GLM 5.3 van Z.ai de rij met 2,7 procent.

Per domein verschilt het beeld. Opus wint quant trading, hardware- en chipontwerp. Gemini 4 Carbon, dat Google vorige week eerst aan beveiligers gaf, is het sterkst in biologie en software. GPT-6 Astra wint materiaalkunde en zelfverbetering. Muse Wonder Full is volgens SemiAnalysis “met een flinke marge” het beste model voor cybertaken.

Veiligheidsfilters kosten punten

Opus 5.5 en GPT-6 Astra lopen punten mis doordat hun veiligheidsclassifiers soms ingrijpen bij opdrachten in cyber, biologie en alignment. Laat je die drie domeinen weg, dan staat Astra met 11,8 procent nipt voor Opus (11,7). SemiAnalysis vermoedt dat Gemini zijn voorsprong in biologie deels dankt aan minder strenge filters.

Financiën en juridisch werk zijn het zwaarst. Bij de bedoelde binaire beoordeling scoort elk model daar nul. In een gesimuleerde overname, waarbij een fonds voor 880 miljoen dollar zo’n 62 procent van een snackfabrikant koopt, haalde de beste run 8 van de 11 controles. Bij quant trading deden 70 van de 111 beoordeelde runs het slechter dan de referentiestrategie.

Wat betekent dit

Voor bedrijven die agents willen inzetten voor complex vakwerk is GDPx een nuttige reality check. Tools als Claude Code en de nieuwe Super-agent van DeepSeek schrijven zelfstandig code, maar bij een klus van acht uur met echte bestanden komt geen enkel model betrouwbaar tot een correct eindresultaat. Prijs telt ook mee. Gemini 4 Carbon zit dicht bij de winnaar voor een derde van het geld, al dalen de API-prijzen bij alle aanbieders snel.

De praktische les: kies per vakgebied. Een beveiligingsteam heeft weinig aan een model dat de opdracht weigert, een juridische afdeling juist wel aan de 44 procent deelscore die Opus haalde op een contracttaak. SemiAnalysis wil elke drie tot zes maanden een nieuwe versie uitbrengen. Dan valt te volgen hoe snel die 12 procent stijgt.