Beste codeeragent maakt maar 26 procent van echte klussen af

Op bekende benchmarks halen codeeragents inmiddels bijna perfecte scores. Een nieuwe test van onderzoekers van Alibaba en enkele Aziatische universiteiten laat een heel ander beeld zien. Op Co-Design Bench levert het beste model slechts 26,4 procent van de taken volledig goed af. In alle andere gevallen moet een mens nog iets afmaken.

Opdrachten uit echte programmeersessies

De benchmark bestaat uit 273 taken. Die selecteerden de onderzoekers uit 37.463 unieke verzoeken, afkomstig uit 26.314 echte programmeersessies van gebruikers, zo staat in het paper dat op 26 oktober op arXiv verscheen. Bewust kozen ze voor lastige gevallen: sessies waarin gebruikers hun vraag meerdere keren moesten herformuleren of wijzigingen terugdraaiden.

Elke taak draait om het aanpassen van een bestaande webapp. De benchmark heeft twee onderdelen. In het multimodale deel krijgt de agent naast tekst soms een afbeelding, geluidsopname, video of document mee. In het repository-deel moet de agent wijzigingen doorvoeren die meerdere bestanden raken. De beoordeling loopt via 2.331 verborgen acceptatiecriteria die door experts zijn geschreven.

Een AI-beoordelaar test de opgeleverde app in een browser. Een tweede AI-model controleert elk positief oordeel vervolgens op nep-oplossingen, zoals mock-ups of hardgecodeerde uitkomsten. Alleen functies die echt werken leveren punten op.

GPT-6 Astra wint, maar haalt geen voldoende

Volgens The Decoder testten de onderzoekers tien modellen. GPT-6 Astra van OpenAI eindigde bovenaan. Gemiddeld voldeed het model aan bijna 70 procent van de eisen per taak, maar was slechts 26,4 procent van de taken helemaal in orde. Bij de multimodale taken kwam dat uit op 41 procent, bij de repository-taken op net geen 18 procent. Claude Opus 5 en Qwen3.8-Max volgden, Grok 4.6 werd laatste.

Alle tien modellen scoorden lager zodra een opdracht drie of vier soorten wijzigingen combineerde, bijvoorbeeld lay-out, vormgeving, interactie en inhoud tegelijk. In echte projecten komt zo’n combinatie gewoon voor. De meeste fouten waren geen complete missers: vaak liet de agent één detail liggen. GLM-5.2 gebruikte bij kleine wijzigingen bijna zes keer zoveel tokens als GPT-6 Astra en scoorde toch duidelijk slechter.

De omgeving telt net zo zwaar als het model

Opvallend is de rol van de harness, het programma waarmee een agent code leest, schrijft en uitvoert. Qwen3.8-27B haalde bij grotere ombouwtaken 75 of 56 procent, afhankelijk van de omgeving. Daardoor kon zelfs de volgorde van twee modellen omdraaien. De auteurs adviseren daarom altijd model en werkomgeving samen te rapporteren.

Het verschil met oudere tests is groot. Op een benchmark als WebCompass-edit halen modellen bijna de maximale score, terwijl het gat op Co-Design Bench volgens The Decoder op meer dan 35 procentpunten ligt. Dat sluit aan bij eerder werk van METR, dat de vooruitgang van AI-modellen volgt en vond dat projectleiders AI-code zo’n 24 procentpunten minder vaak accepteren dan SWE-bench Verified doet vermoeden.

De test heeft ook beperkingen, die de auteurs zelf noemen. Elke taak bestaat uit één vast verzoek, zonder vervolgvragen of tussentijdse correcties. En de AI-beoordelaars kunnen zich vergissen.

Wat betekent dit

Wie een codeeragent inzet, krijgt vaak een app die grotendeels werkt maar op een of twee punten tekortschiet. Menselijke controle blijft dus nodig, zeker bij grotere wijzigingen. Dat geldt ook voor de nieuwe generatie tools, zoals SWE-2 Flash van Cognition en de Super-agent van DeepSeek. Hoge scores op oudere benchmarks zeggen weinig over hoe een agent omgaat met de rommelige verzoeken van echte gebruikers. Wie modellen vergelijkt, doet er goed aan ook naar de gebruikte werkomgeving te kijken.