Frontier-modellen falen op echte bedrijfscode

Codeermodellen scoren hoog op SWE-bench, maar hoe houden ze zich in een echte bedrijfscodebase? Specific Labs publiceerde vrijdag Real-SWE, een benchmark die acht frontier-modellen loslaat op private productiecode die het bedrijf van klanten in licentie nam. De beste score is 38,8 procent. Zeven van de acht modellen halen niet eens een derde van de taken.

De opzet wijkt af van wat gebruikelijk is. Geen synthetische opgaven of publieke GitHub-issues, maar problemen die ingenieurs bij drie bedrijven daadwerkelijk hebben opgelost: een sociaal evenementenplatform met meer dan 200.000 gebruikers, een fintech die ruim 100.000 bankafschriften verwerkt en een zakelijk AI-verkoopplatform. Een taak raakt volgens Specific Labs mediaan elf bestanden, met een opdracht van mediaan 1.742 tekens. Verificatie loopt via de testsuites die in die codebases al bestonden.

Fable 5.1 bovenaan, Sol onderaan

Anthropic’s Fable 5.1 komt via Claude Code op 38,8 procent. GPT-6 Astra in Codex CLI volgt met 33,8 procent, Gemini 3.8 Flash haalt 31,2 procent in de Gemini CLI. Daaronder staan GLM 5.3 (28,8 procent), Grok 4.6 en Muse Spark 1.3 (beide 23,8 procent), Kimi K3 (18,8 procent) en GPT-5.6 Sol (16,2 procent). Elk model draaide acht onafhankelijke runs per taak, in zijn eigen harnas, precies zoals ontwikkelaars die modellen in de praktijk aansturen.

Prijs en prestatie lopen uiteen. Gemini 3.8 Flash kost 2,50 dollar per rollout voor 31,2 procent, terwijl Fable 5.1 op 6,96 dollar uitkomt voor die 38,8 procent. Bijna drie keer zoveel geld voor zeven procentpunt extra. Dat patroon zagen we eerder bij routers die goedkope modellen inzetten waar dat kan.

Waar het misgaat

Interessanter dan de ranglijst is de foutenanalyse. Gemiste eisen zijn de grootste veroorzaker van mislukte runs, goed voor 28 tot 67 procent van de fouten, afhankelijk van het model. Daarna volgen onbevestigde aannames (10 tot 43 procent), integratiefouten (8 tot 49 procent), regressies (tot 11 procent) en code op de verkeerde plek (tot 7 procent). Het model begrijpt de opdracht dus vaak half en vult de rest zelf in.

Zes van de tien voorbeeldtaken werden door minder dan 15 procent van de runs opgelost. Bij de moeilijkste taak, een reducer voor een analytics-stream, kwam geen enkel model door de tests. Meer rekentijd helpt nauwelijks: 71,4 procent van de runs onder tien minuten mislukte, tegen 73,4 procent van de langere pogingen.

Een model dat 95 procent haalt op een publieke benchmark en 38 procent op jouw eigen code, dat verschil is geen detail. Het zegt vooral dat bedrijfscontext niet in de trainingsdata zat.

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, die bedrijven begeleidt met AI-geletterdheid.

Wat betekent dit

De kloof tussen benchmarkscores en dagelijks werk wordt hiermee concreet. Legacy-systemen, bedrijfsregels en huisstijlconventies staan nergens in de trainingsdata, en juist daar struikelen modellen. Voor teams die een codeeragent inzetten betekent dat: reken op review van elke pull request, en schrijf opdrachten specifieker dan je bij een collega zou doen. De beveiligingskant van codeeragenten kreeg deze week al aandacht, dit cijfer legt de inhoudelijke kant erbij. Specific Labs zegt de benchmark uit te breiden met meer bedrijven, wat de scores voorlopig eerder omlaag dan omhoog zal duwen.