Cognition brengt SWE-2 uit, fors goedkoper dan Fable 5.1

Cognition heeft op 10 september SWE-2 uitgebracht, het nieuwe codeermodel achter Devin. Het bedrijf zet vooral in op prijs: volgens de eigen aankondiging haalt SWE-2 vrijwel dezelfde score als de duurste modellen van Anthropic en OpenAI, tegen een fractie van de kosten.

Wat de cijfers zeggen

Op FrontierCode 1.1 Main, de benchmark die Cognition zelf ontwikkelde, komt SWE-2 uit op 50,0 procent. Fable 5.1 van Anthropic scoort daar 50,9 procent, dus het verschil is minder dan een punt. Cognition stelt dat SWE-2 bij die score 64 procent goedkoper draait. GPT-6 Astra van OpenAI blijft met 53,3 procent voor, maar kost volgens Cognition ongeveer vier keer zoveel per taak.

De benchmark meet iets anders dan de gebruikelijke tests. FrontierCode kijkt of een door AI geschreven pull request door een menselijke maintainer daadwerkelijk zou zijn samengevoegd. Op Terminal-Bench 2.1 noteert Cognition 92,8 procent, op de zwaardere Terminal-Bench 4 blijft daar 27,3 procent van over. Dat gat laat zien hoeveel ruimte er nog zit tussen afgebakende opdrachten en echt ingewikkeld werk.

Gebouwd op een Chinees open model

SWE-2 is geen model dat Cognition vanaf nul heeft getraind. De basis is Kimi K3, het open model van 2,8 biljoen parameters van Moonshot AI. Daar bovenop legde Cognition eigen reinforcement learning die specifiek gericht is op programmeerwerk in de praktijk. Die route, een sterk open basismodel plus eigen specialisatie, verklaart voor een groot deel het prijsverschil met de gesloten frontier-modellen.

Het patroon past bij wat er elders gebeurt. DeepSeek verving deze week V4 Pro door het goedkopere V4.1 Flash, en ook OpenHands 1.0 mikt met een open codeagent op hetzelfde segment. De concurrentie verschuift van ruwe scores naar wat een opgeloste taak kost.

Sneller klaar, minder stappen

Cognition meldt ook winst in efficiëntie. De variant SWE-2 medium heeft 58 procent minder beurten nodig dan voorganger SWE-1.7 en maakt de eerste code-aanpassing na mediaan 18 stappen, waar dat er eerder 48 waren. Een model dat minder lang rondtast voor het begint te schrijven, verbruikt simpelweg minder tokens per klus. De trainingsmethode traint de niveaus medium, high en max tegelijk, zodat de hele kosten-prestatiecurve meebeweegt.

SWE-2 is beschikbaar in Devin Desktop, de Devin CLI, Devin Web en Devin Fusion. Abonnees op Pro, Max en Teams krijgen het model een maand lang zonder extra kosten.

Wat betekent dit

Voor ontwikkelteams verandert vooral de rekensom. Wie tot nu toe de duurste modellen inzette omdat die nu eenmaal bovenaan stonden, heeft nu een optie die op de praktijkbenchmark nauwelijks onderdoet maar fors minder kost. Tegelijk zijn dit cijfers van de aanbieder zelf, gemeten op een benchmark van diezelfde aanbieder, en dat vraagt om eigen tests voordat je overstapt. De discussie rond de aangepaste benchmarkcijfers van Astra liet zien hoe snel zulke claims onder druk komen te staan. Het bredere signaal is duidelijker: de prijs van bruikbaar programmeerwerk door AI daalt hard, en open basismodellen uit China zitten daar middenin. Voor bedrijven die door de stroom nieuwe modellen het overzicht kwijtraken is kosten per opgeloste taak een nuchterder maatstaf dan de volgende benchmarkscore.