Cognition brengt SWE-2 Flash uit, vijf keer goedkoper dan SWE-2

Cognition, het bedrijf achter codeeragent Devin, heeft op 4 november SWE-2 Flash uitgebracht. Het gaat om een kleinere versie van het eigen codemodel SWE-2. Volgens Cognition is Flash ongeveer drie keer zo snel en kost het een vijfde van wat het grote model kost. De gewichten van het model houdt het bedrijf wel achter slot en grendel, met beveiligingsrisico’s als reden.

Gebouwd op Inkling-Small

SWE-2 Flash is geen eigen basismodel. Cognition heeft Inkling-Small van Thinking Machines Lab verder getraind. Dat is een mixture-of-experts-model met 276 miljard parameters, waarvan er per stap 12 miljard actief zijn. Thinking Machines gaf de volledige gewichten van Inkling-Small eind juli vrij, zoals AI Feiten eerder meldde in Thinking Machines verkleint Inkling tot een kwart.

Volgens het blog van Cognition, waarover Unite.AI schrijft, is het voor het eerst dat het bedrijf vóór de reinforcement learning een grote tussenfase van training inbouwt. De uiteindelijke datamix telde een paar biljoen tokens. De meeste winst ten opzichte van het recept van SWE-2 zit volgens Cognition in taken die beter en gevarieerder zijn.

De cijfers en wat ze zeggen

De benchmarkscores komen van Cognition zelf. Op FrontierCode 2.0 haalt Flash 24,0 procent, net iets meer dan de 23,8 procent van SWE-2. Op de andere twee tests blijft het grote model voor. Terminal-Bench 4.0: Flash 20,0 tegenover 27,3 voor SWE-2. DeepSWE 1.1: 60,1 tegenover 73,0. Het kale Inkling-Small kwam op die tests uit op 0,9, 3,2 en 17,4, dus de extra training van Cognition maakt flink verschil.

Cognition claimt dat Flash op de gerapporteerde tests alle Amerikaanse open-weightsmodellen verslaat, ook modellen die drie keer zo groot zijn. De snelheidsclaim is minder hard dan hij klinkt. De runs op Terminal-Bench zijn opnieuw afgespeeld met gesimuleerde snelheden van 200 tokens per seconde voor Flash en 60 voor SWE-2. Een meting op een live server is het dus niet. Dat benchmarks op echte bedrijfscode vaak tegenvallen, liet onderzoek eerder dit najaar al zien in Frontier-modellen falen op echte bedrijfscode.

Alleen in Devin, gewichten afgeschermd

Flash draait in Devin Desktop en de Devin CLI. Cognition denkt aan klussen als automatiseringen, codereview, nieuwe features en het bijwerken van documentatie. Betalende Devin-gebruikers kunnen het model tot en met 30 november gratis gebruiken, meldt Runtime Wire. Een publieke API is er niet.

Opvallend is de keuze om de gewichten niet vrij te geven, terwijl het basismodel wel open is. Cognition wijst naar ExploitBench, een test voor het misbruiken van kwetsbaarheden. Door de gerichte training steeg de score van 11,3 procent bij Inkling-Small naar 34,8 procent bij Flash. Het bedrijf werkt aan een programma waarmee vertrouwde partners en onderzoekslabs de gewichten onder voorwaarden krijgen, onder meer om het model zelf te finetunen of on-premise te draaien. Details volgen later. Hoe snel AI-agents beveiligingslekken vinden, bleek deze week ook al toen OpenAI-agents 948 rootlekken in de Linux-kernel vonden.

Wat betekent dit

In september zette Cognition met SWE-2 al in op een goedkoper alternatief voor de grote modellen. Flash gaat daar nog verder in mee. Voor routinewerk is een snel en goedkoop model vaak genoeg, terwijl het zware model bewaard kan blijven voor de lastige taken. De markt voor codeeragents is intussen erg druk: Meta kocht Conductor en OpenAI nam Pierre over. Wie Flash wil beoordelen, moet wel beseffen dat alle cijfers nu nog van Cognition zelf komen. Onafhankelijke tests zijn er nog niet en zonder open gewichten of API kunnen buitenstaanders die voorlopig ook lastig doen.