Bonsai 2 perst Qwen3.8 27B terug tot 5,9 GB

PrismML heeft een verkleinde versie van Qwen3.8 27B vrijgegeven die 5,9 GB groot is en op een gewone laptop draait. Het origineel beslaat in FP16 zo’n 53,8 GB. Dat is ruim negen keer kleiner, en volgens de makers blijft 98,2 procent van de benchmarkscore overeind. MarkTechPost beschreef de release op 18 september.

Drie waarden per gewicht

Bonsai 2 27B gebruikt ternaire gewichten: elk gewicht is -1, 0 of +1, met per groep van 128 gewichten een gedeelde schaalfactor in FP16. Dat komt neer op ongeveer 1,76 effectieve bits per gewicht. PrismML geeft het model vrij onder Apache 2.0, met een contextvenster van 262K tokens en invoer van tekst en beeld.

De hardware-eis ligt laag: een laptop met 16 GB geheugen, een enkele GPU van 24 GB of een Mac met Apple Silicon. Wel is er een kanttekening. Het model laadt niet in de gewone llama.cpp; je hebt de fork van PrismML nodig of hun MLX-runtime. Er is ook een browserdemo op WebGPU.

Waar het wel en niet standhoudt

De cijfers van PrismML laten zien dat de schade ongelijk verdeeld is. Op wiskunde en code blijft het model vrijwel op niveau, rond 99 procent van het origineel. Kennis en redeneren zakken naar 96,9 procent, beeldtaken naar 96,3 procent. De grootste dip zit bij langlopend agentwerk: op Terminal-Bench en SWE-bench houdt Bonsai 2 nog ongeveer 75 procent over. Wie het model als autonome codeagent wil inzetten, merkt dat dus.

Ook praktisch is er een beperking: alleen de middelste redeneerstand werkt, de lichte stand wordt niet ondersteund. En de scores komen van PrismML zelf. Onafhankelijke herhaling ontbreekt voorlopig, dus het getal van 98,2 procent is een claim, geen geverifieerde uitkomst.

Lokaal draaien wordt normaler

De release past in een reeks pogingen om zware modellen van het datacenter naar het bureau te halen. Eerder liet Edge0 een 35B-model vanaf de SSD draaien in 3 GB geheugen, en GLM-5.2 kreeg een laptopversie met 25 GB RAM. Aan de andere kant van het spectrum staat Kimi K3, dat 1,4 terabyte vraagt, of een AMD-workstation met 576 GB HBM3E. Het basismodel zelf komt van Alibaba, dat de Qwen-lijn dit jaar stevig heeft uitgebreid en onder meer audio-invoer 98 procent goedkoper maakte.

Wat betekent dit

Voor bedrijven die AI niet naar een externe API willen sturen, verschuift de rekensom. Een model van 27 miljard parameters dat in 5,9 GB past, is te draaien op de laptops die er al staan, zonder abonnement en zonder dat data het pand verlaat. Voor codehulp en rekenwerk lijkt dat te werken. Voor agents die uren zelfstandig doorwerken, is de afgeknepen versie voorlopig te wankel. De verstandige stap is testen op je eigen taken, niet op de benchmarktabel van de maker.