Edge0 draait 35B-model vanaf SSD in 3 GB geheugen

Een AI-model van 35 miljard parameters hoort in het werkgeheugen van een flinke server. AutoArk laat met Edge0 zien dat het ook anders kan: het model draait in ongeveer 2,9 GB actief geheugen op een Mac mini M4 Pro, omdat de rekenonderdelen die het nodig heeft rechtstreeks van de SSD worden ingelezen. Het bijbehorende technische rapport draagt de titel The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction.

Vier experts per token, rechtstreeks van schijf

Edge0-35B-A3B is gebouwd op Qwen3.5-MoE en bestaat uit 256 zogeheten experts. Bij elk token gebruikt het model er maar vier. In de klassieke aanpak staan alle 256 toch in het geheugen, voor het geval de router ze aanwijst. Edge0 laat ze op de SSD staan en haalt per token alleen de vier actieve exemplaren op, meldt AlphaSignal.

Het probleem daarbij is wachttijd: opslag is trager dan geheugen, dus de rekenkern staat stil zolang de schijf bezig is. AutoArk lost dat op met een prerouter die een token vooruit voorspelt welke experts straks nodig zijn. Terwijl het huidige token nog wordt berekend, leest de SSD de volgende set alvast in. Volgens het rapport levert dat tot 59 procent meer doorvoer bij het genereren van tekst.

Wat de metingen laten zien

Op een Mac mini M4 Pro met 24 GB geheugen genereert Edge0 volgens MindStudio 15 tot 18 tokens per seconde. Lange prompts worden verwerkt met 113 tot 140 tokens per seconde. Dat is geen serversnelheid, maar voor een machine van rond de tweeduizend euro is het bruikbaar voor tekstwerk dat niet direct op het scherm hoeft te verschijnen.

Om het geheugengebruik omlaag te krijgen is het model teruggebracht naar 4 bits. Die stap kost normaal gesproken kwaliteit. AutoArk traint daarom met een techniek die het Recover-LoRA noemt kleine adapters bovenop het bevroren int4-model. Over vijf benchmarks blijft het resultaat gemiddeld 3,9 punten achter op de originele fp16-versie.

Waarom dit bedrijven aangaat

De meeste organisaties kiezen nu tussen een API bij een groot lab of dure GPU-hardware in eigen beheer. Een model dat op een bureaucomputer draait, verschuift die afweging. Eerder liet Perplexity al zien dat een AI-agent lokaal op een RTX-pc kan draaien, en de stroom aan open modellen zoals Atria Dawn houdt aan. Ook Z.ai haalde miljarden op voor open GLM-modellen.

Het interessante zit hem niet in de benchmark, maar in de plek waar het model komt te staan. Zodra een taalmodel op de computer onder het bureau past, wordt de privacyvraag opeens een stuk simpeler te beantwoorden.

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer bij AI-geletterdheid

Wat betekent dit

Edge0 is een preview en de snelheid blijft ver onder wat een cloud-API haalt. Toch raakt het aan een reeel knelpunt: geheugen is duur en schaars, terwijl SSD-capaciteit dat niet is. Voor teams die gevoelige documenten liever binnenshuis houden, is een model dat op bestaande hardware draait een serieuze optie. Het hoge releasetempo van de labs maakt kiezen er niet makkelijker op, maar de richting is duidelijk: lokaal draaien wordt goedkoper.