Diffusiemodel Mercury 2.5 haalt 1.107 tokens per seconde

Inception, de startup van Stanford-hoogleraar Stefano Ermon, heeft Mercury 2.5 uitgebracht. Het model haalt volgens de aankondiging van Inception 1.107 tokens per seconde op gewone NVIDIA-GPU’s, en het bedrijf noemt het het grootste diffusie-taalmodel dat tot nu toe is getraind.

Waarom diffusie anders werkt

Vrijwel alle bekende taalmodellen zijn autoregressief: ze voorspellen woord voor woord, van links naar rechts. Een diffusiemodel begint met ruis en verfijnt de hele uitvoer in parallelle stappen, zoals beeldgeneratoren dat al jaren doen. Dat verklaart het snelheidsverschil. Waar cost-optimized modellen doorgaans tussen de honderd en tweehonderd tokens per seconde blijven steken, zit Mercury 2.5 een orde van grootte hoger.

Inception claimt daarnaast 40 procent meer capaciteit dan Mercury 2, met een contextvenster van 260.000 tokens, instelbaar redeneren, parallelle tool-calls en JSON-uitvoer die zich aan een schema houdt. Qua kwaliteit vergelijkt het bedrijf het model met GPT-5.6 Luna (Low), Gemini 3.5 Flash-Lite en Claude Haiku 4.5, dus met de goedkope onderkant van het frontier-aanbod en niet met de zwaarste modellen. Snelheid is de troef, geen ruwe redeneerkracht. Dat het versnellen van tekstgeneratie een breder thema is, bleek eerder al uit NVIDIA’s TwoTower-aanpak en uit videomodellen die sneller renderen dan je kunt afspelen.

Wat klanten in productie meten

Inception onderbouwt de claim met cijfers van gebruikers. Callcenter-platform OpenCall zag de P99-responstijd zakken van enkele minuten naar één seconde, en de mediaan van 0,4 naar minder dan 0,2 seconde. Augment Code gebruikt Mercury voor het samenvatten van context en meldt een daling van 150 naar 27 seconden, met 90 procent lagere kosten. Voor spraakagents noemt Inception een time-to-first-token onder 170 milliseconden, ruim binnen wat mensen in een gesprek als natuurlijk ervaren.

De prijs ligt op 0,20 dollar per miljoen inputtokens en 0,75 dollar per miljoen outputtokens, met een lanceerkorting van 80 procent. Het model draait via de eigen API van Inception, via OpenRouter en via Baseten. Ontwikkelaars krijgen 100 miljoen gratis tokens om te testen. Inception kondigde ook Mercury Voice en Mercury Router aan, plus een volgende generatie die al in training zit.

Waar dit knelt

De benchmarks komen van Inception zelf en zijn nog niet onafhankelijk nagerekend. Diffusiemodellen hebben bovendien een bekende zwakte bij lange, strikt logische ketens, precies waar coding-agents op leunen. Wie een agent bouwt die tientallen stappen achter elkaar moet zetten, zoals OpenHands 1.0, zal moeten testen of de winst in doorlooptijd niet wegvalt tegen extra correctierondes.

Snelheid verandert wat je met een model durft te bouwen. Bij twee seconden wachttijd bouw je een chatbot, bij tweehonderd milliseconde bouw je iets waar mensen doorheen praten.

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, die dit soort verschuivingen behandelt in zijn training prompts schrijven voor AI.

Wat betekent dit

Voor bedrijven die AI in klantcontact of in een ontwikkelstraat gebruiken, is latency vaak de echte rem, niet de score op een benchmark. Een model dat tien keer sneller antwoordt tegen een fractie van de prijs opent toepassingen die met een traag model onwerkbaar zijn: live vertaling, spraakagents, autocomplete die je niet ophoudt. Tegelijk groeit het aanbod sneller dan de meeste IT-afdelingen kunnen bijbenen, een probleem dat we eerder beschreven als model fatigue. De verstandige route is klein beginnen: kies één workflow waar wachttijd geld kost, meet je huidige P95, en zet Mercury 2.5 ernaast met de gratis tokens voordat je iets migreert.