GPT-5.6 Sol haalt 750 tokens per seconde op Cerebras

OpenAI zet zijn nieuwste topmodel voor het eerst op andere hardware dan die van NVIDIA. GPT-5.6 Sol draait deze maand op de wafer-scale processoren van Cerebras, en volgens OpenAI haalt de opstelling snelheden tot 750 tokens per seconde. Ter vergelijking: een frontier-model dat vanaf een GPU-cluster streamt komt doorgaans niet verder dan 40 tot 120 tokens per seconde.

Tien keer sneller dan een GPU

De 750 tokens per seconde die Cerebras noemt liggen ongeveer tien keer hoger dan wat een typische Nvidia-opstelling in productie haalt. Voor de gebruiker betekent dat een antwoord dat in een fractie van een seconde binnenloopt in plaats van na een merkbare wachttijd. Sol is het vlaggenschip binnen de GPT-5.6-familie, boven de goedkopere varianten Terra en Luna, en juist bij dat zwaarste model telt reactietijd het meest.

Andere aanbieders van gespecialiseerde inferentiechips zitten er nog onder. Groq draait Meta’s Llama op zo’n 500 tokens per seconde, en SambaNova haalt met oudere Llama-modellen ongeveer 250. Dat Cerebras een frontier-model van OpenAI zo snel laat lopen, is nieuw.

Waarom wafer-scale het verschil maakt

Cerebras bouwt geen losse chips maar processoren ter grootte van een hele siliciumwafer, de WSE-3. Doordat het geheugen en de rekenkernen op datzelfde stuk silicium zitten, hoeft data niet voortdurend heen en weer over trage verbindingen tussen losse GPU’s. Bij het genereren van tekst, waarbij het model token voor token verder rekent, levert die korte afstand veel snelheidswinst op. Het is dezelfde hardware waarmee Cerebras eerder aankondigde AI-compute in Europa te bouwen voor OpenAI.

Voorlopig beperkte uitrol

De snelheid is er, de schaal nog niet. OpenAI laat Sol op Cerebras eerst alleen los op een kleine groep geselecteerde klanten, en breidt dat pas geleidelijk uit naarmate er capaciteit bij komt. Dat past bij een bredere beweging waarin de AI-labs zich minder afhankelijk willen maken van een enkele chipleverancier. Meerdere partijen werken inmiddels aan een eigen inferentiechip, en rekenkracht blijft schaars.

Wat betekent dit

Snelheid wordt een koopargument. Voor een chatbot maakt het verschil tussen 70 en 750 tokens per seconde vooral gevoelsmatig uit, maar voor toepassingen die een model in stappen laten redeneren of dat honderden keren per taak aanroepen, tikt het echt aan. Als OpenAI de capaciteit op Cerebras kan opschalen, verschuift de vraag bij het kiezen van een model van alleen ‘hoe goed’ naar ook ‘hoe snel en op welke hardware’. Voorlopig blijft het een proef met een handjevol klanten, maar de richting is duidelijk: het monopolie van de GPU op frontier-inferentie staat onder druk.