OpenAI meet eigen chip Jalapeño af tegen Nvidia

OpenAI heeft de eerste meetresultaten gepubliceerd van Jalapeño, de inferentiechip die het bedrijf samen met Broadcom ontwierp. De cijfers vallen gunstig uit voor OpenAI. Ze komen alleen wel uit het eigen lab.

Wat de metingen laten zien

De tests draaiden op InferenceX, de openbare inferentiebenchmark van analistenbureau SemiAnalysis. OpenAI zette Jalapeño naast Nvidia-systemen op Blackwell-basis en meldt 1,5 tot 1,9 keer meer werk per watt, bij een 1,7 tot 3,6 keer lagere end-to-end latency. Voor sterk interactieve workloads loopt het verschil volgens het bedrijf op tot 2,1 à 4,1 keer.

Het scherpste voorbeeld staat bij GPT-OSS 120B: 85.448 tokens per seconde per kilowatt voor Jalapeño tegen 44.960 voor een GB200-systeem. Er werd ook gemeten met DeepSeek R1 (670 miljard parameters) en Kimi K2.5 (1 biljoen). Jalapeño staat op ongeveer 700 watt per accelerator, tegenover 1.200 watt voor een GB200 en 1.400 watt voor een GB300. Die opgegeven vermogens vormen meteen de basis van de normalisatie.

Waarom de vergelijking wringt

Er zitten flinke haken aan. OpenAI voerde de metingen zelf uit, zonder onafhankelijke verificatie, en rekende met de gepubliceerde package-ratings van elke chip in plaats van verbruik in een echt rack. Richard Ho, hoofd hardware bij OpenAI, zei tegen EE Times bovendien dat de Jalapeño-getallen zonder speculative decoding tot stand kwamen, terwijl cijfers die anderen naar buiten brengen die techniek vaak wél gebruiken. Speculative decoding levert al snel drie tot vijf keer meer doorvoer op, dus een deel van de kloof zit in de meetmethode.

Ho wees op de ontwerpkeuze die het verschil zou maken: zo min mogelijk data verplaatsen. De HBM-banken zitten dicht op de rekenkernen, zodat gegevens niet telkens tussen cores heen en weer hoeven. Datzelfde principe zie je terug bij Cerebras, dat geheugen boven op de wafer stapelt, en bij het magnetische geheugen dat AI zonder datacenter belooft.

Wanneer draait dit echt

Volgens TechCrunch gaan eind 2026 de eerste kleine aantallen draaien, met een serieuze opschaling in 2027. Tegen die tijd kan Nvidia een generatie verder zijn, iets wat TechCrunch er nadrukkelijk bij zet. OpenAI blijft ondertussen gewoon inkopen bij Nvidia, AMD en AWS; CFO Sarah Friar liet weten dat alle opties op dit moment nodig zijn. Verkoop aan derden staat niet op de planning, de chip is bedoeld voor het eigen rekenpark. Broadcom en Celestica bouwen mee.

Dat past in het patroon van de afgelopen weken. Anthropic legde 35 miljard dollar op tafel voor rekenkracht, en OpenAI kocht tienduizenden Macs voor agenttraining. Wie een frontiermodel draait, koopt op dit moment alles wat rekent.

Wat betekent dit

Voor wie ChatGPT of een API gebruikt verandert er voorlopig niets. Op termijn is prestatie per watt wel de knop waar de prijs aan hangt: stroom is de schaarste in AI, niet de software. In Australië gaan datacenters richting zeven keer meer stroomverbruik, en dat probleem los je niet op met inkoopkorting. Lukt het OpenAI om een groot deel van de inferentie op eigen silicium te draaien, dan zakt de kostprijs per token en wordt het bedrijf minder afhankelijk van één leverancier. Tot er onafhankelijke metingen liggen, blijven deze cijfers vooral een claim van de fabrikant zelf.