Meta geeft inkijk in Prometheus, zijn gigawatt-cluster in Ohio

Meta heeft op zijn engineeringblog voor het eerst uitgebreid beschreven hoe Prometheus in elkaar zit, het AI-supercluster in New Albany (Ohio). De eerste fase is klaar en daarop zijn de Muse-modellen getraind, waaronder Muse Wonder. Op termijn moeten er ongeveer een miljoen GPU’s tegelijk aan dezelfde taak rekenen.

Van webdatacenter naar AI-campus

Twee jaar geleden draaide er op deze locatie nog gewoon webverkeer, schrijft Meta. Inmiddels staan er honderdduizenden GPU’s, verdeeld over klassieke datacentergebouwen, hallen die speciaal voor AI zijn ontworpen en tenten die snel neer te zetten zijn. Infrastructuurchef Santosh Janardhan vertelde in september op de AI Infra Summit al dat het om een cluster van één gigawatt gaat met 30 tot ruim 40 gebouwen, meldde GamesBeat. Eén zo’n tent levert 30 megawatt.

Binnen draaien drie generaties NVIDIA-hardware naast elkaar. Catalina is gebouwd op de GB200 NVL72 en verbruikt zo’n 120 kW per systeem. Clemente gebruikt de GB300 met 288 GB HBM3e per GPU, ongeveer de helft meer geheugen dan de GB200, bij circa 135 kW per rack. Daarna volgt San Miguel op basis van Vera Rubin: volledig vloeistofgekoeld en meer dan 170 kW per rack. Eén GPU trekt volgens Meta ongeveer 1.400 watt.

Storingen zijn het echte probleem

Het interessantste deel van de blog gaat over betrouwbaarheid. Als tienduizenden GPU’s in hetzelfde tempo trainen, kan één haperende server de hele run stilleggen. Medio 2025 telde Meta bijna 1.000 onderbrekingen per 8.000 GPU’s per dag. Een jaar later is dat volgens het bedrijf met 99 procent gedaald. Het doel is twee onderbrekingen per 8.000 GPU’s per dag.

Tijdens het trainen van Muse Wonder ging volgens Meta meer dan 85 procent van de rekentijd naar nuttig werk bij pretraining, en ruim 90 procent bij reinforcement learning. Die marge kost wel hardware. Per rack rekenen 64 GPU’s mee en staan er 8 reserve, en daarbovenop houdt Meta ongeveer 2 procent extra racks achter de hand. Een run met 32.768 actieve GPU’s beslaat zo 523 racks met in totaal 37.656 GPU’s.

Stroompieken van tientallen megawatts

Ook het stroomnet merkt het als zo’n cluster een taak start of pauzeert. Het verbruik kan binnen enkele seconden met tientallen megawatts verschuiven, en tijdens het trainen schommelt de belasting met 30 tot 40 procent. Meta vangt dat op met software die het vermogen van GPU’s geleidelijk bijstuurt, met batterijen in de racks en met energieopslag op het terrein. Het bedrijf zegt de volledige energiekosten zelf te betalen en het verbruik te compenseren met nieuwe hernieuwbare energie. Die vraag speelt overal in de VS, waar de bouw van AI-datacenters vastloopt en de overheid zelfs kerncentrales weer opstart.

Wat betekent dit

Meta laat zien dat de grens van AI-training op dit moment net zo goed bij elektriciteit, glasvezel en reserveonderdelen ligt als bij modelarchitectuur. Wie een miljoen GPU’s wil laten samenwerken, moet eerst zorgen dat ze niet om de paar minuten stilvallen. De lessen gaan direct naar Hyperion in Louisiana, dat volgens Janardhan uitgroeit tot vijf gigawatt.

Tegelijk groeit de twijfel over zulke investeringen. Gartner waarschuwde onlangs dat 3,5 biljoen aan AI-infrastructuur mogelijk moet worden afgeschreven, terwijl concurrenten als Anthropic miljardendeals over rekenkracht sluiten. Meta kiest ervoor om zelf te bouwen, en met deze blog laat het zien hoeveel techniek daarvoor nodig is.