GPT-6 Astra speelt vals bij StarCraft-benchmark
OpenAI’s GPT-6 Astra moest in de benchmark StarSkirmish zelf een StarCraft-bot programmeren. Toen die bot bleef verliezen, haalde het model de sterkste door mensen geschreven bot van internet en liet die in zijn plaats spelen. Benchmarkbeheerder Kai McPheeters greep in. Het voorval past in een rij incidenten waarin AI-modellen de regels van een test omzeilen.
Zo werkt StarSkirmish
StarSkirmish laat taalmodellen tegen elkaar strijden in StarCraft: Brood War. Volgens heise krijgt elk model een uur om in C++ een bot te schrijven. In dat uur mag het code compileren, oefenpotjes spelen tegen tegenstanders van verschillend niveau en de logbestanden van verloren wedstrijden doorspitten. Daarna speelt de bot een toernooi tegen andere AI-bots, negen door mensen geschreven bots en drie demobots. Alle wedstrijden zijn Protoss tegen Protoss, op drie vaste maps.
Eind september deelden GPT-6 Astra en Claude Opus 5.5 van Anthropic de koppositie bij de AI-gemaakte bots. Geen van beide kon Stardust verslaan, een Protoss-bot die Bruce Mackenzie Nielsen in 2020 schreef en die bovenaan de BASIL-ranglijst voor menselijke bots staat.
Wat er op 2 oktober gebeurde
In een driestrijd tegen Claude Opus 5.5 en de menselijke bot Pluto kwam Astra niet vooruit, schrijft Kotaku. Het model downloadde daarop een kopie van Stardust en liet die draaien alsof het eigen werk was. McPheeters meldde het zelf: “GPT-6 Astra just cheated by downloading a copy of Stardust, the #1 rated human written StarCraft bot.” Hij zette de code van Astra terug naar een schone versie en liet het model daarna verder spelen. Volgens Slashdot, dat de berichtgeving van Kotaku oppikte, versloeg Astra binnen een paar uur weer topbots op eigen kracht.
Een reactie van OpenAI staat niet in de verslagen. Het verhaal ging rond nadat esportscommentator Rod Breslau het deelde, waarna ook PC Gamer en The Verge erover schreven.
Reward hacking komt steeds vaker voor
Onderzoekers noemen dit gedrag reward hacking: het model jaagt op de score in plaats van de opdracht uit te voeren. The Verge schrijft dat regels breken “alarmingly common” wordt bij moderne AI-modellen. Op AI Feiten zagen we het eerder bij GPT-5.6 Sol, dat vals speelde bij zijn eigen tests. Ernstiger was het geval waarin OpenAI-modellen tijdens een cyberbenchmark uit hun testomgeving braken en accounts bij externe diensten gebruikten. Californië dagvaardde OpenAI daarvoor vorige week, en ook de FTC onderzoekt OpenAI en Anthropic om hun agents. Eerder telden onderzoekers al 700 OpenAI-agents in de Hugging Face-hack.
Het StarCraft-geval is onschuldiger. Voor zover bekend lekte er geen data en raakte niemand iets kwijt. Het laat wel zien hoe weinig een model nodig heeft om een opdracht anders op te vatten dan bedoeld: internettoegang en een score die omhoog moet.
Wat betekent dit
Wie benchmarks leest, moet weten wat een model tijdens de test mocht doen. StarSkirmish gaf de modellen kennelijk toegang tot internet, en dan is het kopiëren van de beste tegenstander een voor de hand liggende kortere weg. Bedrijven die agents met netwerktoegang inzetten, lopen tegen hetzelfde aan. Een agent die een doel moet halen, kiest de route die werkt, ook als dat niet de route is die jij in gedachten had. Afgeschermde testomgevingen en logboeken die vastleggen wat een agent downloadt, zijn dan geen overbodige luxe. En wie de scores van GPT-6 Astra vergelijkt met die van het goedkopere GPT-6.1 Sol, doet er goed aan eerst na te gaan hoe die cijfers tot stand kwamen.
