OpenAI laat Hacktron zijn eigen systemen aanvallen

OpenAI haalt een externe hackersclub binnen om zijn eigen systemen open te breken. Het bedrijf maakte op 6 november bekend dat het Hacktron in de arm neemt, een securitystart-up die AI-agents bouwt voor codereview, pentesten en red teaming. Samen bepalen ze welke onderdelen als eerste worden aangevallen, met de nadruk op de plekken waar OpenAI-systemen koppelen aan diensten van derden.

Van bugmelder naar vaste partner

Hacktron is voor OpenAI geen onbekende. In de aankondiging op de eigen site schrijft OpenAI dat het de start-up leerde kennen via het Security Bug Bounty-programma en onder de indruk was van de impact van de lekken die Hacktron daar meldde. Dat programma kreeg begin deze maand nog een flinke impuls: OpenAI verviervoudigde de bug bounty.

Wat die meldingen precies inhielden, beschrijft Unite.AI op basis van het verslag dat Hacktron in september publiceerde. Op 25 juli koppelde het onderzoeksteam twee kritieke kwetsbaarheden aan elkaar. De eerste maakte het mogelijk om code uit te voeren via de beeldverwerking van een communityforum dat op Discourse draait, de tweede zat in de single sign-on van OpenAI. Samen gaven ze toegang tot de ChatGPT-accounts van meerdere OpenAI-medewerkers en van daaruit tot Codex en een gekoppelde GitHub-integratie.

Als bewijs maakte Hacktron met het Codex-account van een medewerker een onschuldige pull request aan in de interne monorepo van OpenAI. Daarna stopten de onderzoekers. OpenAI bevestigde volgens hun tijdlijn binnen ongeveer 14 uur een fix, Discourse had twee dagen later een oplossing klaar. Op 1 september volgde een beloning van 6.500 dollar, uitsluitend voor het deel aan de kant van OpenAI. Het forum zelf viel buiten de scope van het programma.

Meer toegang via Daybreak Red

Onderdeel van de afspraak is dat Hacktron ruimer toegang krijgt tot de nieuwste modellen van OpenAI via Daybreak Red. Dat is de afgeschermde laag van het Daybreak-programma, met modellen die speciaal zijn getraind voor kwetsbaarheidsonderzoek, het valideren van exploits en beveiligingstests. Pas deze week bracht OpenAI daarvoor GPT-6 Cyber uit voor erkende beveiligers. Toegang is alleen mogelijk voor goedgekeurde personen en organisaties, na identiteitscontrole en met juridische verklaringen.

Over de duur van de samenwerking, de financiële voorwaarden en de vraag of er al nieuwe lekken zijn gevonden, doen OpenAI en Hacktron geen mededelingen. Ook Blockchain.News meldt dat contractvoorwaarden en tijdlijnen niet openbaar zijn.

Koppelingen zijn het zwakke punt

De keuze voor diensten van derden is logisch. De aanval van Hacktron begon op een forum dat OpenAI niet zelf beheert en kwam via een inlogkoppeling binnen. Hetzelfde patroon zagen we bij de groep die via software van derden binnenkwam bij Anthropic. Ook het recente lek in ChatGPT dat Lockdown Mode omzeilde laat zien hoeveel aanvalsoppervlak er ontstaat zodra een chatbot met andere systemen praat.

Wat betekent dit

Voor gewone ChatGPT-gebruikers verandert er voorlopig niets zichtbaars. Wel is het een teken dat AI-bedrijven hun eigen beveiliging steeds vaker laten testen door partijen die zelf met AI-agents aanvallen. Wie ChatGPT of Codex koppelt aan GitHub, Google Drive of andere zakelijke tools, doet er goed aan te controleren welke rechten die koppelingen hebben. Hoeveel de samenwerking concreet oplevert, moet nog blijken: OpenAI heeft geen cijfers over gevonden of gedichte lekken gedeeld.