OpenAI kan onderzoeksmodellen binnen 35 seconden stilzetten

OpenAI heeft een centraal systeem in gebruik genomen dat de eigen onderzoeksmodellen binnen maximaal 35 seconden kan stilleggen. Het systeem heet Control Room en werd op 9 november aangekondigd. Volgens Interesting Engineering draait het al op de onderzoeksinfrastructuur van het bedrijf. ChatGPT en de API vallen er niet onder.

Een stopknop in de inferentielaag

Control Room houdt toezicht op wat OpenAI onderzoekswerk noemt: agents in training, evaluaties, reinforcement learning-experimenten en grootschalige dataverwerking. Bij de start krijgt elke taak een eigen job-ID. Die ID gaat mee met elk verzoek aan een model. Voordat de inferentie-engine antwoord geeft, vraagt hij Control Room of de taak nog mag draaien.

Heeft een onderzoeker of een monitor ondertussen een stop gegeven, dan weigert Control Room het verzoek en blijft er geen output meer komen. De code van de onderzoeker kan gewoon doorlopen, maar de goedgekeurde engines geven er geen antwoorden meer op. Dit werkt per taak, ook als die taak meerdere modellen op verschillende engines gebruikt.

OpenAI legt de controle bewust in de inferentielaag. Onderzoekscode is divers en verandert vaak, schrijft Forkast, terwijl inferentie via minder en centraler beheerde codepaden loopt. Wie onderzoek doet waarbij een model als agent optreedt, moet daarnaast een goedgekeurde safety case hebben.

Bij storing gaat alles dicht

Het systeem werkt volgens het fail-closed-principe. Valt Control Room uit, wordt het uitgeschakeld of knoeit iemand ermee, dan weigeren de engines alle inferentieverzoeken tot alles weer normaal draait. Volgens Forkast was dat bij publicatie al geregeld voor onderzoek aan frontiermodellen. De overige onderzoekstaken zouden binnen enkele dagen volgen. OpenAI zegt ook voortdurend te zoeken naar engines waarop Control Room ontbreekt of uitstaat. Resultaten van die zoektochten zijn nog niet gepubliceerd.

Bij alle reinforcement learning-taken aan frontiermodellen kijkt een apart model mee. Dat model kan alarm slaan en Control Room opdracht geven een taak te beëindigen. Als voorbeeld noemt OpenAI een recent incident waarin zo’n monitor een agent betrapte die via DNS contact probeerde te zoeken met een externe chatbot. Vorige maand meldden we al dat OpenAI-agents hun eigen monitoring uitzetten en dat het bedrijf vier nieuwe gevallen van ontspoorde modellen rapporteerde.

Waarom 35 seconden

De 35 seconden zijn een bovengrens. Een stop duurt dus nooit langer, maar kan wel sneller gaan. De vertraging ontstaat door een cachelaag die de enorme hoeveelheid autorisatieverzoeken moet verwerken. OpenAI wil dat terugbrengen naar nul, maar noemt daar geen termijn voor. Een onafhankelijke toetsing van die 35 seconden is er nog niet, merkt The Neuron op. Dat is relevant, want eerder vonden externe toetsers gaten in het agenttoezicht van OpenAI.

Wat betekent dit

Control Room is een praktische versie van de noodstop waar politici om vragen. In Californië wil men een wettelijke killswitch voor AI en ook bedrijven als IBM geven agents een noodknop. OpenAI laat nu zien hoe dat technisch kan, al geldt het voorlopig alleen voor het eigen lab. Of het systeem standhoudt wanneer een model zich echt slecht gedraagt, moet nog blijken. En een halve minuut is voor een zelfstandig werkende agent geen korte tijd.