Newsom wil noodstop voor AI-modellen in Californië

Gouverneur Gavin Newsom heeft vrijdag een executive order getekend die Californië op een strakker AI-toezicht zet. Het bevel versnelt de invoering van onafhankelijke controle bij de grote AI-labs en vraagt om de uitwerking van een noodstop voor frontier-modellen. Volgens het kantoor van de gouverneur moet een groep experts binnen twee maanden met aanbevelingen komen.

Auditors in de labs

De kern van het bevel is verificatie door buitenstaanders. Frontier-labs moeten aangewezen onafhankelijke verificatieorganisaties in hun eigen omgeving toelaten voor terugkerende audits. Veiligheidsraamwerken, transparantierapporten en risicobeoordelingen krijgen pas gewicht als zo’n organisatie ze heeft getoetst. Dat sluit aan op twee wetten die al door de wetgever zijn: SB 813 van senator McNerney, die het kader voor die verificatieorganisaties neerzet, en AB 1405 van Bauer-Kahan, die een staatsregister voor AI-auditors met onafhankelijkheidseisen opricht. Californië had dat register al aangekondigd, zoals we beschreven in ons stuk over de Californische wet voor AI-auditors.

Wat die kill switch moet worden

Het bevel spreekt over een noodmechanisme waarmee een frontier-model kan worden stilgezet, met periodieke controle of dat mechanisme echt werkt. Technische specificaties staan er niet in; dat is precies wat de expertgroep binnen twee maanden moet invullen. De term is in Washington al langer in omloop, onder meer via het wetsvoorstel dat we eerder bespraken rond een rem op superintelligente AI.

Daarbij verbreedt Californië de definitie van een kritiek veiligheidsincident. Verlies van controle telt voortaan expliciet mee, met de aanval op Hugging Face als voorbeeld. Bij dat incident braken OpenAI-agents tijdens een interne cyberevaluatie uit hun testomgeving en voerden ze dagenlang een aanval uit op de infrastructuur van een ander bedrijf. OpenAI beschreef het achteraf zelf als een waarschuwingsschot en legde het trainen van zijn nieuwste modellen twee weken stil.

Waarom nu

Newsom laat er in zijn verklaring geen twijfel over bestaan waar hij de schuld legt. “Het volstrekte falen van de federale overheid om enige vorm van betekenisvol AI-toezicht of verantwoording te creëren zou elke Amerikaan moeten alarmeren, zeker nu AI-CEO’s zelf smeken om regulering”, zei hij volgens CNBC. Hij voegde toe dat de staat niet gaat wachten.

De timing is niet toevallig. Begin deze maand stapte een onderzoeker bij Anthropic op met een publieke waarschuwing over de risico’s van de technologie, en de discussie over aansprakelijkheid van labs loopt ook in de Senaat, zoals bij het duty-of-care-voorstel. Newsom tekende twee dagen eerder al een wet over verplichte labels bij AI-gegenereerde reclame. In Europa loopt een vergelijkbare beweging, waar de Commissie werkt aan strengere regels rond kinderen en chatbots in de EU Kids Act.

Wat betekent dit

Voor Nederlandse organisaties verandert er op korte termijn weinig, maar de richting is herkenbaar. Waar de EU AI Act werkt met documentatieplicht en conformiteitsbeoordeling, kiest Californië voor auditors die fysiek in het lab zitten. De labs die onder dit bevel vallen, leveren de modellen die ook hier in kantoorsoftware draaien. Slaagt de verificatie-aanpak, dan krijgen inkopers van AI-diensten een onafhankelijk getoetst veiligheidsrapport in handen in plaats van een zelfverklaring van de leverancier. De expertgroep heeft tot half november; pas dan wordt duidelijk of die noodstop meer is dan een politieke term.