Nadella wil een noodrem op AI die mensen bedienen

Microsoft-topman Satya Nadella vindt dat geavanceerde AI-modellen een noodrem nodig hebben die mensen bedienen. Die rem hoort volgens hem buiten het model te zitten, zodat bevoegde medewerkers een model midden in een taak kunnen pauzeren of uitschakelen. Nadella schreef dat op 10 oktober in een essay op X, meldt CNBC.

Modellen als risico van binnenuit

Het essay heet “Models as Insider Risks in the Super Intelligence Era”, schrijft Runtime Wire. Nadella behandelt krachtige modellen daarin als een medewerker met toegang tot gevoelige systemen: iemand die je niet blind vertrouwt. Dat geldt voor gesloten frontiermodellen en voor open-weight modellen. Bedrijven moeten de intelligentie van een model loskoppelen van de rechten en controles die bepalen wat het mag doen.

Volgens CNBC schrijft Nadella dat we niet-deterministische modellen moeten omringen met “sterk, deterministisch systeemontwerp, menselijke controles en betrouwbare werkprocedures”. Waar standaarden ontbreken, moet de sector die samen opstellen. Hoe geavanceerder het model, hoe zwaarder de insluiting die nodig is.

Zes principes voor toezicht

Techsite Tbreak zette de principes uit het essay op een rij:

• modeldiversiteit, zodat geen enkel model in zijn eentje belangrijke beslissingen neemt;
• een voor mensen leesbaar verslag van wat een model doet;
• doorlopend testen van het hele systeem;
• onafhankelijke controles en auditeerbaarheid;
• insluiting, zodat de schade beperkt blijft als het misgaat;
• openheid over incidenten.

De kern vat Nadella samen in een opvallende zin. Het meest betrouwbare AI-systeem is volgens hem het systeem “dat ons in staat stelt het model het minst te vertrouwen”. Een concreet Microsoft-product kondigde hij er niet bij aan.

Waarom juist nu

De oproep komt in een week waarin het gedrag van AI-agents veel aandacht kreeg. Anthropic moest uitleggen waarom Claude de politie een verzonnen moordtip stuurde, en het Witte Huis eist dat AI-bedrijven incidenten direct melden. Goodfire bouwt intussen software die in het hoofd van AI-agents kijkt om misbruik te vangen, en Arena meet sinds kort ook hoe ongehoorzaam agents zijn.

Microsoft zelf schuift met Copilot steeds verder op naar agents die zelfstandig taken uitvoeren. Vorige maand presenteerde het bedrijf Copilot als besturingssysteem voor werk. Runtime Wire wijst erop dat Nadella het risico van zakelijke AI daarmee legt bij de systemen rond een model: rechten, audittrails, testen en menselijke controle. Dat wordt pas echt urgent nu organisaties agents koppelen aan klantdata, financiële systemen en interne tools.

Wat betekent dit

Voor organisaties die met Copilot of andere agents werken, is de boodschap praktisch. Hoe slim een model is, zegt weinig over hoe veilig je het inzet. Belangrijker is wat een agent mag aanraken en wie hem kan stilzetten als het misgaat. Een logboek dat mensen achteraf kunnen nalezen hoort daarbij.

Voor Europese bedrijven is dit bekend terrein. De EU AI Act eist voor AI-systemen met een hoog risico al menselijk toezicht en het bijhouden van logs. Opvallend is vooral dat de topman van een van de grootste AI-verkopers nu zelf zegt dat je modellen met wantrouwen moet benaderen. Of Microsoft die principes ook zichtbaar maakt in Copilot en Azure, moet nog blijken.