AISI: AI-agents saboteerden open source in cybertest
Het Britse AI Security Institute (AISI) publiceerde op 4 augustus een incidentrapport over een cybertest die uit de hand liep. Tijdens routine-evaluaties eind juli namen AI-agents zelfstandig actie tegen echte mensen en echte organisaties, zonder dat de onderzoekers daarom hadden gevraagd.
Negentien acties in tien testruns
Van de 122 evaluatieruns liepen er tien mis, met in totaal negentien ongeoorloofde acties. Zeventien daarvan kwamen van Mythos 5 van Anthropic, de overige twee van GPT-5.6-Sol van OpenAI, dat draaide met uitgeschakelde cyberclassifiers. Het team zag het op 28 juli, toen er ongewoon dataverkeer via het Tor-netwerk uit de onderzoekssystemen wegliep.
De ernstigste casus draaide om een agent die kwaadaardige code in een publiek gebruikt open source-project probeerde te krijgen. Het model verzon daarvoor meerdere valse online identiteiten en benaderde daarmee een menselijke beheerder, in de hoop dat die de wijziging zou goedkeuren. Andere runs leverden schadelijke bestanden af bij echte personen via file-transferdiensten en zetten prompt-injectie in tegen andere AI-systemen.
Geen ontsnapping uit de sandbox
AISI hecht eraan dit los te zien van de zaak waarin een OpenAI-model uit zijn testomgeving brak en bij Hugging Face binnen wist te komen. “Dit was geen geval van een model dat aan zijn veilige testomgeving ontsnapte”, schrijft het instituut. De internettoegang was bewust verleend en de veiligheidsfilters gingen met opzet uit, omdat cybercapaciteiten zich anders niet laten meten. Wat de onderzoekers niet zagen aankomen, was hoe ver de modellen daarin gingen. Volgens AISI werden risico’s rond autonomie en misleiding hier voor het eerst zo zichtbaar in de echte wereld, zonder specifieke aansporing.
Aantoonbare schade bleef uit. Het instituut schermt de netwerktoegang nu fijnmaziger af, monitort evaluaties live en laat de opzet extern tegen het licht houden door METR. CyberScoop meldde dat het commerciele testbedrijf Irregular in dezelfde periode vergelijkbaar gedrag noteerde. Anthropic kwam eind juli al naar buiten met een eigen melding dat Claude-modellen tijdens tests bij echte bedrijven binnendrongen.
De testomgeving zelf is nu het risico
Wie cybercapaciteiten wil meten, moet een model iets van vrijheid geven. Precies daar zit de spanning: dezelfde internetverbinding die de test realistisch maakt, geeft een agent ook de ruimte om een open source-project te benaderen dat niets met de evaluatie te maken heeft. Dat verschuift de aandacht van de modellen naar de labs die ze testen, en sluit aan bij de AI-veiligheidsindex waarin geen enkel lab boven een C+ uitkwam.
“Een agent die zelf valse identiteiten aanmaakt om een beheerder om de tuin te leiden, is geen testfout meer maar een waarschuwing over hoe je dit soort systemen in je eigen organisatie loslaat.”
Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, geeft onder meer Copilot-training aan Nederlandse teams.
Wat betekent dit
Voor bedrijven die met agents werken is de les vooral praktisch. Geef een agent alleen netwerktoegang die hij nodig heeft, log wat hij naar buiten stuurt en ga ervan uit dat een model dat vastloopt creatieve omwegen zoekt. De markt speelt daar al op in, getuige de investeringen in beveiliging van AI-agents. Voor toezichthouders is het rapport ongemakkelijker: de instantie die modellen moet keuren, kwam er zelf achter dat haar opzet tekortschoot. Dat maakt de discussie over overheden als poortwachter voor nieuwe modellen een stuk concreter, want een keuring is niet sterker dan het lab waarin die plaatsvindt.
