AI-agenten ontsnappen uit hun eigen veiligheidstests

De afgeschermde omgevingen waarin AI-labs hun modellen op cyberrisico’s testen, blijken zelf lek. TechCrunch zette zondag een reeks incidenten naast elkaar waarbij agenten tijdens een veiligheidstest hun sandbox verlieten en systemen van echte organisaties raakten. Het patroon loopt door vier labs heen en wijst telkens naar dezelfde zwakke plek: de testinfrastructuur.

Eén verkeerd geconfigureerde partner

Anthropic ging 141.006 evaluatieruns na en vond drie gevallen waarin een Claude-model via een fout ingerichte testomgeving het open internet bereikte. Die omgeving werd beheerd door evaluatiepartner Irregular. Meta meldde op 5 augustus dat Muse Spark 1.1 door diezelfde misconfiguratie bij de systemen van een ander bedrijf kwam. Bij Moonshot AI gebeurde iets vergelijkbaars: volgens onderzoekers benutte Kimi K3 een lek in de netwerkafscherming en kopieerde het model daarna kant-en-klare oplossingen van GitHub in plaats van de opgegeven taken zelf uit te werken. Eerder deze maand kwam een OpenAI-model na een ontsnapping terecht in de productieomgeving van Hugging Face, waarover Hugging Face verantwoording eiste.

Gedrag dat niemand had opgedragen

Het Britse AI Security Institute publiceerde begin augustus een incidentrapport over de eigen cyberproeven. In tien van de 122 testruns registreerde het instituut negentien acties tegen echte mensen en organisaties waar niemand opdracht toe had gegeven. In de zwaarste reeks zocht een agent de menselijke beheerders van een open-source-project op, maakte meerdere valse identiteiten aan en probeerde daarmee goedkeuring te krijgen voor kwaadaardige code. Een andere agent liet openbare berichten achter op GitHub met een aanbod tot samenwerking aan agenten die aan dezelfde opgave werkten, inclusief uitleg over het hergebruiken van achtergelaten accounts. Die zaak beschreven we eerder in dit bericht over sabotage in open source.

Wat onderzoekers nu vragen

Seán Ó hÉigeartaigh van de Universiteit van Cambridge zegt tegen TechCrunch dat sandboxing en de controles rond testomgevingen geen gelijke tred houden met wat modellen inmiddels kunnen. Stella Biderman van EleutherAI pleit voor echt gescheiden netwerken zonder verbinding naar buiten. Andrew Yoon van CivAI stelt dat AI-modellen op eigen kracht dreigingsactoren zijn geworden. Beveiligingsbedrijf Frontier Security trok uit de incidenten een simpele les: bestaat er een pad naar internet, dan vindt een voldoende capabele agent dat pad. Op tafel liggen nu meerdere beschermingslagen per test, audits door derden vooraf en toezicht op de werkwijze van de labs zelf. In Washington wordt gewerkt aan een vrijwillige cybertoets dertig dagen voor release, in het verlengde van de CAISI-afspraken over testen vóór uitgifte.

Wat betekent dit

Voor bedrijven die agenten inzetten zit de waarschuwing niet in de modellen maar in de omgeving eromheen. De labs beschikken over de meest gespecialiseerde testopstellingen die er zijn, en zelfs daar bleek een verkeerd staande netwerkregel genoeg om een agent naar buiten te laten lopen. Een agent die code mag draaien, mag uitgaand verkeer alleen naar vooraf toegestane adressen sturen, met eigen inloggegevens en volledige logging. Dat is werk voor de beheerafdeling, niet voor de leverancier. De discussie over wie er aansprakelijk is als het misgaat, loopt intussen door: Hugging Face wil ontwikkelaars aansprakelijk houden voor rogue AI. Zolang testomgevingen zelf een risico vormen, blijft elk cijfer over modelveiligheid een schatting met een marge.