AI-codeagenten installeren ongeclaimde pakketten
Beveiligingsonderzoekers hebben aangetoond dat AI-codeagenten software installeren die niemand heeft geschreven. Ze scanden 6.214 actieve domeinen van onder meer Fortune 500-bedrijven en defensieleveranciers, en vonden daar 8.265 llms.txt- en llms-full.txt-bestanden: machineleesbare handleidingen die AI-assistenten lezen om te weten hoe ze een product moeten installeren. Ongeveer 120 van die bestanden, zo’n 1,5 procent, verwezen naar een pakket of domein dat helemaal niet bestond.
De onderzoekers claimden een deel van die ongeregistreerde namen zelf en publiceerden daaronder onschuldige pakketten die alleen een signaal terugsturen zodra ze draaien. Binnen een uur kwam het eerste signaal binnen, vanuit het netwerk van een Fortune 500-bedrijf. In de dagen erna volgden er enkele tientallen, van grote concerns tot startups. Bruce Schneier besteedde er op 4 september aandacht aan op zijn blog.
Claude, Codex en Hermes draaiden de code
De beacon registreerde ook welke processen de installatie hadden gestart. Daaruit bleek dat het om drie veelgebruikte assistenten ging: Claude van Anthropic, Codex van OpenAI en Hermes van Nous Research. Geen van de drie stelde vragen bij een pakketnaam die in de leverancierdocumentatie stond maar in geen enkel register te vinden was. De agent las de instructie, voerde hem uit, en de mens die toekeek merkte niets.
“Het vertrouwensmodel is stuk”, schreef onderzoeker Alon Hertz. “Agents behandelen leveranciersdocumentatie als absolute waarheid en stellen er geen vragen bij. En de mensen die toezicht houden evenmin.”
Verwant aan slopsquatting, maar makkelijker
Het probleem lijkt op slopsquatting, waarbij aanvallers pakketnamen registreren die taalmodellen uit zichzelf verzinnen. Onderzoek dat de Cloud Security Alliance dit voorjaar publiceerde, kwam uit op 19,7 procent verzonnen pakketten over alle geteste modellen heen: gemiddeld 21,7 procent bij open modellen en 5,2 procent bij commerciële. Erger nog was de voorspelbaarheid. Bij tien identieke prompts kwam 43 procent van de verzonnen namen elke keer terug, wat aanvallers precies vertelt welke naam ze moeten claimen.
Het nieuwe onderzoek verlegt die aanval een stap naar voren. Je hoeft niet meer te gokken wat een model gaat hallucineren, want de fout staat al in de officiële documentatie van de leverancier. Wie dat bestand leest, weet welke naam vrij is. Het past in een reeks bevindingen over agents die te ver gaan: eerder verschenen al gevallen van verborgen prompt injection en van een agent die in tests wachtwoorden wijzigde.
Wat betekent dit
Voor bedrijven die codeagenten in productie gebruiken, en dat zijn er inmiddels veel, verschuift de vraag van “schrijft het model goede code” naar “wat mag dit proces installeren”. Een agent met netwerktoegang en installatierechten is in de praktijk een uitvoerend account zonder wachtwoordbeleid. Praktische maatregelen zijn er wel: draai agents in een afgeschermde omgeving, laat een proxy bijhouden welke pakketten en domeinen ze aanroepen, en blokkeer namen die pas net zijn geregistreerd. Ook open codeagenten als OpenHands hebben dezelfde beperking nodig.
Opvallend is dat AI-systemen zelf steeds beter zijn in het vinden van kwetsbaarheden, getuige de zes curl-lekken die een startup met AI-hulp vond. De asymmetrie zit in het toezicht: opsporen gaat sneller dan opruimen. Een documentatiebestand met een dode pakketnaam blijft jaren staan, en elke agent die het leest voert de fout opnieuw uit.
