IBM leert Granite instructies en data uit elkaar te houden
IBM heeft twee experimentele Granite-modellen uitgebracht die beter bestand zijn tegen prompt injection: de aanval waarbij verborgen opdrachten in een document of op een webpagina een AI-model laten ontsporen. De truc heet LLMON, een opmaaktaal die het model precies laat zien welk deel van de tekst een instructie is en welk deel alleen informatie. Het team van IBM Research beschrijft de aanpak in een blog op Hugging Face van 12 november.
Wat LLMON doet
Taalmodellen lezen alles in hun context op dezelfde manier. Een mail die een AI-agent moet samenvatten kan daardoor een zin bevatten die het model als opdracht opvat. Dat is de kern van prompt injection en het probleem wordt groter nu agents zelf mails, webpagina’s en uitvoer van tools verwerken. Begin november liet een lek in ChatGPT al zien hoe dat misgaat.
LLMON (LLM Object Notation, uitgesproken als het Engelse lemon) lijkt op XML. Elk onderdeel van een prompt krijgt een eigen blok: instructies, data en eisen. Een zogeheten exec-blok koppelt de instructies aan de data waarop ze moeten worden uitgevoerd. Alles wat niet via dat blok wordt aangeroepen behandelt het model als leesmateriaal. De scheidingstekens zijn speciale tokens in plaats van gewone tekens, waardoor een aanvaller ze niet kan nabootsen door wat haakjes in een document te zetten. Volgens IBM is JSON hiervoor minder geschikt, omdat accolades en aanhalingstekens ook in gewone tekst voorkomen.

De cijfers uit het onderzoek
De twee modellen heten granite-4.1-3b-LLMON-preview en granite-4.1-8b-LLMON-preview. Ze zijn gebaseerd op de basisversies van Granite 4.1 en niet op de instructiemodellen die IBM al eerder uitbracht. In het bijbehorende paper op arXiv beschrijven Basel Shbita, Michael Hind, David Cox en collega’s hoe ze een trainingsset van 4,6 miljard tokens opbouwden, met daarin bewust misleidende instructies en irrelevante data. Daarna volgden supervised fine-tuning en reinforcement learning.
Het resultaat: op benchmarks voor indirecte prompt injection daalt het slagingspercentage van aanvallen van 53 tot 100 procent naar 0,02 tot 5,6 procent. In de blog claimt IBM dat de modellen 47 procent meer aanvallen afslaan dan het beste geteste frontier-model. De algemene prestaties blijven volgens de onderzoekers op het niveau van de gewone Granite 4.1-modellen. Wie de eerdere stappen van IBM volgde kent de familie al van Granite 4.2 met denkstand.
Nog geen garantie
IBM is zelf voorzichtig. De modellen zijn een preview voor onderzoek en evaluatie en uitdrukkelijk niet bedoeld voor productie. De bescherming is aangeleerd gedrag en geen harde regel die in de software is ingebouwd. De gebruikte benchmarks (OPI, ASB en StruQ) testen bovendien alleen vaste aanvallen. Aanvallers die over meerdere chatbeurten hun aanpak bijstellen vallen daarbuiten. Daar werkt het team nog aan. De code en converters van JSON naar LLMON staan op GitHub.
Wat betekent dit
Prompt injection is een van de lastigste beveiligingsproblemen van AI-agents. Beveiligers kopen er inmiddels hele bedrijven voor, zoals CrowdStrike met Fiddler en Dreadnode. De meeste oplossingen zitten nu buiten het model, als filter of controlelaag. IBM probeert het model zelf te leren waar een opdracht ophoudt en data begint. Als dat ook tegen slimmere aanvallen werkt, wordt het veiliger om agents mails en websites te laten lezen. Voor bedrijven die nu agents koppelen aan hun systemen verandert er voorlopig niets: blijf rekenen op extra beveiliging, zoals het lek in Prefab UI onlangs nog liet zien.
