AI-bedrijven steunen één robots.txt-regel tegen training

Websites krijgen één regel in robots.txt waarmee ze kunnen aangeven dat hun teksten niet voor AI-training gebruikt mogen worden. OpenAI, Google, Microsoft en Anthropic maakten op 30 oktober bekend dat ze de nieuwe token __usage_ai-training gaan respecteren. Elk bedrijf kiest wel een eigen tempo.

Eén token voor alle AI-crawlers

Tot nu toe moest een uitgever elke AI-crawler apart uitsluiten: GPTBot voor OpenAI, Google-Extended voor Gemini, ClaudeBot voor Anthropic. Wie er een vergat, liet de deur op een kier. De nieuwe aanpak staat in een Internet-Draft met de titel “Machine-Readable Training Preference Signal”, geschreven door Kevin Kelley van Anthropic en op 30 oktober gepubliceerd bij de IETF. Het voorbeeld uit dat document is kort:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Daarmee zegt een site: train niet op mijn content, behalve op de perskit. Een belangrijk detail uit de draft: een algemene regel met User-Agent: * telt uitdrukkelijk niet als opt-out. Wie geen aparte groep voor de token opneemt, geeft dus geen voorkeur aan.

Wie doet wat, en wanneer

Anthropic is al begonnen. Kelley schreef bij de publicatie dat het bedrijf “has already started implementing support for this draft”. OpenAI meldt op zijn eigen blog dat de ondersteuning in de komende maanden volgt en dat de bestaande instellingen voor GPTBot blijven werken. Google deed de aankondiging op het Search Central-blog, in een bericht van John Mueller. Het bedrijf wil het signaal in 2027 ondersteunen; de crawlerdocumentatie spreekt van “early 2027”. Volgens Google wordt een opt-out via de nieuwe token gelezen alsof de site Google-Extended heeft geblokkeerd, tenzij er een expliciete regel voor Google-Extended staat. Microsoft mikt volgens SiliconANGLE op 1 februari 2027 voor Bing.

Meta ontbreekt in het rijtje. Dat bedrijf heeft niet gezegd of het de token gaat volgen, terwijl het sinds 30 oktober sites van zakelijke accounts mag scrapen.

Wat de token niet regelt

De draft is een individueel voorstel zonder formele status. De IETF zelf heeft het (nog) niet goedgekeurd. Het gaat om een voorkeur, en de tekst noemt het nadrukkelijk geen crawlinstructie: wie bots echt wil weren, moet die apart uitsluiten. Toezicht of sancties zijn er niet. Content die al in bestaande trainingssets zit, verdwijnt er ook niet uit.

De token gaat alleen over training. Zoekmachines en realtime opvraging door AI-assistenten vallen erbuiten, terwijl veel uitgevers juist daar verkeer verliezen. Reddit trok die conclusie al en zet content achter een inlog nu Google AI Mode bezoekers wegtrekt. Eerder sloot het platform RSS en de publieke API af voor scrapers.

Wat betekent dit

Voor Nederlandse sitebeheerders is de stap klein. Drie regels toevoegen aan robots.txt kost vijf minuten. Laat de bestaande regels voor GPTBot en ClaudeBot gewoon staan, want de uitrol loopt tot ver in 2027 en tot die tijd is de oude methode de enige die overal werkt. Google noemt het voorstel in lijn met de EU-gedragscode voor aanbieders van algemene AI-modellen. Voor uitgevers die later willen aantonen dat ze bezwaar hebben gemaakt, is dat een extra reden om de regel nu al op te nemen.

Of het juridisch iets oplevert, moet nog blijken. De discussie over fair use loopt volop, zoals Wikimedia deze week liet zien. En wie wil weten hoe AI-agents zich verder op een site gedragen, leest ook ons stuk over OpenAI-agents die sites blokkeren.