AI-bots negeren robots.txt op Europese sites
Een op de zeven AI-bots die Europese sites bezoeken, komt terecht op pagina’s die de uitgever expliciet had afgeschermd. Dat staat in het nieuwe State of the Bots-rapport van TollBit over de eerste helft van 2026, dat op 14 augustus werd besproken door Search Engine Journal en PPC Land. Het cijfer: 15 procent van de herkende AI-page-fetchers in Europa bereikte URL’s die in robots.txt op disallow stonden.
Welke bots het vaakst doorlopen
Drie namen springen eruit. ChatGPT-User, Bytespider en Youbot haalden volgens TollBit pagina’s op bij bijna de helft van de Europese sites die deze bots juist hadden uitgesloten. ChatGPT-User bereikte daarbij de meeste sites. Dat is geen toeval: OpenAI schrapte in december 2025 de passage waarin stond dat ChatGPT-User zich aan robots.txt houdt. Het bedrijf redeneert dat een fetch die een gebruiker zelf in gang zet iets anders is dan een crawler die het web afstruint voor trainingsdata. Uitgevers zien in hun logs alleen dat hun regel wordt genegeerd.
Europa schermt minder af dan Noord-Amerika
Opvallend in dezelfde cijfers: Europese sites blokkeren veel minder dan Amerikaanse. Slechts 9 procent van de Europese websites zet Claude-User op disallow, tegen 26 procent in Noord-Amerika. Voor Perplexity-User is dat 13 procent tegenover 26 procent. Europese uitgevers hebben hun robots.txt dus simpelweg minder scherp staan, terwijl de discussie over scraping door AI-bedrijven hier net zo hard speelt. Een rechter hield eerder deze maand de DMCA-claim van Reddit tegen Perplexity overeind, en in de zaak van Amerikaanse kranten tegen OpenAI draait het eveneens om binnengehaald materiaal.
Robots.txt is geen slot, maar een verzoek
Technisch is robots.txt nooit meer geweest dan een beleefdheidsafspraak. Er zit geen authenticatie achter, geen handhaving, geen straf. Wie zich er niet aan houdt, merkt daar aan de serverkant niets van. Uitgevers die het serieus willen dichtzetten, moeten dat op netwerkniveau doen. Cloudflare zet daarom per 15 september nieuwe standaarden aan die training- en agent-crawlers standaard blokkeren op pagina’s met advertenties.
Wel biedt robots.txt fijnmazigheid die veel sites laten liggen. Je kunt OAI-SearchBot toestaan zodat je artikelen in AI-zoekresultaten blijven verschijnen, en tegelijk GPTBot weren zodat je teksten niet in trainingsdata belanden. Dat onderscheid tussen vindbaarheid en hergebruik maken de meeste Europese sites nu niet.
Wat betekent dit
Voor iedereen met een website komt het hierop neer: een regel in robots.txt beschermt je content alleen tegen partijen die zich eraan wíllen houden. De Europese wetgever kiest voorlopig een andere route, namelijk transparantie over AI-output in plaats van toegangscontrole aan de bronkant. De transparantieregels van de AI Act gelden sinds begin augustus, en leveranciers reageren daarop met techniek zoals het onzichtbare watermerk dat Anthropic in Claude-teksten zet. Dat helpt bij het herkennen van AI-tekst, niet bij het tegenhouden van bots die je archief leeglezen.
Wie zijn materiaal echt wil afschermen, kijkt de komende weken beter naar zijn firewall, WAF-regels en de instellingen bij zijn CDN dan naar een tekstbestand in de root van zijn domein. En het loont om nu al te bepalen welke bots je wél binnenlaat, want vindbaarheid in AI-antwoorden is voor veel sites inmiddels een serieuze verkeersbron.
