Cloudflare zet AI-crawlers standaard buiten de deur

Wie vanaf vandaag een nieuwe site bij Cloudflare aanmeldt, houdt AI-crawlers standaard buiten de deur op elke pagina met advertenties. Het beleid gaat op 15 september 2026 in en treft ook alle gratis accounts die hun instellingen niet hebben aangepast. Voor Google is dat pijnlijker dan het klinkt.

Drie soorten bots in plaats van één schakelaar

Cloudflare kondigde de wijziging op 1 juli aan in een blogpost met de titel Content Independence Day. De oude knop om “AI-bots te blokkeren” is vervangen door drie categorieën. Search-crawlers indexeren pagina’s voor zoekresultaten. Agent-bots halen in realtime informatie op, zoals de fetch-bot van ChatGPT of een agent die een browser bestuurt. Training-crawlers verzamelen tekst om modellen mee te trainen.

Volgens AI News blijven zoekcrawlers standaard welkom. Agent- en trainingsverkeer op pagina’s met advertenties heeft vanaf vandaag expliciete toestemming van de site-eigenaar nodig. Bestaande betaalde klanten houden hun huidige instellingen; zij kunnen die wel zelf aanscherpen via het dashboard.

Waarom Googlebot in de knel komt

Het echte doelwit zijn zogeheten mixed-use crawlers: bots die zoeken, trainen en agenttaken combineren. Googlebot is het bekendste voorbeeld. Een site die training blokkeert, blokkeert zo’n crawler in de praktijk ook, totdat de eigenaar van de bot die functies uit elkaar trekt. NovaProxy noemt naast Googlebot ook Bingbot van Microsoft en Applebot.

Cloudflare-topman Matthew Prince zegt openlijk dat hij hoopt dat de maatregel “mixed-use crawlers aanmoedigt om zoeken te scheiden van agentgebruik en training”. The Next Web zet er cijfers naast: Googlebot krijgt ongeveer twee keer zoveel toegang tot data als concurrerende AI-bedrijven, en AI Overviews zouden het aantal doorklikken naar websites met zo’n 40 procent verlagen. Meer dan de helft van al het webverkeer komt inmiddels van bots.

Dat uitgevers daar last van hebben, zagen we eerder al toen bleek dat AI-bots robots.txt op Europese sites negeren. Ook de rechtszaken van onder meer Seattle Times en Newsday tegen OpenAI en Microsoft draaien om dezelfde vraag: wie mag nieuwsinhoud gebruiken, en tegen welke prijs.

Van betalen per crawl naar betalen per gebruik

Cloudflare experimenteerde eerder met Pay Per Crawl, een soort tolpoort per bezoek. Dat model maakt plaats voor Pay Per Use, waarbij een AI-bedrijf betaalt zodra content daadwerkelijk een antwoord vormt. Ceramic.ai en You.com doen als eerste partners mee. Site-eigenaren krijgen een dashboard dat laat zien welke bots langskomen en hoeveel bezoekers die terugsturen. Wie wil, kan zijn voorkeur ook machineleesbaar vastleggen met een Content-Signal-regel in robots.txt.

Wat betekent dit

Voor Nederlandse sites achter Cloudflare is het zaak om vandaag de botinstellingen te controleren. Een nieuwe site met advertenties is nu standaard dicht voor AI-agents, en dat kan invloed hebben op hoe vaak je in antwoorden van chatbots opduikt. Bedrijven die juist investeren in AI-zichtbaarheid willen die deur misschien open houden. Uitgevers die leven van advertenties krijgen er juist een onderhandelingspositie bij.

De grote vraag is hoe Google reageert. Splitst het bedrijf Googlebot op, dan kunnen sites kiezen tussen vindbaarheid en training. Doet Google niets, dan verliest het toegang tot een flink deel van het web. Google zette met de core update van mei al vol in op AI Search, dus die keuze raakt de kern van het zoekbedrijf.