AI-crawlers
Cloudflare zet AI-crawlers standaard buiten de deur
Vanaf 15 september 2026 blokkeert Cloudflare AI-training- en agentcrawlers standaard op pagina’s met advertenties. Ook Googlebot komt daardoor in de knel.
AI-bots negeren robots.txt op Europese sites
15 procent van de AI-bots op Europese sites haalt pagina’s op die via robots.txt zijn afgeschermd, blijkt uit het State of the Bots-rapport van TollBit.
Cloudflare blokkeert AI-crawlers vanaf 15 september
Cloudflare wijzigt vanaf 15 september 2026 de standaard: mixed-use AI-crawlers worden op advertentiepagina’s geblokkeerd. Wat dit betekent voor uitgevers en AI-bedrijven.