Cloudflare blokkeert AI-crawlers vanaf 15 september

Cloudflare draait de standaardinstellingen om en dwingt AI-bedrijven daarmee tot een keuze. Vanaf 15 september 2026 blokkeert het bedrijf standaard de zogeheten mixed-use crawlers op alle pagina’s met advertenties. Bots die zoekopdrachten, agent-taken en het verzamelen van trainingsdata door elkaar heen uitvoeren, komen er dan niet meer in tenzij de sitebeheerder dat zelf aanzet. TechCrunch en NBC News berichtten begin juli over de nieuwe koers.

Wat er op 15 september verandert

Cloudflare deelt AI-verkeer voortaan op in drie categorieën: zoekindexering, agent-gebruik en het ophalen van trainingsdata. Op pagina’s die advertenties tonen, en dat is het gros van de content bij nieuwsuitgevers, blijven zoekcrawlers welkom. Training- en agent-crawlers worden standaard geweigerd. De nieuwe standaard geldt voor nieuwe klanten, nieuwe sites van bestaande klanten en alle gratis gebruikers. Betalende klanten kunnen de instelling via hun dashboard terugzetten.

De aanleiding is deels technisch. Volgens Cloudflare bestaat ruim de helft van al het crawler-verkeer uit het opnieuw ophalen van pagina’s die niet zijn veranderd, wat bandbreedte en serverruimte kost zonder dat er iets nieuws tegenover staat. Topman Matthew Prince verwoordde de urgentie zo: “Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge.”

Van pay per crawl naar pay per use

De blokkade is niet het eindstation. Cloudflare bouwt zijn eerdere pay-per-crawl-model, waarbij een site geld vraagt zodra een bot een pagina ophaalt, om tot pay per use. Daarbij betaalt een AI-bedrijf pas wanneer de content daadwerkelijk waarde oplevert, bijvoorbeeld als een antwoord in een chatbot op die bron leunt. Voor de eerste versie werkt Cloudflare samen met Ceramic.ai en You.com.

Voor uitgevers is dat een poging om grip te krijgen op iets wat lang gratis werd meegenomen. De discussie speelt al langer, zoals bij de beelddeal tussen Getty Images en OpenAI en de groei van AI-chatbots als nieuwsbron. Ook slepende auteursrechtconflicten laten zien hoe scheef de verhouding tussen makers en AImodellen kan liggen.

Wat het voor AI-bedrijven betekent

OpenAI, Anthropic, Google en andere partijen moeten hun crawlers nu netjes uit elkaar trekken om toegang te houden. Wie zoeken, agent-taken en training onder één bot blijft draaien, verliest standaard toegang tot een groot deel van het advertentiegedreven web. Cloudflare handelt het verkeer af voor een fors deel van alle websites, dus de maatregel raakt breed. De timing valt bovendien samen met strengere toezichtskaders, zoals de handhaving van de EU AI Act, waardoor de druk op transparantie over databronnen verder oploopt.

Wat betekent dit

Cloudflare verschuift de standaard van “alles mag tenzij je het blokkeert” naar het omgekeerde. Voor uitgevers ontstaat er ruimte om betaald te worden voor wat AI-systemen daadwerkelijk gebruiken. Voor AI-bedrijven wordt schone, gescheiden dataverzameling geen luxe meer maar een voorwaarde voor toegang. De vraag is of concurrenten van Cloudflare volgen. Gebeurt dat, dan verschuift het gratis binnenhalen van webdata langzaam naar een markt met prijskaartjes en spelregels.