robots.txt
AI-bedrijven steunen één robots.txt-regel tegen training
OpenAI, Google, Microsoft en Anthropic gaan de token __usage_ai-training in robots.txt respecteren. Zo werkt de opt-out en dit regelt hij niet.
AI-bots negeren robots.txt op Europese sites
15 procent van de AI-bots op Europese sites haalt pagina’s op die via robots.txt zijn afgeschermd, blijkt uit het State of the Bots-rapport van TollBit.
