TollBit
AI-bots negeren robots.txt op Europese sites
15 procent van de AI-bots op Europese sites haalt pagina’s op die via robots.txt zijn afgeschermd, blijkt uit het State of the Bots-rapport van TollBit.
15 procent van de AI-bots op Europese sites haalt pagina’s op die via robots.txt zijn afgeschermd, blijkt uit het State of the Bots-rapport van TollBit.