OpenAI-agents kunnen je site blokkeren zonder dat je het ziet

Wie wil weten of ChatGPT een website kan openen, kijkt meestal naar robots.txt en de serverlogs. Volgens een analyse in Search Engine Journal is dat niet genoeg. OpenAI gebruikt een interne controle, in de code “Aura” genoemd, die bepaalt of de browsetools van het bedrijf een site mogen bezoeken. Staat een domein op de lijst, dan komt er geen enkel verzoek binnen.

Een check die vóór het bezoek plaatsvindt

Dan Taylor, oprichter van het Britse bureau 10 Spurs, beschrijft in het stuk van 29 oktober hoe hij de blokkade bij een klant ontdekte. Codex Browser Use en de live zoekfunctie van ChatGPT weigerden de site te openen met de melding “Browser use is not permitted on [domein]”. Elders verscheen de tekst “The site-safety policy blocks this action”. De controle loopt volgens Taylor via een niet-gedocumenteerd endpoint op chatgpt.com (backend-api/aura/site_status) en een blokkadebesluit blijft 24 uur lokaal bewaard. Een Chrome-instelling om de site altijd toe te staan hielp niet.

Aura staat los van de gewone crawlers. GPTBot, OAI-SearchBot en ChatGPT-User volgen hun eigen regels, die OpenAI publiek documenteert. Dat levert een vreemd beeld op: de trainingscrawler van OpenAI haalde in dertig dagen nog zo’n 5.000 keer met succes pagina’s op, terwijl de agents de site niet in mochten. De crawler van Google kwam in dezelfde periode 477.000 keer langs, die van Anthropic 564.000 keer.

Geen spoor in de serverlogs

Het lastige is dat een blokkade aan de kant van OpenAI niets achterlaat. Weert je eigen firewall of Cloudflare een bot, dan zie je een 403, een challengepagina of een WAF-melding. Bij Aura vertrekt het verzoek nooit. Taylors klant had robots.txt volledig open staan en concurrerende platforms laadden in dezelfde sessie gewoon. Weken later waren alle vijf geteste URL’s nog geblokkeerd, van het hoofddomein tot losse artikelen.

Waarom een domein op de lijst belandt, weet niemand. De hulppagina van OpenAI over ChatGPT agent zegt alleen dat agents om redenen van beveiliging, veiligheid en compliance via een wereldwijde blocklist van sommige sites worden geweerd. Een supportmedewerker beloofde Taylor de blokkade te beoordelen “to determine whether it’s expected”. Een formele bezwaarprocedure, zoals Google die webmasters biedt, bestaat niet.

Wat je als site-eigenaar kunt doen

Taylor raadt aan dezelfde URL’s te testen in ChatGPT, in de cloudbrowser en in Codex, met de site van een concurrent als controle. Krijgen de crawlers van OpenAI wel nette 2xx-antwoorden terwijl de agents geweigerd worden, dan zit het probleem bij OpenAI. Leg foutmeldingen vast met tijdstip en screenshots en open een supportcase. Heb je een advertentie- of enterprisecontract, klop dan ook bij die contactpersoon aan. Omzeilen is geen optie, want de gebruiksvoorwaarden van OpenAI verbieden het ontwijken van veiligheidsmaatregelen.

Wat betekent dit

AI-agents worden een eigen bezoekersstroom. ChatGPT kan inmiddels je tabbladen in Chrome bedienen, Wikimedia betrapte OpenAI-agents eerder op wikibewerkingen en Reddit zag zijn Google-verkeer zo hard teruglopen dat het platform grotendeels achter een inlog verdwijnt. Ook Google duwt bezoekers steeds vaker richting AI Mode. Valt je site buiten het bereik van de OpenAI-agents, dan haalt de assistent zijn informatie bij een concurrent of een tweedehands bron. Je merkt het zelf niet.

OpenAI investeert zichtbaar in toezicht op zijn eigen agents. Een dashboard voor sitebeheerders, vergelijkbaar met Google Search Console, zou daar logisch bij passen. Tot dat er is, blijft periodiek zelf testen de enige manier om te weten of ChatGPT je site nog kan zien.