Veldnotities4 min. lezen

53% van de verzoeken die zich op zes websites GPTBot, ClaudeBot of PerplexityBot noemden, kwam ergens anders vandaan

De naam van een bot typt de bezoeker zelf. Het adres is het bewijs. Op de helft van de sites die we bekeken, was het meeste verkeer van AI-crawlers een vermomming, en op de andere helft bijna niets ervan.

We legden 64.222 verzoeken van AI-crawlers naast de eigen lijsten van de makers

Zijn de bezoeken van AI-crawlers in je logs echt? Een crawler stelt zich voor met een user agent, een regel tekst zoals “GPTBot/1.1”. Die regel kan iedereen sturen. OpenAI, Anthropic en Perplexity publiceren elk de IP-adressen die hun bots gebruiken, en een verzoek is alleen van hen als naam en adres overeenkomen.

Zes websites hebben Cloudflare aan Proofsource gekoppeld, geen van alle van ons. Voor elk verzoek dat een AI-crawler noemde, controleerden we het adres tegen de lijst die de maker publiceert. We namen 12 oktober tot en met 13 november 2026, 33 dagen, en vijf bots: GPTBot, OAI-SearchBot en ChatGPT-User van OpenAI, ClaudeBot van Anthropic en PerplexityBot. De aantallen zijn schattingen op basis van de steekproefdata van Cloudflare.

52,9% van de verzoeken zakte, en onder de crawlers zakte GPTBot het vaakst

Van de 64.222 verzoeken die een van de vijf bots noemden, kwamen er 33.964 van een adres dat de maker niet vermeldt: 52,9%. Per bot was het aandeel dat zakte 83,0% voor ChatGPT-User, 72,6% voor GPTBot, 61,0% voor ClaudeBot, 34,4% voor OAI-SearchBot en 34,1% voor PerplexityBot.

Googlebot, op dezelfde manier gecontroleerd tegen de lijsten van Google, zakte op dezelfde sites bij 20,7% van de verzoeken. Namen van AI-crawlers werden vaker vervalst dan die van Google, in elk geval hier.

Drie sites hadden vooral nepverkeer en drie waren bijna schoon

Het gemiddelde verbergt het echte verhaal. Op drie sites zakte 69%, 84% en 96% van de verzoeken van AI-crawlers voor de controle. Op de andere drie was dat 4%, 5% en 7%. Op de slechtste site deed ClaudeBot 251 bevestigde verzoeken en 7.144 die zakten.

Eén maatstaf voor “hoeveel verkeer van AI-bots nep is” zegt dus weinig. Je eigen site kan aan beide kanten zitten, en alleen een controle van je eigen verkeer vertelt je aan welke.

200 van de 253 gezakte adressen deden zich ook voor als bot van een ander bedrijf

Cloudflare geeft ons tot drie voorbeeldadressen per bot, site en dag. Zonder onze eigen servers zakten 253 voorbeeldadressen terwijl ze zich voordeden als een van de vijf bots. 200 daarvan deden zich bij een ander verzoek ook voor als bot van een ander bedrijf, en 168 als bots van drie of meer bedrijven. Eén adres gebruikte 12 verschillende botnamen van negen bedrijven.

Geen echte crawler doet dat. GPTBot komt van de lijst van OpenAI en Googlebot van die van Google. Een adres dat allebei is, is iemand die namen probeert tot er een doorkomt, meestal vanaf gehuurde cloudservers.

De lijsten missen wat echt verkeer, dus controleer elke lijst

De andere kant op is de controle niet perfect. Claude-User, de agent waarmee Claude een pagina leest waar een gebruiker naar vroeg, zakte op deze sites bij 97,5% van de verzoeken. Ongeveer de helft van de gezakte voorbeelden kwam uit 160.79.104.0/21, een bereik dat Anthropic op zijn pagina met API-IP-adressen opgeeft als bron van zijn uitgaande web fetch- en web search-aanroepen, en dat niet op zijn crawlerlijst staat.

Die bezoeken zijn heel waarschijnlijk echt, en een controle alleen tegen de crawlerlijst markeert ze als nep. Daarom hebben we Claude-User buiten de 52,9% gehouden. Controleer je met de hand, neem dan elk bereik dat een bedrijf voor zijn ophaaldiensten publiceert, niet alleen het crawlerbestand.

Wat wij zouden doen

  • Tel bezoeken van AI-crawlers op bevestigd adres, niet op naam. Een dashboard dat namen telt, kan voor meer dan de helft uit vermomming bestaan.
  • Gebruik de lijst van elke maker: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json plus de API-bereiken van Anthropic, en perplexity.ai/perplexitybot.json.
  • Laat je firewall bots op naam door, controleer dan ook het adres. De eigen documentatie van Perplexity toont een Cloudflare-regel die elke user agent koppelt aan zijn IP-bereiken.
  • Blokkeer een bot niet op naam vanwege wat bedriegers deden. De vervalsingen zijn niet de bot, en wie de echte OAI-SearchBot of PerplexityBot blokkeert, blijft buiten hun zoekresultaten.

Hoe Proofsource het laat zien

Als een site Cloudflare koppelt, controleert Proofsource het adres van elk verzoek van een AI-crawler tegen de lijst die de maker publiceert en toont het bevestigde en gezakte verzoeken apart voor elke bot. Bots waarvan de maker geen lijst publiceert, worden getoond als niet te controleren in plaats van als echt of nep geteld. Onze controle heeft het gat bij Claude-User dat hierboven staat beschreven, en we voegen de API-bereiken van Anthropic eraan toe.

Waar dit fout kan zitten

Zes sites is een kleine steekproef, en ze hebben Cloudflare aan een tool voor zichtbaarheid gekoppeld, dus ze lijken misschien niet op de gemiddelde site. De spreiding tussen ze telt meer dan de 52,9%.

Een lijst kan verouderd of onvolledig zijn, zoals Claude-User laat zien. Sommige gezakte verzoeken bij andere bots kunnen echt verkeer zijn van adressen die nog niet op de lijst staan. De adressen die zich als meerdere bedrijven voordeden, maken dat voor de meeste onwaarschijnlijk.

Onze eigen sitecontrole stuurt een paar verzoeken onder deze botnamen. Hooguit 300 kunnen in deze periode vallen; zonder al die verzoeken blijft er nog 52,7% over.

Verzoeken zijn niet onafhankelijk, en één drukke scraper kan het cijfer van een site verschuiven. Eén verslag van buiten, één nieuwe site over twee weken, vond 6 van de 33 geclaimde bezoeken van AI-assistenten echt. Dat is een andere site en een andere methode, en het wijst dezelfde kant op.

Waar de externe cijfers vandaan komen

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
Alle notities

Vragen

Zijn de bezoeken van AI-crawlers in mijn logs echt?

Controleer het adres, niet de naam. Op zes websites kwam van 12 oktober tot en met 13 november 2026 52,9% van de verzoeken die een bot van OpenAI, Anthropic of Perplexity noemden van adressen die die bedrijven niet publiceren. Het aandeel liep van 4% op de ene site tot 96% op een andere.

Hoe controleer ik of een GPTBot-verzoek echt van OpenAI kwam?

Leg het IP-adres van het verzoek naast de lijst die OpenAI publiceert op openai.com/gptbot.json. OpenAI publiceert aparte lijsten voor OAI-SearchBot en ChatGPT-User, Anthropic en Perplexity publiceren hun eigen lijsten, en Google documenteert reverse DNS en IP-lijsten voor zijn crawlers.

Moet ik AI-crawlers blokkeren die voor de controle zakken?

Blokkeer gerust de gezakte adressen, maar niet de botnaam. Wie OAI-SearchBot of PerplexityBot op naam blokkeert, houdt ook de echte crawler buiten, en volgens die bedrijven blijven je pagina's dan buiten hun zoekantwoorden.

Je eigen cijfers verslaan onze beste post.

De shortlist in jouw categorie wordt nu geschreven, of iemand deze pagina leest of niet. Een gratis proefperiode, 25 vragen op vier engines vandaag, laat zien of jouw naam erop staat.

100 antwoorden. 25 Prompts/vraag. Top-AI-engines. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI