Wat is GPTBot?
GPTBot is de webcrawler van OpenAI die content verzamelt die gebruikt kan worden om de generatieve AI-basismodellen van OpenAI te trainen. Het is een van de vier user agents die OpenAI documenteert, en de enige die als taak training heeft. Blokkeer je hem, dan vertel je OpenAI je pagina’s niet voor training te gebruiken; het haalt je niet uit ChatGPT search, want dat is de taak van OAI-SearchBot.
Wat is de user-agentstring van GPTBot?
GPTBot maakt zich bekend met het producttoken GPTBot, en dat token moet een robots.txt-groep noemen. OpenAI merkt op dat versienummers kunnen veranderen, dus match in je logs op het token in plaats van op de hele string. Het zegt ook dat het een robots.txt-markering aan de string kan toevoegen als GPTBot je robots.txt ophaalt, zodat die verzoeken te onderscheiden zijn.
Een naam in een logregel kan door elke scraper worden gekopieerd. Wil je bevestigen dat een verzoek echt is, vergelijk het IP dan met de lijst die OpenAI publiceert op openai.com/gptbot.json.
Dit is de volledige string die de documentatie van OpenAI geeft (crawlerdocumentatie van OpenAI, gelezen op 15 okt. 2026):
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotWat doet GPTBot, en wat niet?
GPTBot crawlt content die kan worden gebruikt om de generatieve AI-basismodellen van OpenAI te trainen, en meer doet het volgens OpenAI niet. Blokkeer je hem in robots.txt, dan geef je aan dat de content van je site niet voor die training mag worden gebruikt.
Wat hij niet doet, weegt zwaarder voor je zichtbaarheid:
- Hij bepaalt niet of je pagina’s in ChatGPT search verschijnen. OpenAI koppelt dat aan OAI-SearchBot.
- Hij is niet de agent die een pagina opent als iemand ChatGPT ernaar vraagt. Dat is ChatGPT-User.
- Zijn regel staat los van de andere: volgens OpenAI werkt elke robots.txt-instelling op zichzelf.
- Sta je zowel GPTBot als OAI-SearchBot toe, dan kan OpenAI volgens eigen zeggen één crawl voor beide doelen gebruiken.
Hoe verschilt GPTBot van OAI-SearchBot en ChatGPT-User?
De drie doen verschillende dingen, dus één regel in robots.txt kan de andere niet vervangen. Dit is de verwarring achter de populaire regel die GPTBot blokkeert in de veronderstelling dat een site daarmee uit ChatGPT blijft; GPTBot blokkeren haalt je niet uit ChatGPT.
| Agent | Taak | Als je hem blokkeert |
|---|---|---|
| GPTBot | Crawlt content die kan worden gebruikt om de basismodellen van OpenAI te trainen | Geeft aan dat je content niet voor training mag worden gebruikt |
| OAI-SearchBot | Toont websites in de zoekfuncties van ChatGPT | Niet getoond in de antwoorden van ChatGPT search, al kunnen navigatielinks nog verschijnen |
| ChatGPT-User | Bezoekt een pagina als een gebruiker het ChatGPT of een custom GPT vraagt, of via GPT Actions | Volgens OpenAI gelden robots.txt-regels mogelijk niet, omdat een gebruiker het bezoek startte |
| OAI-AdsBot | Controleert de veiligheid van landingspagina’s die als advertentie in ChatGPT zijn ingediend | Niet relevant tenzij je ChatGPT-advertenties draait; hij bezoekt alleen ingediende advertentiepagina’s |
Hoe blokkeer of sta je GPTBot toe in robots.txt?
Noem GPTBot in een eigen groep in de robots.txt in de root van je site. Een gebruikelijke keuze is GPTBot blokkeren en OAI-SearchBot toestaan: nee tegen training, ja tegen ChatGPT search.
Volgens OpenAI kan het ongeveer 24 uur duren voordat wijzigingen in robots.txt in de zoekresultaten zichtbaar zijn. Een regel kan ook aan de rand worden overschreven: een bot-instelling in een CDN of firewall kan een agent blokkeren die je robots.txt toestaat. Controleer beide met de gratis AI-crawlercheck.
# Nee tegen training
User-agent: GPTBot
Disallow: /
# Ja tegen ChatGPT search
User-agent: OAI-SearchBot
Allow: /Wat betekent dit voor bronvermeldingen in ChatGPT?
In het openbare Tesla-voorbeeld (4 okt 2026) vermeldde ChatGPT de eigen site van het merk veel vaker als bron dan de andere engines: tesla.com 12 keer op 93 bronvermeldingen bij 25 koopvragen, ongeveer 13%, terwijl de andere drie engines samen het 5 keer op 915 vermeldden.
Die links komen uit de zoekfuncties van ChatGPT, die OpenAI koppelt aan OAI-SearchBot, niet aan GPTBot. GPTBot blokkeren laat ze ongemoeid; OAI-SearchBot blokkeren niet. Zie hoe ChatGPT de merken kiest die het noemt.
Veelgestelde vragen over GPTBot
Haalt het blokkeren van GPTBot mijn site uit ChatGPT?
Nee. GPTBot is de trainingscrawler. Volgens OpenAI worden sites die OAI-SearchBot weigeren niet getoond in de antwoorden van ChatGPT search; GPTBot heeft die rol niet. Elke robots.txt-instelling staat op zichzelf.
Verwijdert het blokkeren van GPTBot content die OpenAI al heeft verzameld?
De crawlerpagina van OpenAI beschrijft de GPTBot-regel als een signaal dat je content niet voor training mag worden gebruikt. Over content die vóór het toevoegen van de regel is verzameld, zegt ze niets, dus ga er niet van uit dat dat gebeurt.
Hoe weet ik dat een verzoek echt van GPTBot kwam?
Vergelijk het bron-IP met de lijst die OpenAI publiceert op openai.com/gptbot.json. Een user-agentstring alleen kan door elke scraper worden gekopieerd.
Is GPTBot hetzelfde als ChatGPT-User?
Nee. ChatGPT-User bezoekt een pagina als iemand ChatGPT of een custom GPT iets vraagt, en volgens OpenAI wordt hij niet gebruikt voor automatisch crawlen. Omdat gebruikers die bezoeken starten, gelden robots.txt-regels er mogelijk niet voor.
Gerelateerde termen
- OAI-SearchBot
OAI-SearchBot is de crawler van OpenAI die websites zichtbaar maakt in de zoekfuncties van ChatGPT; sites die hem uitsluiten, worden niet getoond in de zoekantwoorden van ChatGPT.
- ClaudeBot
ClaudeBot is de webcrawler van Anthropic die webcontent verzamelt die kan bijdragen aan het trainen van de Claude-modellen van Anthropic.
- PerplexityBot
PerplexityBot is de crawler van Perplexity die webpagina’s indexeert, zodat ze in de zoekresultaten van Perplexity getoond en gelinkt kunnen worden.
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
