AIクローラーがサイトに到達し、内容を読み取れるか確認しましょう。

Proofsource の Crawler Access は、AI が自社サイトから学習できるかどうかを決める2点をチェックします。GPTBot、ClaudeBot、PerplexityBot などの AI クローラーが許可され実際にページを受け取れているか、そして受け取ったページにあなたの文章が含まれているか、それとも空の JavaScript の殻なのか、です。

自分のブランドをスキャンデモを依頼

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。カード不要・営業電話なし

Acme /Webサイト /クローラーのアクセス

イメージ

robots.txtすべて許可すべてのAIクローラーを許可

サーバーの応答5件中2件が拒否GPTBot と ClaudeBot に 403 が返されました

ボットが読める文言2,140語中38語ページがJavaScriptで描画される

クローラー	robots.txt	サーバーの応答
GPTBot（OpenAI の学習用）	許可	拒否（403）
OAI-SearchBot（ChatGPT 検索）	許可	提供済み（200）
ChatGPT-User（ChatGPT のブラウジング）	許可	提供済み（200）
ClaudeBot (Anthropic)	許可	拒否（403）
PerplexityBot (Perplexity)	許可	提供済み（200）

robots.txt にあるすべてのAIクローラーへの判定。

Proofsource は robots.txt を読み、10種類のAIクローラーについて判定を示します。どのクローラーが何をするのかを知ることが重要です。OAI-SearchBot と PerplexityBot はリアルタイムの回答のためにページを取得し、GPTBot と Google-Extended は学習データを左右します。つまり、AI検索から消えることなく学習だけをブロックできます。

GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Applebot-Extended、CCBot、Bytespider
許可または不許可。ファイルが読めない場合は「判定不可」とし、推測はしません
Google-Extended は独立したクローラーではなく robots.txt のトークンで、トークンとして確認されます

クローラーのアクセス /robots.txt

イメージ

トークン	用途	判定
GPTBot	OpenAIのモデル学習	不許可
OAI-SearchBot	ChatGPT 検索の結果	許可
ClaudeBot	Anthropic のクロール	許可
PerplexityBot	Perplexity の回答	許可
Google-Extended	Gemini と Vertex AI の学習	不許可

robots.txt はお願いにすぎません。誰を入れるかを決めるのはサーバーです。

robots.txt で GPTBot を許可していても、CDN のボットファイアウォールが403を返すことがあります。Proofsource はホームページを GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot としてリクエストし、サーバーが実際に返した内容を記録します。robots.txt チェッカーだけでは、すべて許可と表示されてしまうでしょう。

クローラーごとに、提供・拒否・不明
各クローラーが受け取ったステータスコード
robots.txtのチェックでは見落とすCDNやファイアウォールによるブロックを検出

クローラーのアクセス /サーバーチェック

イメージ

User-agent: GPTBot · Allow: /
GPTBot として GET / → 403 Your request was blocked.

robots.txt は許可した。エッジは拒否した。

原因は robots.txt ではなくCDNのボット設定でした。robots.txt チェッカーだけでは、すべてのクローラーが許可されていると報告されていたでしょう。

ボットがページの内容を実際にどこまで読めるかを確認できます。

多くのAIクローラーは生のHTMLを読み、JavaScriptを実行しません。Proofsource は、ブラウザがレンダリングする文言と生のHTML内の文言を比較します。クライアント側でレンダリングされるページは、ブラウザでは数千語を表示しても、ボットには数十語しか見えないことがあります。JavaScriptの実行後にしかコンテンツが表示されない場合、ほとんどのAIクローラーはそれを目にしません。

ページごとの、レンダリング後の単語数と生の HTML の単語数
本文、H1、クロール可能なリンクがないページを検出
サーバーレンダリングやプリレンダリングを公開したら再チェック

クローラーのアクセス /ボットに見えるもの

イメージ

ブラウザでのレンダリング結果と生の HTML の比較ページ上の語数

ブラウザ（JavaScript オン）2,140

生の HTML（ほとんどのボットが読むもの）38

チェック	結果
HTML内の本文	不足
HTML 内の H1	不足
クローラーがたどれるリンク	見つかりません

AIがあなたを読めなければ、あなたを推薦することもできません。

気づかれないブロックを見つける

CDNのボット設定は、チームの誰も気づかないうちにAIクローラーを締め出すことがあります。サーバーチェックで判明します。

文章を見えるようにする

JavaScript でしか表示されないページは、ほとんどのAIクローラーにとってほぼ空白です。レンダリングチェックで、その程度を測定します。

学習はブロックし、検索は残す

クローラーごとの判定で、どのAIシステムを受け入れているかが正確にわかります。学習のブロックが、うっかりではなく意図した選択になります。

購買者がする質問

GPTBot が自分のウェブサイトにアクセスできるか確認するには？

2点を確認してください。1つ目はrobots.txtで、GPTBotを不許可にしていないこと。2つ目はサーバーで、GPTBotのユーザーエージェントでページをリクエストし、CDNやファイアウォールからの403ではなく200が返ることを確かめます。Proofsource は両方をチェックし、ページに読み取れるテキストがあることも確認します。

GPTBot と OAI-SearchBot の違いは？

GPTBot は OpenAI のモデル学習に使われる可能性のあるコンテンツを収集します。OAI-SearchBot は ChatGPT の検索結果のためにページを取得し、ChatGPT-User はユーザーの会話で必要になったときにページを取得します。GPTBot をブロックしても ChatGPT 検索から外れることはありませんが、OAI-SearchBot をブロックすると外れます。

Google-Extended とは？

Google-Extended は独立したクローラーではなく robots.txt のトークンです。これを禁止すると、Gemini と Vertex AI のモデル学習にコンテンツを使わないよう Google に伝えられます。Google 検索には影響しません。

AIクローラーは JavaScript のサイトを読めますか？

多くは読めません。いくつかのAIクローラーはサーバーが返す生のHTMLだけを読み、JavaScriptを実行しないため、クライアント側でレンダリングされるページはほぼ空に見えることがあります。サーバーサイドレンダリングやプリレンダリングを使えば、テキストがHTMLに入り、どのクローラーでも読めるようになります。

なぜ自分のサイトが知らないうちにAIクローラーをブロックしてしまうのか

CDNやセキュリティ事業者はボットをブロックする設定を提供しており、AIの学習用クローラーを初期設定で、またはスイッチ一つでブロックするものもあります。ブロックはサーバー側で起きるため、robots.txtではクローラーが許可されたままに見えます。クローラーとしてリクエストして初めて分かります。

Proofsource を無料で試せますか？

はい。200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 ChatGPT, Perplexity, Claude と Google AI Overviewsで25件の購買者の質問、今日と明日。カード不要。 2回目のスキャン後はスキャンが停止し、回答はアカウントに残ります。

Proofsource の料金は？

誰にでも同じ料金表:プランは月額$9から（ChatGPTで質問5件、毎週）。各ブランドに毎日（ブランドあたり月額$28）または毎週 ($7)の料金がかかり、これに選んだ各エンジンの質問ごとの料金が加わります。どのプランでもチームメンバーは無制限です。超過料金はありません。