同じ172件の購買者の質問に、API と chatgpt.com の両方が答えていた
Proofsource は、ブランドの市場にいる訪問者が見るとおりに、ログアウト状態の ChatGPT のページを DataForSEO のスクレイパー経由で読み取ります。その読み取りに失敗した場合は、代わりに OpenAI API が答えます。Responses API でウェブ検索をオンにした gpt-5-mini です。2026年10月4日から18日までの ChatGPT の回答5,119件のうち428件がこれに当たり、すべて10月8日から12日の間でした。
これにより自然な比較が成り立ちました。API が答え、かつ chatgpt.com が36時間以内に同じ質問に答えたすべての購買者の質問（ブランド名を含まない質問）を取り出しました。172の質問、18のワークスペースで、ほとんどは米国またはインドの訪問者として質問したものです。2つの回答の間隔の中央値は24時間でした。
1日違いは同じ瞬間ではなく、ChatGPT は日によって自分の回答を変えます。そこでベースラインも必要でした。同じ2週間に62のワークスペースで、chatgpt.com が2日連続で答え、かつ本文が変わった813件の購買者の質問です。このベースラインを上回る差は、日付ではなく経路によるものです。
ブランドの言及率は一致した：API で19.8%、chatgpt.com で21.5%
API は172件中34件でブランドに言及し、chatgpt.com は37件で言及しました。2つの回答でブランドの判定が分かれたのは19件、11.0%で、chatgpt.com が1日後の自分と食い違ったのは4.6%でした。つまり API は質問ごとにはノイズを増やしますが、平均すると近い値に落ち着きました。
また、API はより多くの名前を挙げました。API の回答が言及した企業は平均8.4社、chatgpt.com は6.0社で、両者の名前の重なりは33%でした。chatgpt.com 同士の1日違いでは48%です。ブランドが追跡している競合に限ると、重なりは66%と76%でした。
情報源は一致しなかった：API が引用したサイトのうち、ChatGPT の回答に出たのは22%
API の172件の回答は1,047のサイトを引用しました（回答ごとに1回として集計）。そのうち同じ質問への chatgpt.com の回答でも引用されたのは229件、21.9%だけでした。翌日に chatgpt.com が再び答えたときは、48.6%のサイトが繰り返し登場しました。両方が何かを引用した170件の質問のうち40件では、API と chatgpt.com に共通するサイトは1つもありませんでした。
構成も異なりました。API は172件中41件の回答で Reddit を引用し（23.8%、95%区間は18.1%〜30.7%）、chatgpt.com は5件（2.9%）でした。Wikipedia は API が12件で引用し、chatgpt.com はゼロでした。chatgpt.com がこれらのサイトを引用すれば、私たちのスクレイパーは両方とも取得します。今回の質問では、ほとんど引用しなかったということです。
API はまた、より多く検索しました。回答あたり4.5回で、chatgpt.com は3.1回です。長さはほぼ同じで、中央値は583語と587語でした。
経路ごとに回答を1件ずつ取った Surfer は、さらに大きな差を見つけた
2026年8月4日にデータを収集した Surfer の調査では、1,000件の Prompts を5つの製品で両方の方法により実行しました。ChatGPT ではドメインの重なりが4.8%で、API の回答は約2倍の長さだったと報告しています。同調査の注記によると各 Prompt のサンプルは1回のみで、差の一部は ChatGPT 自身のばらつきによるものです。
私たちの数値はそれほど劇的ではありませんが、同じ方向を示しています。同じ経路のベースラインと比べると、ブランドの言及率は API でもおおむね正しく出せる部分で、引用リストは誤ってしまう部分です。
ツールの情報源を信用する前に確認すべきこと
質問は4つです。ベンダーはそれぞれ1行で答えられるはずです。
- ChatGPT の回答はどこから来ているのか。API か、訪問者が見るページか。エンジンごとに確認しましょう。
- API なら、どのモデルで、ウェブ検索はオンかオフか。OpenAI のドキュメントによると、検索するかどうかはモデルが判断し、検索コンテキストのサイズやドメインフィルターなど、chatgpt.com の訪問者が触れることのない設定は呼び出し側が決めます。
- フォールバックの回答にはラベルが付いているか。2つの経路を混ぜたグラフは、切り替えを隠してしまいます。
- どうしても使うなら、API のデータは大まかな言及率に使いましょう。その引用からアウトリーチのリストを作ってはいけません。
Proofsource での扱い方
保存されたすべての回答には、それを書いたモデルが記録され、回答の画面にも表示されます。そのためフォールバックの回答は chatgpt.com のものとして扱われず、gpt-5-mini と表示されます。こうしたフォールバックの回答は、実行された日の ChatGPT の数値に含まれます。だからこそ、どれだけずれるかを測定しました。
この分析が誤っている可能性がある点
API 側は、私たちの設定による1つのモデルです。gpt-5-mini、推論の強度は低、検索コンテキストは小です。より大きなモデルや異なる設定を使うツールでは、より近い結果にも、より離れた結果にもなりえます。
API が動いたのはスクレイパーが失敗したときだけで、今回の組み合わせでは10月8日と9日でした。失敗が特定の質問に集中していたなら、この組み合わせは無作為抽出とは言えません。ベースラインはより広いワークスペースから取っていますが、同じ18のワークスペースに限っても、サイトの重なりは31.7%、名前の重なりは44.2%でした。
chatgpt.com は10月8日に GPT-5.6 から GPT-6 に切り替わったため、172件の chatgpt.com の回答のうち41件は新しいモデルによるものです。重なりは切り替えの前後で同程度でした。
サイトはドメイン単位で比較しているため、同じサイトの異なる2ページも一致として数えます。ページ単位の重なりはもっと低くなるでしょう。名前と引用は独自の抽出によるもので、取りこぼしは両方の経路で同じように数えられます。
