Tínhamos a API e o chatgpt.com respondendo às mesmas 172 perguntas de compra
O Proofsource lê o ChatGPT pela página sem login, por meio do scraper da DataForSEO, como um visitante no mercado da marca veria. Quando essa leitura falha, a API da OpenAI responde no lugar: gpt-5-mini pela Responses API com busca na web ativada. Isso aconteceu em 428 de 5.119 respostas do ChatGPT entre 4 e 18 de outubro de 2026, todas entre 8 e 12 de outubro.
Isso criou uma comparação natural. Pegamos todas as perguntas de compra (perguntas que não mencionam a marca) em que a API respondeu e o chatgpt.com respondeu à mesma pergunta em até 36 horas. Foram 172 perguntas, 18 workspaces, quase todas feitas como visitante dos EUA ou da Índia. O intervalo mediano entre as duas respostas foi de 24 horas.
Um dia de diferença não é o mesmo momento, e o ChatGPT muda as próprias respostas de um dia para o outro. Por isso também precisávamos de uma linha de base: 813 perguntas de compra em que o chatgpt.com respondeu em dois dias seguidos e o texto mudou, de 62 workspaces nas mesmas duas semanas. Qualquer diferença maior que essa linha de base é do canal, não do calendário.
A taxa de marca se manteve: 19,8% na API, 21,5% no chatgpt.com
A API mencionou a marca em 34 das 172 perguntas. O chatgpt.com mencionou em 37. As duas respostas discordaram sobre a marca em 19 perguntas, 11,0%, enquanto o chatgpt.com discordou de si mesmo um dia depois em 4,6%. Ou seja, a API adiciona ruído pergunta a pergunta, mas na média chegou perto.
Ela também mencionou mais nomes. As respostas da API mencionaram 8,4 empresas em média, contra 6,0 no chatgpt.com, e a sobreposição entre os dois conjuntos de nomes foi de 33%, contra 48% do chatgpt.com com um dia de diferença. Para os concorrentes que a marca acompanha, a sobreposição foi de 66% contra 76%.
As fontes, não: 22% dos sites citados pela API apareceram na resposta do ChatGPT
As 172 respostas da API citaram 1.047 sites (contados uma vez por resposta). Só 229 deles, 21,9%, também foram citados na resposta do chatgpt.com à mesma pergunta. Quando o chatgpt.com respondeu de novo no dia seguinte, 48,6% dos seus sites se repetiram. Em 40 de 170 perguntas em que os dois citaram algo, a API e o chatgpt.com não tiveram nenhum site em comum.
A mistura também foi diferente. A API citou o Reddit em 41 de 172 respostas (23,8%, intervalo de 95% de 18,1% a 30,7%) e o chatgpt.com em 5 (2,9%). A API citou a Wikipédia em 12 respostas e o chatgpt.com em nenhuma. Nosso scraper captura os dois sites quando o chatgpt.com os cita; ele só raramente fez isso nessas perguntas.
A API também buscou mais, 4,5 vezes por resposta contra 3,1. O tamanho foi parecido, mediana de 583 palavras contra 587.
A Surfer encontrou uma diferença maior com uma resposta por canal
O estudo da Surfer, com dados coletados em 4 de agosto de 2026, rodou 1.000 Prompts em cinco produtos pelos dois caminhos. Para o ChatGPT, relatou 4,8% de sobreposição de domínios e respostas da API com cerca do dobro do tamanho. As próprias ressalvas do estudo dizem que cada Prompt foi amostrado uma vez, então parte da diferença é o ChatGPT discordando de si mesmo.
Nossos números são menos dramáticos e apontam na mesma direção. Medida contra uma linha de base do mesmo canal, a taxa de marca é a parte que uma API acerta mais ou menos, e a lista de citações é a parte que ela erra.
O que perguntar a uma ferramenta antes de confiar nas fontes dela
Quatro perguntas, e um fornecedor deveria conseguir responder cada uma em uma linha.
- De onde vem a resposta do ChatGPT: da API ou da página que o visitante vê? Pergunte por mecanismo.
- Se for a API, qual modelo, com busca na web ligada ou desligada? A documentação da OpenAI diz que o modelo decide se vai buscar, e quem chama define controles como o tamanho do contexto de busca e filtros de domínio, que um visitante do chatgpt.com nunca toca.
- Uma resposta de contingência vem identificada? Um gráfico que mistura dois canais esconde a troca.
- Use dados da API para uma taxa de menção aproximada, se precisar. Não monte uma lista de prospecção a partir das citações dela.
Como o Proofsource lida com isso
Cada resposta armazenada guarda o modelo que a escreveu, e a tela da resposta mostra isso, então uma resposta de contingência aparece como gpt-5-mini em vez de se passar por chatgpt.com. Essas respostas de contingência entram nos números do ChatGPT nos dias em que rodaram, e é por isso que medimos o quanto elas se desviam.
Onde isto pode estar errado
O lado da API é um único modelo com as nossas configurações: gpt-5-mini, esforço de raciocínio baixo, contexto de busca baixo. Uma ferramenta que chama um modelo maior, ou com outras configurações, pode ficar mais perto ou mais longe.
A API só rodou quando o scraper falhou, em 8 e 9 de outubro para esses pares. Se essas falhas atingiram perguntas específicas, os pares não são uma amostra aleatória. A linha de base vem de um conjunto maior de workspaces; restrita aos mesmos 18, ainda mostrou 31,7% de sobreposição de sites e 44,2% de sobreposição de nomes.
O chatgpt.com passou do GPT-5.6 para o GPT-6 em 8 de outubro, então 41 das 172 respostas do chatgpt.com vieram do modelo mais novo. A sobreposição foi parecida antes e depois da troca.
Os sites são comparados por domínio, então duas páginas diferentes do mesmo site contam como coincidência. A sobreposição por página seria menor. Nomes e citações vêm da nossa própria extração, e uma falha conta igual nos dois canais.
