Acompanhe a mudança e comprove o que a provocou.
Uma correção conta quando as respostas se movem mais do que o ruído. Este capítulo mostra como medir de novo de forma justa, como separar uma mudança real de uma oscilação, quanto tempo uma correção leva para aparecer e o plano de quatro semanas com que o guia termina.
Capítulo 6 de 6 do guia de visibilidade em IA
O que torna justa uma comparação de antes e depois?
Meça a mesma coisa duas vezes: as mesmas perguntas, nos mesmos mecanismos, na mesma frequência, contra a mesma lista congelada de concorrentes (capítulo 3). Se você muda o conjunto de perguntas entre uma rodada e outra, está comparando duas amostras diferentes; comece as perguntas novas como uma série própria.
Depois, compare as rodadas pergunta por pergunta. Checar se dois intervalos de 95% se sobrepõem é muito mais rigoroso do que parece: Payton, Greenstone e Schenker mostraram em 2003 que dois intervalos assim, vindos de populações idênticas, se sobrepõem em mais de 99% das vezes; ou seja, o teste de sobreposição funciona como um teste de 1% e engole quedas reais. Em 200 perguntas, uma queda de 42% para 30% mostra intervalos de 95% sobrepostos, mas um teste padrão de duas proporções dá p = 0,012. Se 30 perguntas deixaram de mencionar você e 6 passaram a mencionar, o teste pareado de McNemar sobre essas viradas dá p de cerca de 0,00006 (o exemplo completo).
Com que frequência dois intervalos de 95% se sobrepõem quando nada mudou, o que faz da sobreposição um teste fraco para detectar mudança.
Payton, Greenstone e Schenker, 2003Mudanças em uma única resposta que se reverteram no dia seguinte, em 40 perguntas de compra em quatro mecanismos.
5 a 13 de out. de 2026Respostas do ChatGPT, em uma auditoria, que não fizeram nenhuma busca na web; nenhuma página recente poderia tê-las alcançado.
Auditoria de 26 de set. de 2026Essa queda é real ou só uma oscilação?
Espere para ver se ela se mantém. No nosso monitoramento diário, 47% das mudanças em uma única resposta tinham se revertido um dia depois, e, quando conseguimos acompanhar uma mudança por mais dois dias, ela se manteve nos três dias em 36,7% das vezes. Um concorrente monitorado marcou 75% numa segunda-feira e 45% na sexta da mesma semana, o que parece uma queda de 30 pontos; ao longo da semana ele foi mencionado em 89 de 140 respostas, 63,6%, e nada tinha caído (o estudo de frequência).
Aja sobre uma mudança quando ela se mantiver por dois ou três dias, ou quando os intervalos de duas leituras se separarem. Um alerta que dispara a cada cruzamento dispara o tempo todo com números tão ruidosos.
Quanto tempo até uma correção aparecer?
Depende de qual metade da resposta você mudou. Mecanismos que pesquisam a web ao vivo, como Perplexity, a busca do ChatGPT e Google AI Overviews, podem refletir uma mudança poucos dias depois de um novo rastreamento; o Google diz que um novo rastreamento pode levar de alguns dias a algumas semanas. Respostas construídas a partir do treinamento de um modelo só mudam quando sai um modelo novo, o que pode levar meses, e nenhum fornecedor publica esse cronograma.
Então, antes de julgar o trabalho de um mês, confira se as respostas que você está lendo chegaram a pesquisar. Em uma auditoria das nossas próprias rodadas no ChatGPT, 409 de 481 respostas não fizeram nenhuma busca na web, e nada publicado na semana anterior poderia ter aparecido nelas (os primeiros 30 dias).
Como é um plano de quatro semanas?
- Semana 1, linha de base. Escolha suas perguntas, pergunte a cada mecanismo, registre quem é mencionado e o que é citado (capítulo 2). Rode duas vezes, com um dia de intervalo.
- Semana 2, acesso. Teste cada bot nas suas páginas principais e corrija bloqueios de CDN e conteúdo que só existe em JavaScript (capítulo 4).
- Semana 3, identidade e fontes. Publique em todo lugar a sua definição em uma frase e procure as cinco páginas mais citadas que deixam você de fora (capítulo 5).
- Semana 4, nova medição. Faça as mesmas perguntas nos mesmos mecanismos. Mantenha o que se moveu além do intervalo; repense o que não se moveu.
Como mostrar a mudança para outra pessoa?
- Relate cada mecanismo separadamente, cada taxa com seu intervalo e o número de respostas por trás dela.
- Ligue cada número às respostas que ele conta, para que qualquer pessoa leia o que o mecanismo realmente disse.
- Diga o que mudou do seu lado e quando, ao lado das datas em que as respostas se moveram.
- Relate também as perguntas que não se moveram. Um relatório só com as vitórias não é prova.
Mais em veja as respostas de IA por trás da sua visibilidade e monitoramento diário da visibilidade em IA.
Continue lendo
Todos os capítulos
Leitura relacionada
- Payton, Greenstone e Schenker: Overlapping confidence intervals or standard error intervals, Journal of Insect Science 3:34 (2003) pmc.ncbi.nlm.nih.gov/articles/PMC524673/
- NIST: McNemar test, Dataplot reference manual www.itl.nist.gov/div898/software/dataplot/refman1/auxillar/mcnemar.htm
- Google Search Central: Ask Google to recrawl your URLs developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
- OpenAI Help Center: Searching the web with ChatGPT help.openai.com/en/articles/9237897-searching-the-web-with-chatgpt
Os números do Proofsource linkam para o post ou estudo que os mediu, com datas e método. Avise a gente se algo aqui estiver desatualizado.
Descubra onde a IA deixa você de fora. E corrija.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
