Como o Proofsource mede a visibilidade em IA.
O Proofsource mede a visibilidade em IA como a parcela de respostas reais de IA que mencionam sua marca, perguntadas do jeito que seus compradores perguntam, em ChatGPT, Perplexity, Claude e Google AI Overviews. Toda porcentagem traz um intervalo de Wilson de 95%, todo número abre para as respostas por trás dele, e números que ainda não conseguimos sustentar com evidência suficiente são omitidos, não estimados.
Três regras por trás de cada número
Intervalo de Wilson em cada porcentagem, para você ver o quanto a taxa real pode estar longe da medida.
Wilson (1927), o intervalo padrão para uma proporçãomecanismos receberam as mesmas perguntas: ChatGPT, Perplexity, Claude e Google AI Overviews.
Todos os planos, inclusive o teste grátisdos números se abrem nas respostas por trás deles, com o texto completo e cada página que cada mecanismo citou.
Todos os relatórios, em todos os planosO que o Proofsource conta?
- Taxa de menção: a parcela de respostas a uma pergunta que mencionam sua marca, por mecanismo e no total.
- Quem é mencionado no seu lugar: todas as outras marcas nas mesmas respostas, ordenadas pela frequência com que aparecem.
- Posição: em que ponto da resposta sua marca aparece quando é mencionada.
- Citações: as páginas da web que cada mecanismo lista como fontes, e quais delas mencionam você.
Cada resposta fica guardada com o texto completo e as fontes, então cada número pode ser rastreado até as respostas que ele conta. Os termos estão definidos no glossário de visibilidade em IA.
Como as perguntas são feitas?
Você aprova um conjunto de perguntas de compra: perguntas de categoria sem marca, como "qual é a melhor ferramenta para X", mais algumas perguntas que mencionam sua marca. Cada uma é feita em todos os mecanismos do painel, escrita do mesmo jeito em cada um, para que os mecanismos possam ser comparados.
Em um plano diário, cada pergunta roda uma vez por mecanismo todos os dias; os planos semanal e mensal rodam com menos frequência. O teste grátis roda 2 análises, hoje e amanhã, com 25 perguntas em cada mecanismo. Perguntas sem marca são o teste de verdade: uma pergunta que menciona sua marca vai mencioná-la, quer o mecanismo saiba quem você é ou não.
O quanto cada número é confiável?
Um mecanismo de IA pode dar duas respostas diferentes à mesma pergunta com um minuto de diferença, então uma resposta é uma amostra, não um fato. Uma porcentagem feita com poucas respostas pode ficar bem longe da taxa real.
O Proofsource aplica um intervalo de Wilson de 95% a cada porcentagem. Mencionado em 6 de 20 respostas é 30%, com um intervalo de cerca de 14,5% a 51,9%. Mencionado em 60 de 200 também é 30%, mas o intervalo cai para cerca de 24,1% a 36,7%. É a amostragem diária que estreita o intervalo, e uma mudança só é apontada quando o supera.
O intervalo de Wilson foi apresentado em 1927 (Wilson, Journal of the American Statistical Association) e é a escolha padrão para uma proporção de amostra pequena porque continua honesto perto de 0% e 100%. O que ele significa em linguagem simples, a fórmula e os artigos que o recomendam: O que significa o intervalo de 95%.
Como as pontuações principais são calculadas?
Cada relatório mostra uma pontuação por área, de 0 a 100. Cada uma é uma média ponderada das partes medidas. Uma parte que não conseguimos medir fica de fora e é identificada, nunca recebe zero. Com evidência insuficiente, a pontuação aparece como “dados insuficientes”.
Pontuação técnica
Fórmula. round( soma(peso x pontuação da área) / soma(peso das áreas medidas) ), cada pontuação de área = round(100 x (aprovadas + 0,5 x alertas) / verificações determinadas)
- Rastreamento e indexação (peso 25). Pontuação da área na auditoria do site. O pré-requisito: uma página que não pode ser buscada, canonicalizada ou indexada não pode ranquear nem ser citada.
- Links e arquitetura (peso 10). Pontuação da área na auditoria do site. Os links internos decidem quais páginas os crawlers alcançam; um link quebrado custa menos que uma página não indexável.
- Dados estruturados e compartilhamento (peso 15). Pontuação da área na auditoria do site. Como as máquinas leem a página sem precisar adivinhar.
- Performance (peso 15). Pontuação da área na auditoria do site. Velocidade e Core Web Vitals afetam diretamente o ranking e o abandono, e são medidos.
- Segurança e confiança (peso 10). Pontuação da área na auditoria do site. Uma base de confiança que a maioria dos sites cumpre, então diferencia poucos sites.
- On-page e conteúdo (peso 15). Pontuação da área na auditoria do site. Títulos, descrições, cabeçalhos e o conteúdo do corpo são o que faz uma página corresponder a uma busca.
- Acesso da busca por IA (peso 10). Pontuação da área na auditoria do site. Se os crawlers de IA podem ler o site e se existe um llms.txt.
Dados ausentes. Uma área com menos de 3 verificações determinadas fica de fora e os pesos são renormalizados. Abaixo de 60 de 100 pontos de peso medidos, ou sem rastreamento e indexação, o relatório informa que não há dados suficientes e não mostra pontuação.
Incerteza. Uma auditoria é um censo das páginas rastreadas, não uma amostra, então não há intervalo de amostragem. A faixa é um limite determinístico: a pontuação se todas as verificações indeterminadas tivessem falhado, e se todas tivessem passado.
Pontuação de SEO
Fórmula. round( soma(peso x pontuação da parte) / soma(peso das partes medidas) ), só partes medidas
- Visibilidade em busca: palavras-chave ranqueadas (peso 10). log10(1 + palavras-chave ranqueadas), 10.000 palavras-chave valem 100. Quão amplamente o site é encontrado; escala logarítmica.
- Visibilidade em busca: faixas de posição (peso 15). Peso médio de clique das palavras-chave ranqueadas por faixa de posição, 0,25 vale 100. Quão bem o site ranqueia onde é encontrado.
- Visibilidade em busca: visitas mensais estimadas (peso 20). log10(1 + visitas estimadas), 100.000 valem 100. O resultado do ranking; uma estimativa do fornecedor.
- Autoridade: domínios de referência vs concorrentes mencionados (peso 25). 50 x domínios de referência da marca / mediana dos concorrentes mencionados, limitado a 100. Links são o sinal off-page mais forte, avaliados em relação aos concorrentes que o cliente mencionou.
- On-page (peso 20). A pontuação da área de on-page e conteúdo na auditoria do site. O que o site controla sobre como uma página é associada a uma busca.
- Qualidade do conteúdo (peso 10). Pontuação média verificada do avaliador de qualidade de página, só quando existe uma execução completa. Uma avaliação opcional por LLM em uma amostra de páginas, a entrada menos determinística.
Dados ausentes. Uma parte que não foi medida fica de fora, nunca é estimada, e o restante é renormalizado. Sem uma parte de visibilidade em busca medida, ou abaixo de 50 de 100 pontos de peso, o relatório informa que não há dados suficientes.
Incerteza. Rankings, tráfego e contagens de backlinks são estimativas pontuais de fornecedores, então nenhum intervalo de amostragem é calculado nem sugerido. Cada parte mostra a sua fonte e a data de referência.
Pontuação AEO
Fórmula. round( (35 x menção + 25 x citação + 25 x share of voice + 15 x posição) / 100 ), cada parte de 0 a 100, só partes medidas
- Taxa de menção (peso 35). Parcela das respostas que mencionam a marca, 50% vale 100. A primeira coisa de que um comprador precisa; todos os outros componentes dependem dela.
- Taxa de citação (peso 25). Parcela das respostas que citam o site da marca, 40% vale 100. O passo mensurável da visibilidade para o tráfego.
- Share of voice (recorte top 10) (peso 25). Participação da marca entre os dez fornecedores mais mencionados, 25% vale 100. Como a marca se compara aos fornecedores mencionados ao lado dela.
- Posição média quando mencionada (peso 15). 100 x (20 - posição) / 19, a 1ª posição vale 100. Uma posição mais alta é lida primeiro; tem o menor peso porque se apoia no menor número de respostas.
Dados ausentes. Menos de 10 respostas: dados insuficientes, sem pontuação. O share of voice precisa de 10 menções a fornecedores e a posição precisa de 5 respostas com menção e posição, caso contrário essa parte fica de fora e o restante é renormalizado.
Incerteza. As respostas são amostradas, então a pontuação é mostrada com uma faixa de 95% a partir dos intervalos de Wilson das suas taxas (Monte Carlo, semente fixa, dependência conservadora), além da pontuação sob cinco ponderações alternativas, para que o efeito dos pesos fique visível.
Qual é a precisão do classificador de menções de marca?
Precisão, recall e acurácia do classificador que decide se uma resposta menciona sua marca, por mecanismo, medidos contra rótulos humanos. Cada rótulo aponta para uma resposta real capturada, e o veredito atual do classificador é recombinado na hora do relatório.
Todo veredito é conferido com respostas rotuladas por pessoas, por mecanismo. Um número só é publicado aqui quando o conjunto rotulado atinge o mínimo, para que cada número tenha evidência suficiente para se sustentar.
Precisão e recall são medidos contra conjuntos gold rotulados por pessoas, estratificados por mecanismo, tema e marca. Cada rótulo remete a uma resposta real capturada; o veredito ATUAL do classificador é religado no momento do relatório, então uma mudança de modelo ou de prompt aparece sem precisar rotular de novo. Valores abaixo do número mínimo de rótulos são retidos.
Estes números são gerados de novo a partir da última execução rotulada antes de cada deploy.
Quais são os limites deste método?
- Rótulos silver dão um ponto de partida para a concordância, mas não são verdade verificada por pessoas; só os valores do conjunto gold nesta página são.
- Sentimento é um valor de concordância em 3 classes, não precisão/recall por classe.
- Os mecanismos são amostrados com as versões de modelo listadas; uma troca silenciosa de modelo pelo provedor pode alterar os valores antes que a próxima rodada de calibração a registre.
- O tempo até a citação é medido só para páginas que o Proofsource controla (sondas com token único), não para quaisquer páginas de clientes.
O que as pessoas perguntam sobre como o Proofsource mede
Como o Proofsource mede a visibilidade em IA?
Ele faz a ChatGPT, Perplexity, Claude e Google AI Overviews as perguntas que seus compradores fazem, lê cada resposta e registra se sua marca é mencionada, ao lado de quem e quais páginas são citadas. A taxa de menção é a parcela de respostas que mencionam você, e cada taxa traz um intervalo de Wilson de 95%.
Com que frequência as perguntas são feitas?
Com a frequência que o plano definir: diária ou semanal, uma vez por pergunta em cada mecanismo a cada execução. O teste grátis roda 2 análises, hoje e amanhã, com 25 perguntas em cada mecanismo.
Por que colocar um intervalo em cada número?
Porque a mesma pergunta pode receber outra resposta um minuto depois. Uma taxa de menção de 20 respostas pode estar longe da taxa real; o intervalo mostra o quanto. O Proofsource só aponta uma mudança quando ela supera o intervalo, então um dia instável não vira tendência.
Qual é a precisão do classificador de menções de marca?
A precisão e o recall são medidos contra respostas rotuladas por pessoas, por mecanismo, e publicados nesta página quando o conjunto rotulado for grande o bastante para ser honesto. Até lá, os números ficam retidos em vez de estimados.
Posso conferir as respostas por trás de um número?
Sim. Cada número abre as respostas de onde foi calculado, com o texto completo e as fontes que cada mecanismo citou, para você recontar por conta própria.
Veja seus próprios números, com os intervalos.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
