Monitorea el cambio y demuestra qué lo movió.

Mide dos veces lo mismo: las mismas preguntas, en los mismos motores, con la misma frecuencia, contra la misma lista congelada de competidores (capítulo 3). Si cambias el conjunto de preguntas entre ejecuciones, estás comparando dos muestras distintas; empieza las preguntas nuevas como una serie aparte.

Después compara las ejecuciones pregunta por pregunta. Revisar si dos intervalos del 95% se traslapan es mucho más estricto de lo que parece: Payton, Greenstone y Schenker mostraron en 2003 que dos intervalos así, de poblaciones idénticas, se traslapan más del 99% de las veces, así que la prueba del traslape se comporta como una prueba al 1% y se traga caídas reales. Con 200 preguntas, una caída de 42% a 30% muestra intervalos del 95% traslapados, pero una prueba estándar de dos proporciones da p = 0.012. Si 30 preguntas dejaron de mencionarte y 6 empezaron a hacerlo, la prueba pareada de McNemar sobre esos cambios da una p de alrededor de 0.00006 (el ejemplo resuelto).

Espera a ver si se sostiene. En nuestro monitoreo diario, el 47% de los cambios en una sola respuesta se había revertido un día después, y cuando pudimos seguir un cambio dos días más, se mantuvo los tres días el 36.7% de las veces. Un competidor monitoreado marcó 75% un lunes y 45% el viernes de la misma semana, lo que parece una caída de 30 puntos; en la semana fue mencionado en 89 de 140 respuestas, 63.6%, y nada había caído (el estudio de frecuencia).

Actúa sobre un cambio cuando se sostenga dos o tres días, o cuando los intervalos de dos mediciones se separen. Una alerta que se dispara con cada cruce se dispara todo el tiempo con números así de ruidosos.

1. Semana 1, línea base. Elige tus preguntas, pregúntale a cada motor y registra a quién mencionan y qué citan (capítulo 2). Ejecútalo dos veces, con un día de diferencia.
2. Semana 2, acceso. Revisa cada bot contra tus páginas clave y corrige los bloqueos en la CDN y el contenido que solo existe con JavaScript (capítulo 4).
3. Semana 3, identidad y fuentes. Publica tu definición de una oración en todas partes y contacta a las cinco páginas más citadas que te dejan fuera (capítulo 5).
4. Semana 4, vuelve a medir. Haz las mismas preguntas en los mismos motores. Quédate con lo que se movió más allá del intervalo; replantea lo que no.