Sigue el cambio y demuestra qué lo provocó.

Mide dos veces lo mismo: las mismas preguntas, en los mismos motores, con la misma frecuencia, frente a la misma lista congelada de competidores (capítulo 3). Si cambias el conjunto de preguntas entre ejecuciones, estás comparando dos muestras distintas; empieza las preguntas nuevas como una serie aparte.

Después compara las ejecuciones pregunta a pregunta. Comprobar si dos intervalos del 95 % se solapan es mucho más estricto de lo que parece: Payton, Greenstone y Schenker demostraron en 2003 que dos intervalos así, de poblaciones idénticas, se solapan más del 99 % de las veces, así que la prueba del solapamiento se comporta como una prueba al 1 % y se traga caídas reales. Con 200 preguntas, una caída del 42 % al 30 % muestra intervalos del 95 % solapados, pero una prueba estándar de dos proporciones da p = 0,012. Si 30 preguntas dejaron de mencionarte y 6 empezaron a hacerlo, la prueba pareada de McNemar sobre esos cambios da una p de alrededor de 0,00006 (el ejemplo resuelto).

Espera a ver si se mantiene. En nuestro seguimiento diario, el 47 % de los cambios en una sola respuesta se había revertido un día después, y cuando pudimos seguir un cambio dos días más, se mantuvo los tres días el 36,7 % de las veces. Un competidor seguido marcó un 75 % un lunes y un 45 % el viernes de la misma semana, lo que parece una caída de 30 puntos; en toda la semana se le mencionó en 89 de 140 respuestas, un 63,6 %, y no había caído nada (el estudio de frecuencia).

Actúa sobre un cambio cuando se mantenga dos o tres días, o cuando los intervalos de dos mediciones se separen. Una alerta que salta con cada cruce salta todo el rato con cifras así de ruidosas.

1. Semana 1, base de referencia. Elige tus preguntas, pregunta a cada motor y anota a quién mencionan y qué citan (capítulo 2). Hazlo dos veces, con un día de diferencia.
2. Semana 2, acceso. Comprueba cada bot frente a tus páginas clave y corrige los bloqueos en la CDN y el contenido que solo existe con JavaScript (capítulo 4).
3. Semana 3, identidad y fuentes. Publica tu definición de una frase en todas partes y contacta con las cinco páginas más citadas que te dejan fuera (capítulo 5).
4. Semana 4, vuelve a medir. Haz las mismas preguntas en los mismos motores. Quédate con lo que se movió más allá del intervalo; replantea lo que no.