Suivez le changement et prouvez ce qui l’a provoqué.

Mesurez deux fois la même chose : les mêmes questions, sur les mêmes moteurs, à la même fréquence, face à la même liste figée de concurrents (chapitre 3). Changez l’ensemble de questions entre deux exécutions et vous comparez deux échantillons différents ; lancez plutôt les nouvelles questions comme une série à part.

Comparez ensuite les exécutions question par question. Vérifier si deux intervalles à 95 % se chevauchent est bien plus strict qu’il n’y paraît : Payton, Greenstone et Schenker ont montré en 2003 que deux intervalles de ce type issus de populations identiques se chevauchent dans plus de 99 % des cas, si bien que le test du chevauchement se comporte comme un test à 1 % et avale de vraies baisses. Sur 200 questions, une chute de 42 % à 30 % donne des intervalles à 95 % qui se chevauchent, alors qu’un test classique de deux proportions donne p = 0,012. Si 30 questions vous ont perdu et 6 vous ont gagné, le test apparié de McNemar sur ces bascules donne un p d’environ 0,00006 (l’exemple détaillé).

Attendez qu’elle se confirme. Dans notre suivi quotidien, 47 % des changements dans une même réponse s’étaient inversés le lendemain, et quand nous avons pu suivre un changement deux jours de plus, il a tenu les trois jours dans 36,7 % des cas. Un concurrent suivi affichait 75 % un lundi et 45 % le vendredi de la même semaine, ce qui ressemble à une chute de 30 points ; sur la semaine, il était mentionné dans 89 réponses sur 140, soit 63,6 %, et rien n’avait baissé (l’étude sur la fréquence).

Agissez sur un changement quand il tient deux ou trois jours, ou quand les intervalles de deux mesures se séparent. Une alerte qui se déclenche à chaque franchissement se déclenche en permanence sur des chiffres aussi bruités.

1. Semaine 1, point de départ. Choisissez vos questions, interrogez chaque moteur, notez qui est mentionné et ce qui est cité (chapitre 2). Lancez-le deux fois, à un jour d’intervalle.
2. Semaine 2, accès. Vérifiez chaque robot sur vos pages clés, corrigez les blocages du CDN et les contenus uniquement en JavaScript (chapitre 4).
3. Semaine 3, identité et sources. Publiez partout votre définition en une phrase, et contactez les cinq pages les plus citées qui vous laissent de côté (chapitre 5).
4. Semaine 4, nouvelle mesure. Posez les mêmes questions sur les mêmes moteurs. Gardez ce qui a bougé au-delà de l’intervalle ; repensez ce qui n’a pas bougé.