Volg de verandering en bewijs wat die veroorzaakte.

Meet twee keer hetzelfde: dezelfde vragen, op dezelfde engines, met dezelfde frequentie, tegenover dezelfde vastgezette lijst concurrenten (hoofdstuk 3). Wijzig je de set vragen tussen runs, dan vergelijk je twee verschillende steekproeven; begin nieuwe vragen liever als een eigen reeks.

Vergelijk de runs daarna vraag voor vraag. Controleren of twee 95%-intervallen overlappen is veel strenger dan het lijkt: Payton, Greenstone en Schenker lieten in 2003 zien dat twee van zulke intervallen uit identieke populaties in meer dan 99% van de gevallen overlappen, dus de overlapcheck werkt als een toets op 1% en slikt echte dalingen in. Bij 200 vragen laat een daling van 42% naar 30% overlappende 95%-intervallen zien, terwijl een standaardtoets voor twee proporties p = 0,012 geeft. Als 30 vragen je lieten vallen en 6 je oppikten, geeft de gepaarde McNemar-toets op die omslagen een p van ongeveer 0,00006 (het uitgewerkte voorbeeld).

Wacht tot hij blijft staan. In onze dagelijkse tracking was 47% van de veranderingen in één antwoord een dag later teruggedraaid, en waar we een verandering nog twee dagen konden volgen, hield die alle drie de dagen stand in 36,7% van de gevallen. Eén gevolgde concurrent stond op een maandag op 75% en op de vrijdag van dezelfde week op 45%, wat lijkt op een daling van 30 punten; over de hele week werd hij genoemd in 89 van de 140 antwoorden, 63,6%, en er was niets gedaald (het onderzoek naar frequentie).

Handel op een verandering zodra die twee of drie dagen standhoudt, of zodra de intervallen van twee metingen uit elkaar gaan. Een melding die bij elke overschrijding afgaat, gaat bij cijfers met zoveel ruis voortdurend af.

1. Week 1, nulmeting. Kies je vragen, stel ze aan elke engine, en noteer wie wordt genoemd en wat wordt geciteerd (hoofdstuk 2). Draai het twee keer, met een dag ertussen.
2. Week 2, toegang. Controleer elke bot tegen je belangrijkste pagina’s, en los CDN-blokkades en content die alleen met JavaScript verschijnt op (hoofdstuk 4).
3. Week 3, identiteit en bronnen. Publiceer je definitie van één zin overal, en benader de vijf meest geciteerde pagina’s die je weglaten (hoofdstuk 5).
4. Week 4, opnieuw meten. Stel dezelfde vragen op dezelfde engines. Houd wat verder bewoog dan het interval; heroverweeg wat dat niet deed.