Śledź zmianę i udowodnij, co ją spowodowało.

Mierz dwa razy to samo: te same pytania, w tych samych silnikach, z tą samą częstotliwością, wobec tej samej zamrożonej listy konkurentów (rozdział 3). Jeśli zmienisz zestaw pytań między uruchomieniami, porównujesz dwie różne próby; nowe pytania zacznij jako osobną serię.

Potem porównuj uruchomienia pytanie po pytaniu. Sprawdzanie, czy dwa przedziały 95% się nakładają, jest znacznie bardziej rygorystyczne, niż się wydaje: Payton, Greenstone i Schenker wykazali w 2003 roku, że dwa takie przedziały z identycznych populacji nakładają się w ponad 99% przypadków, więc test nakładania działa jak test na poziomie 1% i połyka prawdziwe spadki. Przy 200 pytaniach spadek z 42% do 30% daje nakładające się przedziały 95%, ale standardowy test dwóch proporcji daje p = 0,012. Jeśli 30 pytań przestało cię wymieniać, a 6 zaczęło, sparowany test McNemara na tych zmianach daje p około 0,00006 (przykład krok po kroku).

Poczekaj, czy się utrzyma. W naszym codziennym śledzeniu 47% zmian w pojedynczej odpowiedzi odwróciło się dzień później, a gdy mogliśmy śledzić zmianę jeszcze przez dwa dni, utrzymała się przez wszystkie trzy dni w 36,7% przypadków. Jeden śledzony konkurent miał 75% w poniedziałek i 45% w piątek tego samego tygodnia, co wygląda na spadek o 30 punktów; w całym tygodniu był wymieniony w 89 ze 140 odpowiedzi, czyli w 63,6%, i nic nie spadło (badanie częstotliwości).

Reaguj na zmianę, gdy utrzyma się przez dwa lub trzy dni albo gdy przedziały dwóch pomiarów się rozejdą. Alert, który włącza się przy każdym przekroczeniu, przy tak zaszumionych liczbach włącza się bez przerwy.

1. Tydzień 1, punkt odniesienia. Wybierz pytania, zadaj je każdemu silnikowi i zapisz, kto jest wymieniany i co jest cytowane (rozdział 2). Zrób to dwa razy, w odstępie jednego dnia.
2. Tydzień 2, dostęp. Sprawdź każdego bota na swoich kluczowych stronach i popraw blokady w CDN oraz treści dostępne tylko z JavaScriptem (rozdział 4).
3. Tydzień 3, tożsamość i źródła. Opublikuj wszędzie swoją jednozdaniową definicję i odezwij się do pięciu najczęściej cytowanych stron, które cię pomijają (rozdział 5).
4. Tydzień 4, ponowny pomiar. Zadaj te same pytania w tych samych silnikach. Zachowaj to, co przesunęło się poza przedział; przemyśl to, co nie.