Verfolgen Sie die Änderung, und weisen Sie nach, was sie bewirkt hat.

Messen Sie zweimal dasselbe: dieselben Fragen, auf denselben Engines, im selben Rhythmus, gegen dieselbe festgelegte Liste von Wettbewerbern (Kapitel 3). Ändern Sie den Fragensatz zwischen Durchläufen, vergleichen Sie zwei verschiedene Stichproben; beginnen Sie neue Fragen stattdessen als eigene Reihe.

Vergleichen Sie die Durchläufe dann Frage für Frage. Zu prüfen, ob sich zwei 95-%-Intervalle überlappen, ist viel strenger, als es aussieht: Payton, Greenstone und Schenker zeigten 2003, dass sich zwei solche Intervalle aus identischen Grundgesamtheiten in mehr als 99 % der Fälle überlappen; die Überlappungsprüfung verhält sich also wie ein 1-%-Test und schluckt echte Rückgänge. Bei 200 Fragen zeigt ein Fall von 42 % auf 30 % überlappende 95-%-Intervalle, ein üblicher Test für zwei Anteile ergibt aber p = 0,012. Haben 30 Fragen Sie verloren und 6 Sie dazugewonnen, ergibt McNemars gepaarter Test auf diese Wechsel p von etwa 0,00006 (das durchgerechnete Beispiel).

Warten Sie, ob er bleibt. In unserer täglichen Messung hatten sich 47 % der Änderungen in einer einzelnen Antwort einen Tag später umgekehrt, und wo wir eine Änderung zwei weitere Tage verfolgen konnten, hielt sie in 36,7 % der Fälle alle drei Tage. Ein verfolgter Wettbewerber lag an einem Montag bei 75 % und am Freitag derselben Woche bei 45 %, was wie ein Fall um 30 Punkte aussieht; über die Woche wurde er in 89 von 140 Antworten genannt, 63,6 %, und nichts war gefallen (die Studie zum Rhythmus).

Handeln Sie bei einer Änderung, wenn sie zwei oder drei Tage hält oder wenn sich die Intervalle zweier Messungen trennen. Eine Benachrichtigung, die bei jeder Überschreitung auslöst, löst bei so verrauschten Zahlen ständig aus.

1. Woche 1, Ausgangswert. Wählen Sie Ihre Fragen, fragen Sie jede Engine, halten Sie fest, wer genannt und was zitiert wird (Kapitel 2). Führen Sie es zweimal aus, einen Tag auseinander.
2. Woche 2, Zugriff. Prüfen Sie jeden Bot gegen Ihre wichtigsten Seiten, beheben Sie CDN-Sperren und reinen JavaScript-Inhalt (Kapitel 4).
3. Woche 3, Identität und Quellen. Veröffentlichen Sie Ihre Definition in einem Satz überall, und sprechen Sie die fünf meistzitierten Seiten an, die Sie auslassen (Kapitel 5).
4. Woche 4, neu messen. Stellen Sie dieselben Fragen auf denselben Engines. Behalten Sie, was sich über das Intervall hinaus bewegt hat; überdenken Sie, was nicht.