Monitora il cambiamento e dimostra cosa l’ha causato.

Misura due volte la stessa cosa: le stesse domande, sugli stessi motori, con la stessa cadenza, rispetto allo stesso elenco congelato di concorrenti (capitolo 3). Se cambi l’insieme di domande tra un’esecuzione e l’altra, stai confrontando due campioni diversi; fai partire le nuove domande come una serie a parte.

Poi confronta le esecuzioni domanda per domanda. Verificare se due intervalli al 95% si sovrappongono è molto più severo di quanto sembri: Payton, Greenstone e Schenker hanno dimostrato nel 2003 che due intervalli di questo tipo, da popolazioni identiche, si sovrappongono più del 99% delle volte, quindi il test della sovrapposizione si comporta come un test all’1% e nasconde cali reali. Con 200 domande, un calo dal 42% al 30% mostra intervalli al 95% sovrapposti, ma un test standard su due proporzioni dà p = 0,012. Se 30 domande hanno smesso di menzionarti e 6 hanno iniziato a farlo, il test appaiato di McNemar su quei cambiamenti dà una p di circa 0,00006 (l’esempio svolto).

Aspetta di vedere se tiene. Nel nostro monitoraggio giornaliero, il 47% dei cambiamenti in una singola risposta si era invertito il giorno dopo, e quando abbiamo potuto seguire un cambiamento per altri due giorni, ha tenuto per tutti e tre i giorni il 36,7% delle volte. Un concorrente monitorato ha segnato il 75% un lunedì e il 45% il venerdì della stessa settimana, che sembra un calo di 30 punti; sull’intera settimana è stato menzionato in 89 risposte su 140, il 63,6%, e non era calato nulla (lo studio sulla cadenza).

Agisci su un cambiamento quando tiene per due o tre giorni, o quando gli intervalli di due misurazioni si separano. Un avviso che scatta a ogni incrocio, con numeri così rumorosi, scatta di continuo.

1. Settimana 1, baseline. Scegli le tue domande, interroga ogni motore e annota chi viene menzionato e cosa viene citato (capitolo 2). Fallo due volte, a un giorno di distanza.
2. Settimana 2, accesso. Verifica ogni bot sulle tue pagine chiave e correggi i blocchi della CDN e i contenuti che esistono solo con JavaScript (capitolo 4).
3. Settimana 3, identità e fonti. Pubblica ovunque la tua definizione in una frase e contatta le cinque pagine più citate che ti lasciano fuori (capitolo 5).
4. Settimana 4, misura di nuovo. Fai le stesse domande sugli stessi motori. Tieni ciò che si è mosso oltre l’intervallo; ripensa ciò che non si è mosso.