변화를 추적하고, 무엇이 움직였는지 증명하세요.

같은 것을 두 번 측정하세요. 같은 질문을, 같은 엔진에서, 같은 주기로, 고정해 둔 같은 경쟁사 목록과 비교합니다(3장). 실행 사이에 질문 묶음을 바꾸면 서로 다른 두 샘플을 비교하게 됩니다. 새 질문은 별도 시리즈로 시작하세요.

그런 다음 실행 결과를 질문별로 비교하세요. 두 95% 구간이 겹치는지 확인하는 것은 보기보다 훨씬 엄격합니다. Payton, Greenstone, Schenker는 2003년에 동일한 모집단에서 나온 두 구간이 99% 이상 겹친다는 것을 보였습니다. 즉 겹침 확인은 1% 검정처럼 작동해 실제 하락을 삼켜 버립니다. 질문 200개에서 42%가 30%로 떨어져도 95% 구간은 겹치지만, 일반적인 두 비율 검정으로는 p = 0.012입니다. 질문 30개에서 당신이 빠지고 6개에서 새로 언급되었다면, 이 변화에 대한 McNemar 대응 검정의 p는 약 0.00006입니다(계산 예시).

유지되는지 기다려 보세요. 우리의 일일 추적에서 개별 답변 변화의 47%는 하루 뒤 되돌아갔고, 이틀 더 따라갈 수 있었던 변화 중 사흘 내내 유지된 것은 36.7%였습니다. 추적 중인 한 경쟁사는 월요일에 75%, 같은 주 금요일에 45%로 30%포인트 하락한 것처럼 보였지만, 그 주 전체로는 답변 140건 중 89건, 63.6%에서 언급되었고 실제로 떨어진 것은 없었습니다(주기 연구).

변화가 이삼일 유지되거나 두 측정의 구간이 분리되면 그때 대응하세요. 기준선을 넘을 때마다 울리는 알림은 이렇게 노이즈가 큰 수치에서는 계속 울립니다.

1. 1주차, 기준선. 질문을 고르고, 모든 엔진에 묻고, 누가 언급되고 무엇이 인용되는지 기록하세요(2장). 하루 간격으로 두 번 실행하세요.
2. 2주차, 접근성. 핵심 페이지마다 각 봇의 접근을 확인하고, CDN 차단과 JavaScript로만 렌더링되는 콘텐츠를 고치세요(4장).
3. 3주차, 정체성과 출처. 한 문장짜리 정의를 모든 곳에 게시하고, 당신을 빼놓은 가장 많이 인용되는 페이지 다섯 곳에 제안하세요(5장).
4. 4주차, 재측정. 같은 엔진에 같은 질문을 던지세요. 구간을 넘어 움직인 것은 유지하고, 그렇지 않은 것은 다시 생각하세요.