이름 다섯 개 중 약 하나가 하룻밤 사이 답변에서 빠졌습니다
스캔 주기에 관한 조언 대부분은 매주를 권하며 매일 측정값은 잡음이 많다고 설명합니다. 저희는 그 잡음이 어느 정도인지 보고 싶었습니다. 2026년 10월 5일부터 13일까지 Proofsource의 브랜드 설정 두 개가 각각 같은 구매자 질문 20개, 총 40개를 ChatGPT, Perplexity, Claude, Google AI Overviews에 하루 한 번씩 물었습니다. 한 설정은 9일, 다른 설정은 7일이었습니다. 각 설정은 자사 브랜드와 경쟁사 8~9곳, 총 19개 이름을 추적합니다.
그 결과 질문 하나, 엔진 하나, 이름 하나를 이틀 연속으로 비교할 수 있는 사례 10,612개를 얻었습니다. 그중 2,127개에서 이름이 첫날 답변에 있었습니다. 그중 486개(22.8%)에서 다음 날 이름이 사라졌습니다(95% 구간 21.1%~24.7%). 새로 들어온 브랜드도 있었습니다. 전체적으로 10,612개 날짜 쌍 중 969개가 바뀌었습니다.
53개 워크스페이스에 걸친 더 넓은 점검도 같은 비율을 보였습니다. 같은 엔진이 이틀 연속 답한 질문 5,024개 중 427개가 첫날 워크스페이스 자사 브랜드를 언급했고, 그중 102개(23.9%)는 둘째 날 언급하지 않았습니다. 다른 87개는 둘째 날에만 언급했으므로 합계는 427에서 412로 바뀌었습니다. 아래에서는 많이 흔들리지만, 위에서는 거의 변하지 않았습니다.
변화의 47%가 하루 뒤 스스로 원래대로 돌아갔습니다
그 변화 중 832개는 그다음 날의 답변도 있었습니다. 그중 393개(47.2%)에서 이름은 시작점으로 돌아갔습니다. 있다가, 없다가, 다시 있거나 그 반대였습니다. 변화를 이틀 더 따라갈 수 있었던 경우(686건)에서 사흘 내내 유지된 것은 252건(36.7%)이었습니다.
그러니 답변 하나가 하룻밤 사이 회원님을 언급하지 않게 되었다면, 내일 다시 언급할 확률은 반반에 가깝습니다. 개별 답변의 변화는 분포에서 뽑은 하나의 표본으로 보고, 조치하기 전에 그 변화가 유지되기를 기다리십시오.
하루 수치는 주간 평균에서 3.6포인트 이내였습니다
집계는 더 차분한 이야기를 들려줍니다. 두 설정이 공유한 7일(10월 5일~11일) 동안, 주간 언급률이 5% 이상인 이름과 엔진 조합 55개를 모두 잡고, 각 날의 언급률(답변 20개)을 그 주의 평균과 비교했습니다. 중앙값 차이는 3.6%포인트였습니다. 일일 측정값 385개 중 27개(7.0%)가 10포인트 이상, 4개가 15포인트 이상 벗어났고, 가장 큰 차이는 20포인트였습니다.
이 차이는 동전 던지기보다 작습니다. 같은 질문이 매일 돌아오고 대부분의 답변이 그대로이기 때문입니다. 흔들림은 고정된 세트 전체에서 대부분 상쇄됩니다.
하지만 나쁜 주도 실재합니다. ChatGPT에서 추적한 한 경쟁사는 5일 월요일에는 답변의 75%, 9일 금요일에는 45%에서 언급되었습니다. 그 이틀만 보면 30포인트 하락처럼 보입니다. 한 주 전체로는 140개 중 89개(63.6%, 55.3%~71.1%)에서 언급되었고, 아무것도 떨어지지 않았습니다. 답변 20개에서 45%는 25.8%~65.8%의 구간을 가지며, 하루치를 정직하게 읽는 방법이 바로 이것입니다.
스캔 주기는 그것이 뒷받침하는 결정에 따라 고르십시오
매일 스캔은 매주 스캔보다 7배 많은 답변을 모으고, 실행 비용도 약 7배입니다. 그것으로 무엇을 얻는지는 그 수치로 무엇을 할지에 달려 있습니다.
- 크고 고정된 질문 세트로 경영진에게 추세를 보고할 때: 대개 매주면 충분합니다. 질문 20개 세트에서도 대부분의 하루치는 주간 값에서 몇 포인트 안에 있었고, 세트가 크면 더 가깝습니다.
- 질문을 20개 이하로 추적할 때: 측정값 하나하나가 작으므로 이상한 하루 하나가 크게 흔듭니다. 매일 스캔을 주 단위로 평균하면 측정값이 하나가 아니라 일곱 개가 되고, 구간이 약 2.6배 좁아집니다.
- 막 반영한 변경을 테스트할 때: 매일 스캔은 답변이 어느 날 움직였고 그 움직임이 유지되었는지 알려 줍니다. 매주 스캔은 출시 다음 주에 무관한 흔들림을 끼워 넣을 수 있습니다.
- 어떤 경우든 답변 하나가 뒤집힌 것으로 조치하지 마십시오. 변화가 2~3일 유지되거나 두 측정값의 구간이 갈라질 때까지 기다리십시오.
Proofsource 서비스가 처리하는 방식
Proofsource 요금제는 요금제별로 매일 또는 매주 실행됩니다. 매일 요금제에서는 각 질문을 UTC 기준 하루에 엔진마다 한 번 묻고, 매주 요금제는 일주일에 한 번 실행합니다. 모든 언급률에는 Wilson 구간이 붙으며, 두 측정값의 구간이 겹치지 않고 움직임이 회원님이 정한 임계값을 넘을 때만 알림이 울리므로, 하루의 흔들림으로 누구를 호출하지 않습니다. 이 규칙은 보수적이어서 작은 실제 변화를 며칠 동안 지켜보기만 할 수도 있습니다.
이 분석이 틀릴 수 있는 부분
긴 시계열은 두 카테고리의 브랜드 설정 두 개, 질문 40개, 2026년 10월의 한 주에서 나왔으며, 주간 값과 비교할 만큼 흔한 이름은 55개뿐이었습니다. 다른 카테고리나 모델 업데이트가 있는 주에는 더 많이 흔들릴 수 있습니다. 53개 워크스페이스 점검은 질문마다 연속된 이틀만 다룹니다.
여기서 "변화"는 저희 추출이 읽은 대로 추적 이름이 나타나거나 나타나지 않는 것을 뜻합니다. 어느 날 추출이 누락되면 흔들림처럼 보이므로, 22.8% 중 일부는 엔진이 아니라 저희 탓일 수 있습니다. 질문은 엔진과 날짜마다 한 번씩 셌고, 날짜 간 답변이 바이트 단위로 동일한 날짜 쌍 116개는 새 답변이 아니라 재생이었으므로 제외했습니다.
같은 질문에 대한 답변은 날마다 서로 관련되어 있으며, 그래서 주간 값이 거의 움직이지 않았습니다. 질문이 매일 바뀌거나 매주 새 세트를 표본으로 쓰는 브랜드는 더 큰 흔들림을 볼 것입니다.
