ChatGPT 엔진은 모두에게 같은 답변을 주나요? 아니요. 이유는 이렇습니다.

저장된 답을 꺼내는 대신 확률에서 표본을 뽑아 단어 하나하나를 고르기 때문입니다. OpenAI API 문서는 채팅 완성이 기본적으로 비결정적이며, 요청마다 모델 출력이 달라질 수 있다고 설명합니다. 모든 설정을 고정한 개발자도 OpenAI가 모델 구성을 바꾸면 결과에 영향을 줄 수 있다는 안내를 받습니다.

짧은 사실형 답변에서는 표현은 바뀌어도 내용은 유지됩니다. 추천 제품 목록에서는 같은 샘플링이 어떤 이름이 들어가고 어떤 순서로 나오는지를 결정하므로, 목록의 브랜드가 물을 때마다 바뀔 수 있습니다.

ChatGPT 엔진이 웹을 검색할 때는 그렇습니다. 검색 결과로 나오는 페이지는 검색 위치에 따라 달라지고, 개발자용 OpenAI 웹 검색 도구는 대략적인 사용자 위치(국가, 도시, 지역, 시간대)를 받아 지역에 맞게 결과를 다듬습니다. 런던과 시카고의 구매자가 "최고의 급여 관리 소프트웨어"를 물으면 각자 현지 선택지를 받을 수 있고, 두 답변 모두 물어본 곳 기준으로는 맞습니다. 그래서 Proofsource 유료 요금제에서는 질문마다 대상 시장에서 물을 수 있고, 시장별로 따로 읽습니다.

대부분의 브랜드 담당자가 생각하는 것보다 큽니다. Proofsource 자체 샘플링에서는 엔진에 따라 답변에 언급된 브랜드의 9%~27%가 하루 만에 바뀌었습니다. Perplexity 쪽 변동이 가장 컸고 Claude 쪽이 가장 작았습니다. 아무도 새 글을 올리지 않았는데도 그렇습니다.

샘플이 작으면 이 점이 가려집니다. 공개된 Tesla 예시에서 ChatGPT 답변은 구매자 답변 25개 중 16개(64%)에서 Tesla를 언급했지만, 95% Wilson 구간은 약 45%에서 80%까지입니다. 다른 날 다시 받은 답변 25개는 아무것도 바뀌지 않았어도 이 범위 어디에든 나올 수 있습니다.

개인 기록이 없는 세션에서 같은 질문을 여러 번 묻고, 결과 하나 대신 구간이 붙은 비율로 보고하세요. Proofsource 시스템이 바로 그렇게 합니다. 회원님의 구매자 질문을 ChatGPT, Perplexity, Claude 및 Google AI Overviews에 묻고, 모든 답변을 보관하며, 어떤 브랜드가 언급됐는지와 각 답변을 어느 모델이 작성했는지 기록하고, 모든 비율에 95% Wilson 구간을 붙입니다.

변화는 구간보다 클 때만 표시되므로, 조용한 화요일이 위기로 보고되지 않습니다. 방법은 방법론 페이지에 정리되어 있으며, 체험은 2일간 AI 가시성 전체 이용, 오늘과 내일입니다.

1. 내 채팅은 가장 믿기 어려운 테스트입니다. 메모리와 이력이 ChatGPT 답변을 우리 브랜드 쪽으로 기울일 수 있습니다.
2. 더 깨끗하게 보려면 임시 채팅이나 로그아웃 창을 쓰고, 구매자처럼 우리 브랜드 이름을 빼고 질문하세요.
3. 결론을 내리기 전에 여러 번, 여러 날에 걸쳐 물어보세요.
4. 다른 엔진도 확인하세요. 같은 질문에도 Perplexity, Claude, Google AI Overviews 엔진의 답은 ChatGPT 답변과 다를 수 있습니다.