AI 답변 샘플링이란?
AI 답변 샘플링은 각 AI 엔진에 같은 질문을 여러 번 던지고, 모든 가시성 수치를 확정된 사실이 아닌 그 샘플에서 나온 추정치로 읽는 방식입니다. AI 엔진에 같은 질문을 두 번 하면 서로 다른 후보 목록 두 개를 받을 수 있습니다. 그래서 답변 하나는 측정이 아닙니다. 샘플링은 고정된 질문 세트를 엔진마다 반복해서 묻고, 나를 언급한 답변의 비율을 범위가 있는 추정값으로 다루는 것입니다.
왜 AI 답변은 샘플링해야 하나요?
엔진이 결정적이지 않기 때문입니다. OpenAI 문서에는 Chat Completions가 기본적으로 비결정적이어서 요청마다 출력이 다를 수 있다고 명시되어 있습니다(OpenAI API 문서, 2026년 10월 15일 확인).
temperature가 0이어도 같은 프롬프트의 결과는 흔들립니다. Thinking Machines Lab은 오픈 모델에서 한 프롬프트를 temperature 0으로 1,000번 생성해 서로 다른 결과 80가지를 얻었고, 주된 원인을 서버 부하에 따라 각 요청이 들어가는 배치 크기가 달라지는 데서 찾았습니다(2025년 9월 10일, Thinking Machines). 답변 하나가 말하는 내용의 일부는 서버가 얼마나 바빴는지입니다.
답변은 몇 건이면 충분한가요?
감지하려는 변화보다 구간이 좁아질 만큼이면 됩니다. 모델이 실제로 60%의 확률로 나를 언급한다면, 샘플 크기별 95% Wilson 구간의 폭은 다음과 같습니다(계산).
| 답변 | 언급 | 95% 구간 | 폭 |
|---|---|---|---|
| 5 | 3 | 23.1%~88.2% | 65포인트 |
| 20 | 12 | 38.7%~78.1% | 39포인트 |
| 40 | 24 | 44.6%~73.7% | 29포인트 |
| 100 | 60 | 50.2%~69.1% | 19포인트 |
AI 답변은 어떻게 공정하게 샘플링하나요?
결과를 보기 전에 방법을 정하고, 매 기간 똑같이 유지하세요.
- 모든 엔진에 같은 질문을 같은 표현으로 묻습니다. 그래야 엔진 사이의 차이가 진짜 차이입니다.
- 나를 언급하지 않는 질문을 쓰고, 브랜드 질문은 별도 세트로 둡니다.
- 한 번에 몰아서가 아니라 여러 날에 걸쳐 실행합니다. 답변은 부하와 모델 업데이트에 따라 흔들리기 때문입니다.
- 이전 답변을 글자 그대로 반복한 답변은 뺍니다. 재생은 두 번째 추출이 아닙니다.
- AI Overview가 표시되지 않은 경우처럼 답변이 없는 경우는 누락으로 세지 않고 뺍니다.
실제 예시에서 샘플링은 어떻게 보이나요?
공개된 Tesla 예시(2026년 10월 4일)는 구매자 질문 25개를 네 엔진에 각각 한 번씩 물었습니다. 전체 답변은 100건이지만 엔진당은 25건뿐입니다. 그래서 ChatGPT 답변의 64%에는 약 45%~80%의 범위가 붙습니다.
질문을 반복하면 그림이 바뀝니다. 세 번의 스캔일(10월 4일, 8일, 15일)에 걸쳐 Tesla 전력망 저장 장치 질문 하나를 다섯 가지 표현으로 물어 각각 새 답변 12건을 얻었습니다. 두 표현은 12번 중 12번 Tesla 브랜드를 언급했고, 하나는 12번 중 7번, 나머지 둘은 한 번도 언급하지 않았습니다(글). 한 표현을 한 번만 실행했다면 이 중 어느 결과든 나올 수 있었습니다.
AI 답변 샘플링에 대해 자주 묻는 질문
ChatGPT 스크린샷 한 장이면 AI가 우리를 추천하는지 알 수 있나요?
아닙니다. 나를 언급한 답변 하나는 실제 언급률이 약 21%만큼 낮아도 나올 수 있고, 누락 하나는 약 79%만큼 높아도 나올 수 있습니다. 스크린샷은 어떤 일이 일어날 수 있다는 것을 보여 줄 뿐, 얼마나 자주 일어나는지는 보여 주지 않습니다.
같은 질문을 연달아 여러 번 물어야 하나요?
대신 여러 날에 나눠 반복하세요. 연달아 보낸 요청은 캐시되거나 재생될 수 있고, 글자 그대로의 재생은 새 샘플이 아닙니다.
seed나 temperature 0으로 답변을 재현할 수 있나요?
일부만 가능합니다. OpenAI 측은 seed를 지정한 출력을 대부분 결정적이라고 설명하며, 소비자용 앱은 두 설정 모두 제공하지 않습니다. 모든 엔진을 샘플이 나오는 원천으로 다루세요.
매일 샘플링할까요, 매주 샘플링할까요?
내려야 할 결정에 따라 고르세요. 크고 고정된 질문 세트의 추세라면 매주가 맞습니다. 세트가 작거나, 변경을 반영한 뒤 답변이 어느 날 움직였고 그 변화가 유지되는지 보고 싶다면 매일이 도움이 됩니다.
관련 용어
- Wilson 구간
Wilson 구간은 측정된 비율이 몇 건의 답변에 근거했는지를 고려할 때, 그 비율이 합리적으로 놓일 수 있는 범위입니다.
- AI 답변 변동성
AI 답변 변동성은 같은 질문을 다시 묻거나 다른 표현으로 물을 때 AI 엔진이 언급하는 브랜드가 얼마나 바뀌는지를 말합니다.
- 언급률
언급률은 어떤 질문에 대한 AI 답변 중 내 브랜드를 언급한 답변의 비율입니다.
- Prompt
AI 가시성에서 Prompt는 구매자가 물을 법한 표현으로 작성해 여러 AI 엔진에서 추적하는 질문입니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
