모든 가이드가 새 채팅을 시작하라고 한 뒤, 다섯 턴짜리 구매자를 묘사합니다
답변 엔진이 브랜드를 언급하는지 확인하는 표준 방법은 구매자 질문 세트를 쓰고, 이전 맥락이 없는 새 채팅에서 각각 실행해 누가 언급되었는지 기록하는 것입니다. 저희도 타당한 이유로 이렇게 합니다. 이미 자기 브랜드 쪽으로 이끈 채팅은 예열된 모델이 하는 말을 알려 줄 뿐, 처음 오는 구매자가 보는 것을 알려 주지 않습니다.
그다음 같은 가이드가 구매자는 무엇을 한다고 말하는지 읽어 보십시오. 공급사를 고르는 사람은 무엇을 봐야 하는지 묻고, 제약을 말하고, 비교를 요청하고, 어디서 사는지 묻습니다. Google은 그것을 제품의 핵심으로 다룹니다. AI Mode 도움말 페이지는 무엇이든 묻고 답을 받을 수 있으며, 후속 질문으로 더 깊이 들어갈 수 있다고 말합니다. 이 엔진들이 중심에 두는 상호작용은 여러 턴에 걸쳐 이어집니다. 모든 AI 가시성 리포트의 모든 수치는 첫 턴의 수치입니다.
대화 200,000개 실험은 하락이 두 번째 턴에 온다는 것을 발견했습니다
이에 대한 대규모 통제 측정은 하나 있습니다. Microsoft Research의 Philippe Laban과 Jennifer Neville, Salesforce Research의 Hiroaki Hayashi와 Yingbo Zhou가 2025년 5월 9일에 발표했습니다. 생성 과제 여섯 개에 걸쳐 완전히 명시된 지시 600개를 가져와 각각을 조각으로 나누고, 시뮬레이션된 사용자가 턴마다 최대 한 조각씩 드러내게 했습니다. 모델 15개, 시뮬레이션 대화 200,000개 이상입니다.
지시 전체를 메시지 하나로 받았을 때 약 90%를 기록한 모델들이, 같은 정보가 여러 턴에 걸쳐 오자 약 65%를 기록했습니다. 모델과 과제를 평균하면 저하는 39%였고, 모든 모델이 모든 과제에서 저하되었습니다.
지시를 나누면 다시 쓰는 과정에서 정보가 빠질 수도 있습니다. 그들은 이를 통제했습니다. 같은 조각을 다시 글머리 목록 하나로 이어 붙이자 원본의 95.1%를 기록했습니다. 다시 쓰기의 비용은 없고, 턴이 모든 비용을 만듭니다. 조각을 두 개부터 여덟 개까지 나누는 정도를 바꿔 보자, 손상은 두 개에서 나타났고 그 뒤로는 평평했습니다.
모델의 능력이 떨어진 것이 아닙니다. 반복성이 떨어졌습니다.
누군가에게 백분율을 보고한다면 이 부분이 중요합니다. 논문은 성능을 적성, 즉 반복 실행 점수의 90번째 백분위수와, 비신뢰성, 즉 90번째와 10번째의 격차로 나눕니다. 멀티턴 적성은 약 16% 떨어졌습니다. 비신뢰성은 112% 올랐습니다. 최고의 멀티턴 실행은 최고의 단일 턴 실행에 거의 맞먹고 최악은 훨씬 나쁘며, 고정된 지시에서의 퍼짐은 평균 약 50포인트였습니다.
흔한 처방 두 가지는 모두 도움이 되지 않았습니다. o3와 DeepSeek R1도 다른 모델처럼 길을 잃었고, 저자들은 길이를 탓합니다. 추론 모델은 약 33% 더 긴 답을 써서 자기 가정을 더 많이 끌고 갔습니다. 온도를 낮추면 단일 턴 설정에서는 비신뢰성이 50~80% 줄었지만 멀티턴 설정에서는 쓸모가 없었고, 0으로 고정해도 30% 근처에 머물렀습니다.
이를 가시성 리포트에 비춰 읽어 보십시오. 첫 턴에서 한 번 읽은 후보 목록은 이미 잡음이 많은 과정의 표본 하나이며, 그래서 저희는 모든 백분율 옆에 구간을 표시합니다. 세 번째 턴에서 한 번 읽은 후보 목록은 퍼짐이 두 배인 과정의 표본 하나입니다.
첫 턴의 후보 목록은 두 번째 턴의 입력이 됩니다
OpenAI는 그 메커니즘을 문서로 밝힙니다. 각 요청은 독립적이고 상태가 없으며, 멀티턴 대화는 이전 메시지를 새 메시지와 함께 다시 보내는 방식으로 작동합니다. 응답을 ID로 연결할 때도 이전 입력 토큰은 모두 다시 입력 토큰으로 청구된다고 OpenAI는 적습니다. 기록은 기억되는 것이 아니라 다시 보내지며, 거기에는 어시스턴트 자신의 이전 답도 포함됩니다.
그래서 구매자가 후속 질문을 하면 모델은 자신의 첫 턴 후보 목록을 입력의 일부로 읽으며, Laban과 동료들은 이전 답변 시도에 대한 과도한 의존을 이 효과의 네 가지 원인 중 하나로 꼽습니다. 이는 아직 증명하지 못한 무언가를 가리킵니다. 첫 턴에서는 자리를 놓고 경쟁하고, 두 번째 턴에서는 모델이 이미 써 놓은 목록과 다툽니다. 브랜드 후보 목록에서 이를 측정한 사람은 없습니다. 저희가 걸 만한 해석입니다.
저희가 측정하는 것, 그리고 저희 누구에게도 없는 수치
Proofsource 서비스는 구조상 단일 턴을 샘플링합니다. 각 Prompt를 반복해서 묻고, 가시성을 점이 아니라 Wilson 구간으로 채점하며, 같은 질문을 이틀 연속 묻는 테스트-재테스트 리포트를 실행합니다. 그중 어느 것도 후속 질문을 후속 질문으로 샘플링하지 않습니다. 저희 것을 포함해 저희가 아는 어떤 도구도 그렇게 하지 않으며, 없는 범위를 암시하느니 그렇다고 적겠습니다.
보여 드릴 수 있는 것은 이웃 효과입니다. 질문을 바꾸면 언급되는 집합이 바뀝니다. 비즈니스 소프트웨어 카테고리의 한 브랜드에 대한 전체 리포트에서, 카테고리 질문은 공급사 14곳을 돌려줬고 그 브랜드는 없었습니다. 이름으로 묻자 같은 엔진은 그 브랜드를 카테고리 선두 플랫폼 중 하나라고 부르고 별 4~5개로 평가했습니다. 그 상업적 질문 하나의 표현 16가지에서 경쟁사 6곳은 11개 이상에 나왔고, 그 브랜드는 많아야 2개에 나왔습니다. 브랜드 하나, 엔진 하나의 저희 것이며, 턴 결과가 아니라 표현 결과입니다.
- 후속 질문을 별도 Prompt로 쓰십시오. "best project management tool"과 "best project management tool for a twelve person team on no budget"은 하나가 아니라 두 Prompts입니다.
- 제약을 첫 메시지에 넣으십시오. 논문이 사용자에게 주는 조언이며, 다음 달과 비교할 수 있는 수치를 얻는 유일한 방법입니다.
- 세 턴짜리 대화의 스크린샷을 어느 쪽으로든 증거로 다루지 마십시오. 지금까지 측정된 가장 반복성 낮은 설정에서의 실행 한 번입니다.
이 분석이 틀릴 수 있는 부분
가장 큰 공백은 전이입니다. 과제 여섯 개는 Python 함수, SQL 쿼리, API 호출, 초등 산수, 표 캡션, 쿼리 중심 요약입니다. 공급사를 추천하는 것은 없습니다. 논문은 모델이 여러 턴에 걸쳐 오는 요구사항을 놓치고, 그럴 때 반복성이 크게 떨어진다는 것을 입증합니다. 브랜드 후보 목록이 같은 방식으로 움직인다는 것은 입증하지 않습니다. 저희는 그렇다고 생각하며, 측정하지는 않았습니다.
사용자는 사람이 아니라 작은 모델로 시뮬레이션되었고, 과제는 영어, 텍스트만, 분석형입니다. 저자들은 이를 모두 밝히며, 자신들의 조건이 충분히 순해서 실제 저하는 아마 더 클 것이라고 주장합니다. 방향은 뒷받침하지만 크기에 대해서는 믿을 만한 것을 말하지 않습니다. 또한 2025년 모델이며, 저희가 추적하는 엔진 네 곳 중 어느 것도 자체 멀티턴 신뢰도 수치를 공개하지 않습니다.
표현 16가지 수치는 브랜드 하나, 카테고리 하나, 엔진 하나, 리포트 하나입니다. 질문이 목록을 결정한다는 것을 보여 줄 뿐 턴 측정이 아닙니다. 실제 구매 대화가 얼마나 자주 한 턴을 넘기는지에 대한 수치도 없습니다. Google이 후속 질문을 AI Mode의 핵심이라 부르는 것은 설계 방침이지 빈도가 아닙니다.
저희가 변호할 수 있는 것은 좁고, 저희에게 조금 불편합니다. 이 카테고리의 모든 제품이 보고하는 것은 첫 턴이고, 모두가 이야기하는 것은 대화이며, 지금 그 차이를 측정하는 곳은 저희를 포함해 아무도 없습니다.
