Hướng dẫn nào cũng bảo bắt đầu một cuộc chat mới, rồi mô tả một người mua hỏi năm lượt
Cách tiêu chuẩn để kiểm tra một công cụ trả lời có nêu tên thương hiệu của bạn không là viết một bộ câu hỏi của người mua, chạy từng câu trong một cuộc chat hoàn toàn mới không có ngữ cảnh trước, và ghi lại ai được nêu tên. Chúng tôi cũng làm vậy, vì một lý do chính đáng: một cuộc chat bạn đã lái về phía thương hiệu của mình chỉ cho biết một mô hình đã được làm nóng nói gì, không phải một người mua lạ nhìn thấy gì.
Rồi hãy đọc những gì chính các hướng dẫn đó nói người mua đang làm. Người chọn nhà cung cấp hỏi nên tìm điều gì, nêu một ràng buộc, xin một bảng so sánh, hỏi mua ở đâu. Google coi đó là mục đích của sản phẩm: trang trợ giúp về AI Mode nói bạn có thể hỏi bất cứ điều gì và nhận câu trả lời, với khả năng đào sâu hơn qua các câu hỏi tiếp theo. Tương tác mà các công cụ AI này được xây dựng xoay quanh kéo dài nhiều lượt. Mọi con số trong mọi báo cáo hiển thị trên AI là con số ở lượt đầu tiên.
Một thí nghiệm 200.000 cuộc trò chuyện cho thấy sự sụt giảm đến ngay ở lượt thứ hai
Có một phép đo có kiểm soát quy mô lớn về điều này. Philippe Laban và Jennifer Neville tại Microsoft Research, cùng Hiroaki Hayashi và Yingbo Zhou tại Salesforce Research, công bố nó ngày 9 tháng 5 năm 2025. Họ lấy 600 chỉ dẫn đầy đủ trên sáu tác vụ sinh nội dung, chia mỗi chỉ dẫn thành nhiều phần, và để một người dùng mô phỏng tiết lộ tối đa một phần mỗi lượt. Mười lăm mô hình, hơn 200.000 cuộc trò chuyện mô phỏng.
Những mô hình đạt khoảng 90% khi nhận toàn bộ chỉ dẫn trong một tin nhắn chỉ đạt khoảng 65% khi cùng thông tin đó đến qua nhiều lượt. Tính trung bình trên các mô hình và tác vụ, mức suy giảm là 39%, và mọi mô hình đều suy giảm ở mọi tác vụ.
Việc chia nhỏ một chỉ dẫn có thể chỉ đơn giản làm mất thông tin khi viết lại. Họ đã kiểm soát điều đó: ghép các phần đó trở lại thành một danh sách gạch đầu dòng đạt 95,1% so với bản gốc. Việc viết lại không tốn gì, các lượt mới tốn tất cả. Khi thay đổi mức độ chia nhỏ, từ hai phần lên tám phần, thiệt hại xuất hiện ở hai phần và giữ nguyên sau đó.
Các mô hình không kém năng lực hơn. Chúng kém khả năng lặp lại hơn.
Đây là phần quan trọng nếu bạn báo cáo một tỷ lệ phần trăm cho bất kỳ ai. Bài báo chia hiệu suất thành năng lực, tức điểm phân vị thứ 90 qua các lần chạy lặp lại, và độ bất ổn, tức khoảng cách giữa phân vị thứ 90 và thứ 10. Năng lực nhiều lượt giảm khoảng 16%. Độ bất ổn tăng 112%. Lần chạy nhiều lượt tốt nhất gần bằng lần chạy một lượt tốt nhất còn lần tệ nhất thì tệ hơn nhiều, với độ phân tán trên một chỉ dẫn cố định trung bình khoảng 50 điểm.
Không biện pháp quen thuộc nào giúp được. o3 và DeepSeek R1 cũng lạc hướng như mọi mô hình khác, và các tác giả quy cho độ dài: mô hình suy luận viết câu trả lời dài hơn khoảng 33%, mang theo nhiều giả định của chính nó hơn. Giảm temperature cắt độ bất ổn 50 đến 80% trong bối cảnh một lượt và không giúp gì đáng kể trong bối cảnh nhiều lượt, nơi nó vẫn ở gần 30% kể cả khi đặt bằng 0.
Hãy đọc điều đó bên cạnh một báo cáo hiển thị. Một danh sách rút gọn đọc một lần ở lượt đầu tiên đã là một mẫu của một quá trình nhiều nhiễu, đó là lý do chúng tôi công bố một khoảng tin cậy bên cạnh mọi tỷ lệ phần trăm. Một danh sách rút gọn đọc một lần ở lượt thứ ba là một mẫu của một quá trình có độ phân tán gấp đôi.
Danh sách rút gọn ở lượt đầu trở thành đầu vào của lượt thứ hai
OpenAI ghi lại cơ chế này trong tài liệu. Mỗi yêu cầu là độc lập và không lưu trạng thái, và một cuộc trò chuyện nhiều lượt hoạt động bằng cách gửi lại các tin nhắn trước cùng với tin nhắn mới. Ngay cả khi bạn nối các phản hồi bằng ID, OpenAI lưu ý, mọi token đầu vào trước đó đều bị tính phí lại như token đầu vào. Lịch sử không được ghi nhớ, nó được gửi lại, và bao gồm cả câu trả lời trước đó của chính trợ lý.
Vậy khi người mua hỏi tiếp, mô hình đọc danh sách rút gọn ở lượt đầu của chính nó như một phần đầu vào, và Laban cùng cộng sự nêu việc dựa quá nhiều vào các câu trả lời trước là một trong bốn nguyên nhân của hiệu ứng này. Điều đó chỉ về một thứ chúng tôi chưa chứng minh được: ở lượt đầu bạn cạnh tranh một vị trí, ở lượt thứ hai bạn tranh luận với một danh sách mà mô hình đã viết ra. Chưa ai đo điều đó trên danh sách rút gọn thương hiệu. Đó là cách đọc mà chúng tôi sẽ đặt cược.
Những gì chúng tôi đo, và con số không ai trong chúng ta có
Proofsource lấy mẫu một lượt theo thiết kế. Chúng tôi hỏi mỗi prompt nhiều lần, chấm mức hiển thị bằng khoảng Wilson thay vì một điểm, và chạy báo cáo kiểm tra lặp lại hỏi cùng một câu hai ngày liên tiếp. Không điều nào trong đó lấy mẫu một câu hỏi tiếp theo đúng như một câu hỏi tiếp theo. Không công cụ nào chúng tôi biết làm được, kể cả của chúng tôi, và chúng tôi thà viết điều đó ra còn hơn ngụ ý một phạm vi bao phủ mà chúng tôi không có.
Những gì chúng tôi có thể cho thấy là hiệu ứng lân cận: đổi câu hỏi thì nhóm được nêu tên thay đổi. Trong một báo cáo đầy đủ về một thương hiệu trong ngành phần mềm doanh nghiệp, câu hỏi về ngành trả về mười bốn nhà cung cấp và thương hiệu không nằm trong số đó. Khi được hỏi đích danh, cùng công cụ AI đó gọi nó là một trong những nền tảng hàng đầu trong ngành và chấm bốn đến năm sao. Qua mười sáu cách diễn đạt của cùng một câu hỏi thương mại đó, sáu đối thủ xuất hiện trong mười một cách trở lên, còn thương hiệu xuất hiện nhiều nhất là hai. Đó là dữ liệu của chúng tôi, một thương hiệu và một công cụ AI, và đó là kết quả về cách diễn đạt chứ không phải về lượt hỏi.
- Viết câu hỏi tiếp theo thành một prompt riêng. "Best project management tool" và "best project management tool for a twelve person team on no budget" là hai prompt, không phải một.
- Đưa ràng buộc vào tin nhắn đầu tiên. Đó là lời khuyên của bài báo dành cho người dùng, và là cách duy nhất để có một kết quả đo bạn có thể so sánh vào tháng sau.
- Đừng coi ảnh chụp màn hình một cuộc trò chuyện ba lượt là bằng chứng, dù theo hướng nào. Đó là một lần chạy của bối cảnh kém lặp lại nhất mà bất kỳ ai từng đo.
Điều này có thể sai ở đâu
Khoảng trống lớn nhất là sự chuyển giao. Sáu tác vụ là hàm Python, truy vấn SQL, gọi API, số học tiểu học, chú thích bảng và tóm tắt theo truy vấn. Không tác vụ nào là đề xuất một nhà cung cấp. Bài báo chứng minh rằng các mô hình mất dấu yêu cầu khi chúng đến qua nhiều lượt và kém lặp lại hơn nhiều khi đó. Nó không chứng minh rằng danh sách rút gọn thương hiệu hoạt động giống vậy. Chúng tôi nghĩ là có, và chúng tôi chưa đo.
Người dùng của nghiên cứu được một mô hình nhỏ mô phỏng thay vì con người, và các tác vụ bằng tiếng Anh, chỉ có văn bản và mang tính phân tích. Các tác giả liệt kê tất cả điều đó, và lập luận rằng điều kiện của họ đủ lành tính để mức suy giảm thực tế có lẽ còn lớn hơn, điều này ủng hộ hướng kết luận nhưng không nói gì đáng tin về độ lớn. Đây cũng là các mô hình năm 2025, và không công cụ AI nào trong bốn công cụ chúng tôi theo dõi công bố con số độ tin cậy nhiều lượt của riêng mình.
Các con số mười sáu cách diễn đạt của chúng tôi là một thương hiệu, một ngành, một công cụ AI, một báo cáo. Chúng cho thấy câu hỏi quyết định danh sách, và chúng không phải phép đo theo lượt. Chúng tôi cũng không có con số về tần suất một cuộc trò chuyện mua hàng thật kéo dài quá một lượt: việc Google gọi câu hỏi tiếp theo là mục đích của AI Mode là một tuyên bố thiết kế, không phải một tần suất.
Điều chúng tôi sẽ bảo vệ thì hẹp và hơi khó xử với chúng tôi. Thứ mọi sản phẩm trong ngành này báo cáo là lượt đầu tiên, thứ mọi người nói đến là cuộc trò chuyện, và hiện tại không ai trong chúng ta đo khoảng chênh lệch đó.
