ChatGPT có đưa cùng một câu trả lời cho mọi người không? Không, và đây là lý do.

Vì nó chọn từng từ bằng cách lấy mẫu từ các xác suất thay vì tra cứu một câu trả lời được lưu sẵn. Tài liệu API của OpenAI nói chat completions mặc định là không tất định, nghĩa là kết quả của mô hình có thể khác nhau giữa các yêu cầu. Ngay cả nhà phát triển cố định mọi thiết lập cũng được cảnh báo rằng các thay đổi của chính OpenAI đối với cấu hình mô hình có thể ảnh hưởng đến kết quả.

Trong một câu trả lời ngắn mang tính dữ kiện, cách diễn đạt thay đổi nhưng nội dung giữ nguyên. Trong danh sách sản phẩm được đề xuất, chính cơ chế lấy mẫu đó quyết định tên nào lọt vào và theo thứ tự nào, nên các thương hiệu trong danh sách có thể thay đổi giữa các lần hỏi.

Có, khi ChatGPT tìm kiếm trên web. Các trang mà lượt tìm kiếm trả về phụ thuộc vào nơi nó chạy, và công cụ tìm kiếm web của chính OpenAI dành cho nhà phát triển nhận vị trí gần đúng của người dùng, gồm quốc gia, thành phố, vùng và múi giờ, để tinh chỉnh kết quả theo địa lý. Một người mua ở London và một người ở Chicago cùng hỏi "the best payroll software" có thể nhận được các lựa chọn địa phương khác nhau, và cả hai câu trả lời đều đúng với nơi họ hỏi. Đó là lý do trên gói trả phí của Proofsource, mỗi câu hỏi có thể được hỏi từ thị trường mà nó nhắm tới và mỗi thị trường được đọc riêng.

Nhiều hơn hầu hết chủ thương hiệu nghĩ. Trong lấy mẫu của chính Proofsource, 9% đến 27% thương hiệu được nêu tên trong câu trả lời của một công cụ thay đổi từ ngày này sang ngày khác, tùy công cụ: Perplexity biến động nhiều nhất và Claude ít nhất. Đó là khi không ai đăng gì cả.

Mẫu nhỏ che giấu điều này. Trong ví dụ công khai về Tesla, ChatGPT nêu tên Tesla trong 16 trên 25 câu trả lời cho người mua, tức 64%, nhưng khoảng tin cậy Wilson 95% trải từ khoảng 45% đến 80%. 25 câu trả lời khác vào một ngày khác có thể rơi vào bất kỳ đâu trong khoảng đó mà không có gì thay đổi.

Hỏi cùng các câu hỏi nhiều lần, từ những phiên không có lịch sử cá nhân, và báo cáo một tỷ lệ kèm khoảng tin cậy thay vì một kết quả đơn lẻ. Đó chính là điều Proofsource làm. Nó hỏi các câu hỏi của người mua của bạn trên ChatGPT, Perplexity, Claude và Google AI Overviews, giữ lại mọi câu trả lời, ghi lại thương hiệu nào được nêu tên và mô hình nào viết từng câu trả lời, và gắn khoảng tin cậy Wilson 95% cho mọi tỷ lệ.

Một thay đổi chỉ được đánh dấu khi nó lớn hơn khoảng tin cậy, nên một ngày thứ Ba yên ả sẽ không bị báo cáo như một cuộc khủng hoảng. Phương pháp được trình bày trên trang phương pháp, và bản dùng thử là 2 ngày hiển thị đầy đủ trên AI, hôm nay và ngày mai.

1. Cuộc trò chuyện của chính bạn là phép thử kém tin cậy nhất. Bộ nhớ và lịch sử của bạn có thể đẩy ChatGPT về phía thương hiệu của bạn.
2. Dùng cuộc trò chuyện tạm thời hoặc cửa sổ chưa đăng nhập để có cái nhìn khách quan hơn, và đặt câu hỏi như người mua, không có tên thương hiệu của bạn trong đó.
3. Hỏi nhiều lần, và vào nhiều ngày, trước khi kết luận.
4. Kiểm tra các công cụ khác. Perplexity, Claude và Google AI Overviews có thể trả lời khác ChatGPT cho cùng một câu hỏi.