Một lần kiểm tra có nêu tên bạn vẫn phù hợp với tỷ lệ thật 20,7%
Cách phổ biến nhất để một thương hiệu biết mình đứng ở đâu trong tìm kiếm AI là ai đó hỏi câu hỏi một lần, đọc câu trả lời, rồi hoặc yên tâm hoặc hoảng hốt. Câu trả lời duy nhất đó trở thành con số mà ai cũng nhắc lại trong cuộc họp tiếp theo.
Hãy nhìn nó đúng bản chất. Một câu hỏi, hỏi một lần, kết quả có hoặc không, là một mẫu cỡ một từ một đồng xu có độ lệch bạn không biết. Khoảng điểm Wilson là cách tiêu chuẩn để đặt giới hạn cho loại tỷ lệ đó. Chạy nó với một lần thành công trên một phép thử ở độ tin cậy 95% và kết quả là 20,7% đến 100%.
Nói đơn giản: một mô hình nêu tên bạn trong một lần kiểm tra hoàn toàn phù hợp với một mô hình chỉ nêu tên bạn trong một trên năm câu trả lời. Ảnh chụp màn hình không phân biệt được hai trường hợp đó. Bạn cũng vậy.
Trường hợp bị bỏ sót còn tệ hơn. Không trên một cho khoảng 0% đến 79,3%, và các đội thường xuyên viết lại cả kế hoạch nội dung chỉ dựa vào đúng điều đó.
Cùng một prompt trả về câu trả lời khác vì những ai khác cũng đang hỏi
Điều này sẽ không quan trọng nếu các công cụ là tất định. Chúng không như vậy, và lý do cụ thể hơn lời giải thích chung chung về tính ngẫu nhiên. OpenAI nói thẳng trong hướng dẫn API của mình: Chat Completions mặc định không tất định, nghĩa là đầu ra của mô hình có thể khác nhau giữa các yêu cầu. Một seed mang lại cho bạn thứ mà cùng trang đó gọi là đầu ra gần như tất định, và OpenAI cung cấp system fingerprint để bạn biết khi nào một thay đổi ở backend đã làm xê dịch nền tảng dưới chân.
Thinking Machines Lab đã đo điều đó. Vào tháng 9 năm 2025, phòng thí nghiệm lấy mẫu 1.000 lần hoàn thành từ Qwen3-235B-A22B-Instruct-2507 ở nhiệt độ bằng không, tức lấy mẫu tham lam và về lý thuyết phải lặp lại hoàn hảo, với prompt "Tell me about Richard Feynman". Họ nhận được 80 kết quả khác nhau, kết quả phổ biến nhất xuất hiện 78 lần. Cả 1.000 lần chạy giống nhau ở 102 token đầu và tách ra ở token thứ 103: 992 lần tiếp tục với "Queens, New York" và 8 lần với "New York City".
Nguyên nhân họ chỉ ra không phải tính ngẫu nhiên của GPU. Các kernel cho kết quả giống nhau giữa các lần chạy, nhưng không bất biến theo batch, nên một yêu cầu nhận phép tính hơi khác tùy batch mà nó rơi vào, và kích thước batch do tải máy chủ quyết định. Kết luận của họ đáng đọc hai lần: lý do chính khiến gần như mọi endpoint suy luận LLM không tất định là tải, và do đó kích thước batch, thay đổi một cách không tất định.
Nghĩa là câu trả lời bạn chụp màn hình phần nào phụ thuộc vào việc có bao nhiêu người lạ đang truy vấn cùng endpoint vào đúng giây đó. Đó không phải tín hiệu về thương hiệu của bạn.
Hai mươi mẫu vẫn để lại khoảng bốn mươi điểm
Một khi bạn chấp nhận con số mức độ hiển thị là tỷ lệ ước lượng từ mẫu, câu hỏi tiếp theo là mẫu phải lớn đến đâu. Khoảng Wilson trả lời câu hỏi đó, và câu trả lời khiến người ta khiêm tốn. Tất cả các trường hợp sau đều giả định mô hình nêu tên bạn 60% thời gian:
- 5 mẫu, 3 lượt nhắc đến: 23,1% đến 88,2%. Khoảng 65 điểm. Bạn chỉ biết thương hiệu có tồn tại.
- 20 mẫu, 12 lượt nhắc đến: 38,7% đến 78,1%. Khoảng 39 điểm, gần hết thang đo.
- 40 mẫu, 24 lượt nhắc đến: 44,6% đến 73,7%. Giờ bạn có thể loại trừ khả năng hoàn toàn vô hình.
- 100 mẫu, 60 lượt nhắc đến: 50,2% đến 69,1%. Vẫn rộng 19 điểm.
- 366 mẫu: điểm đầu tiên khoảng tin cậy thu hẹp còn cộng trừ 5 điểm. Để đạt cộng trừ 3 điểm cần 1.021 mẫu.
Phần lớn biến động được báo cáo trên bảng điều khiển mức độ hiển thị AI chưa hề xảy ra
Đây là nơi phép tính bắt đầu tốn tiền. Lấy mẫu một prompt 40 lần trong tuần một và thấy 24 lượt nhắc đến, rồi 40 lần trong tuần hai và thấy 32. Trông như tăng từ 60% lên 80%, và đến thứ Sáu nó sẽ nằm trên một slide.
Hai khoảng tin cậy là 44,6% đến 73,7% và 65,2% đến 89,5%. Chúng chồng lên nhau. Một biến động 20 điểm trên 40 mẫu chưa phải là kết quả, và điều đúng để nói với cả phòng là chưa có gì được xác lập. Làm vậy vài lần thì mọi người sẽ thôi chạy theo nhiễu.
Đó là lý do chúng tôi đặt cổng cảnh báo trong Proofsource theo khoảng tin cậy thay vì ước lượng điểm, và lý do mọi tỷ lệ mức độ hiển thị trong báo cáo của chúng tôi đều có khoảng Wilson đi kèm. Một cảnh báo kích hoạt khi con số vượt qua một vạch sẽ kích hoạt liên tục trên một hệ thống nhiều nhiễu như thế này. Một cảnh báo kích hoạt khi các khoảng tách ra thì kích hoạt khi thực sự có chuyện.
Logic tương tự áp dụng cho con số không. Không có lượt nhắc đến nào trong 20 mẫu để lại giới hạn trên 16,1%, và không có trong 40 mẫu để lại 8,8%. Nếu bạn muốn khẳng định một công cụ không bao giờ nêu tên bạn, 40 mẫu là khoảng nơi khẳng định đó bắt đầu có ý nghĩa.
Dùng khoảng Wilson, không phải khoảng bạn được dạy
Một lưu ý kỹ thuật, vì phương án hiển nhiên lại thất bại đúng ở những trường hợp quan trọng ở đây. Khoảng mà hầu hết mọi người được học là khoảng Wald, dựng từ xấp xỉ chuẩn đơn giản. Với một thành công trên một phép thử, nó báo 100% đến 100%, và với không trên một, nó báo 0% đến 0%. Nó nói với bạn rằng một lần kiểm tra là chắc chắn, chính là sai lầm chúng ta đang cố sửa.
Điều này đã được ghi nhận rõ. Bài tổng quan của Brown, Cai và DasGupta trên Statistical Science cho thấy độ bao phủ thất thường của khoảng Wald dai dẳng hơn nhiều so với người ta nghĩ, rằng các chỉ dẫn phổ biến trong sách giáo khoa về khi nào dùng nó an toàn là gây hiểu lầm, khiếm khuyết và không thể tin cậy, và họ khuyến nghị Wilson cho mẫu nhỏ. Lấy mẫu công cụ trả lời là mẫu nhỏ, vì mỗi prompt bạn theo dõi có số đếm riêng.
Làm gì vào thứ Hai
Không điều gì ở đây đòi hỏi phải mua gì. Chỉ cần thay đổi những gì bạn ghi chép.
- Ngừng báo cáo một lần kiểm tra. Nếu ảnh chụp màn hình là bằng chứng, phát hiện chỉ là thương hiệu có thể xuất hiện, không hơn.
- Chọn cỡ mẫu trước khi xem dữ liệu, và giữ nguyên mỗi kỳ. Thay đổi n giữa các lần đọc khiến hai con số không thể so sánh, ngay cả khi cả hai đều trung thực.
- Báo cáo khoảng, không phải điểm. Một hàng ghi 60% với khoảng 45 đến 74 khó bị đọc quá mức hơn một hàng chỉ ghi 60%.
- Đặt ngưỡng cảnh báo theo sự tách biệt của khoảng, và rải mẫu ra nhiều ngày. Hai khoảng chồng lên nhau không phải là thay đổi, dù hai trung điểm trông khác nhau đến đâu.
Điều này có thể sai ở đâu
Các con số Wilson ở trên là phép tính chính xác trên dữ liệu đầu vào đã nêu, nên bản thân con số không có gì phải nghi ngờ. Giả định mô hình đằng sau chúng mới đáng nghi. Khoảng Wilson giả định các phép thử độc lập với xác suất thành công cố định, còn các truy vấn lặp lại tới một công cụ đang chạy không độc lập một cách sạch sẽ: cá nhân hóa, bộ nhớ đệm, ngữ cảnh phiên và một phiên bản mô hình ra mắt giữa tuần đều vi phạm giả định đó. Hãy coi các khoảng này là mức sàn cho độ bất định của bạn, không phải toàn bộ.
Thí nghiệm của Thinking Machines chạy một mô hình trọng số mở tự lưu trữ trên hạ tầng riêng của phòng thí nghiệm, không phải ChatGPT, Gemini hay Perplexity. Nó xác lập cơ chế, không phải mức biến động của bất kỳ sản phẩm thương mại nào, và không nhà cung cấp nào công bố con số của mình.
Con số 60% trong bảng cỡ mẫu chỉ là minh họa. Chúng tôi chọn nó vì khoảng rộng nhất ở gần giữa, nên đó là trường hợp thận trọng. Một thương hiệu ở mức 5% hay 95% cần ít mẫu hơn cho cùng độ chính xác tuyệt đối.
Điều chúng tôi sẵn sàng bảo vệ là hướng của sai số. Mẫu nhỏ, một lần kiểm tra và ước lượng điểm không có khoảng đều đẩy về cùng một phía: tin rằng bạn đã đo được điều gì đó trong khi thực ra chưa.
