Không ai nói bạn nên làm gì với hai con số đã có trên màn hình
Chỉ số hiển thị trên AI của bạn đã thay đổi. Lần chạy tuần trước cho thấy 42% prompt của bạn nêu tên bạn, tuần này là 30%. Mười hai điểm. Trước khi đi tìm thứ gì đã hỏng, có một câu hỏi nhỏ hơn chắn đường: thực sự có gì xảy ra không?
Lời khuyên đã công bố rất mỏng, và tất cả đều nói về lần đo tiếp theo. Chạy nhiều mẫu hơn. Theo dõi hằng tuần thay vì hằng ngày. Giữ nguyên bộ prompt. Đều hợp lý, nhưng không giúp gì cho hai lần đo bạn đã có. Nên hầu hết mọi người quay về thứ bảng điều khiển khiến họ dễ làm nhất và kiểm tra xem các thanh sai số có chồng nhau không. Đó là phép kiểm định sai, và nó sai theo hướng gần như không ai ngờ.
Hai khoảng 95% chồng nhau hơn 99% số lần khi không có gì thay đổi
Mark Payton, Matthew Greenstone và Nathaniel Schenker đã tính ra điều này trên Journal of Insect Science năm 2003. Lấy hai mẫu từ hai tổng thể thực sự giống hệt nhau và đặt một khoảng tin cậy 95% lên mỗi mẫu. Hai khoảng đó chồng nhau bao nhiêu lần? Phép tính cho mẫu lớn của họ cho kết quả trên 99%, và mô phỏng của họ, 10.000 cặp với n=10, ra 0,995.
Vậy kiểm tra xem hai khoảng 95% có chồng nhau không không phải là phép thử 5%. Nó gần với phép thử 1% hơn. Bạn sẽ gần như không bao giờ kết luận một khác biệt là thật, kể cả khi nó thật.
Cùng bài báo xét trường hợp ngược lại. Thanh sai số chuẩn thông thường chồng nhau 84,3% số lần khi không có gì xảy ra, nên nhìn bằng mắt các thanh đó là một phép thử với tỷ lệ báo động giả gần 15%. Cứ sáu lần thì có một lần bạn đi tìm một nguyên nhân không tồn tại.
Họ cũng đưa ra cách hiệu chỉnh. Để phép kiểm tra độ chồng hoạt động như một phép thử 5%, với sai số chuẩn xấp xỉ bằng nhau, các khoảng cần rộng khoảng 83% hoặc 84%. Với n=10, các khoảng 84% của họ chồng nhau 94,9% số lần, đúng là mức 5% bạn cần.
Một mức giảm, ba kết luận, và cả ngành dùng kết luận im lặng nhất
Hãy đặt phép tính thật lên mức giảm từ 42% xuống 30%. Giả sử đó là 200 prompt trên một công cụ AI, 84 prompt nêu tên bạn ở lần chạy đầu và 60 ở lần thứ hai.
- Khoảng Wilson 95%: 42% nằm trong 35,4% đến 48,9%, và 30% nằm trong 24,1% đến 36,7%. Chúng chồng nhau khoảng một điểm. Kết luận: không có gì đáng chú ý.
- Một phép kiểm định hai tỷ lệ tiêu chuẩn trên cùng hai con số: z = 2,50, p = 0,012. Kết luận: thật.
- Khoảng Wilson 84%, theo cách hiệu chỉnh ở trên: 37,2% đến 47,0% so với 25,7% đến 34,7%. Tách rời rõ ràng. Kết luận: thật, và giờ nó khớp với phép kiểm định, đó chính là mục đích của việc hiệu chỉnh.
Cùng một bộ prompt chạy hai lần là phép đo ghép cặp, và ghép cặp là nơi có sức mạnh
Có một lỗi lớn hơn nằm dưới cả ba. Phép kiểm định hai tỷ lệ coi các lần chạy là những mẫu độc lập. Chúng không độc lập. Chạy lại cùng 200 prompt trên cùng công cụ AI thì mỗi prompt được đo hai lần, nên phép so sánh phải đi theo từng prompt.
Phần lớn prompt sẽ không thay đổi, và những prompt nêu tên bạn cả hai lần hoặc không lần nào không nói gì về sự thay đổi. Toàn bộ thông tin nằm ở các prompt đã đổi kết quả.
Giả sử 30 prompt bỏ bạn và 6 prompt bắt đầu nêu tên bạn. Cùng mức ròng 24 prompt, cùng 12 điểm. Phép kiểm định McNemar trên 36 lượt đổi đó, phép kiểm định chuẩn cho dữ liệu nhị phân ghép cặp, cho chi bình phương 16,0 với 1 bậc tự do, nên p khoảng 0,00006. Phép kiểm định độc lập trên cùng dữ liệu cho 0,012. Ghép cặp đã loại bỏ phương sai đến từ việc các prompt khác nhau, và giữ lại phương sai mà bạn thực sự quan tâm.
Thay đổi bộ prompt giữa các lần chạy là bạn mất lợi thế đó, và không thống kê nào trả lại được. Hãy giữ nguyên bộ prompt và bắt đầu các prompt mới thành một chuỗi riêng.
Cảnh báo của chúng tôi cũng dùng cổng thận trọng, và đây là cái giá bạn phải trả
Quy tắc cảnh báo của chúng tôi cần hai điều. Khoảng Wilson của điểm cũ và điểm mới không được chồng nhau, và mức thay đổi phải vượt ngưỡng bạn đặt theo hướng bạn chọn. Phép kiểm tra khoảng chạy trước, nên nếu các thanh chạm nhau thì không có gì được kích hoạt, bất kể ngưỡng nói gì.
Đó là cổng thận trọng và chúng tôi chọn nó có chủ đích. Một cảnh báo không ai tin còn tệ hơn không có cảnh báo. Nhưng theo các con số ở trên, nó gần như là phép thử 1%, nên mức giảm 12 điểm trong ví dụ đi qua trong im lặng. Đó là một cái giá thật, và chúng tôi thà viết nó ra còn hơn để bạn tự phát hiện.
Bên dưới phép tính có một mức sàn quan trọng hơn. Chạy lại một bộ prompt y hệt trên một trang web không ai động vào và con số vẫn thay đổi, vì các công cụ AI không lặp lại chính mình. Tài liệu của chính OpenAI nói thẳng: chat completions mặc định là không tất định, và ngay cả khi đặt seed, hệ thống của họ "will make a best effort to sample deterministically" và "determinism is not guaranteed". Trong quá trình lấy mẫu của chính chúng tôi, chúng tôi thấy 9 đến 27% nhóm được nêu tên thay đổi từ ngày này sang ngày khác, và mức cụ thể tùy công cụ AI. Đó là khi không ai đăng gì cả.
Đó là lý do Proofsource chạy một báo cáo kiểm tra lặp lại: cùng bộ prompt cố định, cùng công cụ AI, hai lần mỗi ngày, trên một trang web không thay đổi. Nó cho bạn biết độ lớn nhiễu của chính bạn trước khi bạn đặt ngưỡng lên trên. Bỏ qua bước đó thì ngưỡng của bạn chỉ là phỏng đoán.
Điều này có thể sai ở đâu
Payton và cộng sự rút ra kết quả cho giá trị trung bình từ các tổng thể phân phối chuẩn, giả định sai số chuẩn bằng nhau và mẫu lớn. Mức hiển thị là một tỷ lệ, và khoảng Wilson trở nên bất đối xứng gần 0 và 100%. Hướng kết luận vẫn giữ nguyên, khoảng 95% chồng nhau là quá thận trọng cho phép thử 5%, nhưng hãy coi 83 đến 84% là quy tắc kinh nghiệm cho trường hợp của chúng tôi chứ không phải một chứng minh. Gần các giá trị cực trị, hãy chạy chính phép kiểm định.
Ví dụ là phép tính, không phải phép đo. 200 prompt, con số 84 và 60, 30 lượt đổi so với 6 là những con số chúng tôi chọn để nhất quán và cho thấy khoảng cách. Con số của bạn sẽ khác, và tỷ lệ chia là thứ cần xem.
Ý nghĩa thống kê và "bạn gây ra điều này" là hai khẳng định riêng biệt, và ở đây chỉ bàn đến cái đầu tiên. Một giá trị p 0,00006 so với nhiễu lấy mẫu nói rằng hành vi của công cụ AI đã thay đổi giữa hai lần chạy. Nó không nói gì về lý do. Với mức biến động như chúng tôi đo được, một thay đổi có ý nghĩa thống kê vẫn có thể là do công cụ AI tự trôi.
Con số 9 đến 27% là của chúng tôi. Đó là những gì chúng tôi thấy trên các công cụ AI chúng tôi lấy mẫu, không phải một hằng số đã công bố, và không thay thế được việc tự đo của bạn.
