Được đưa đúng đoạn văn, tám công cụ chỉ sai nguồn 60% số lần
Đây là một bài kiểm tra lẽ ra phải dễ. Lấy một đoạn từ một bài báo đã đăng, dán vào công cụ tìm kiếm AI, và hỏi nó đến từ bài nào, ai đã đăng và URL là gì. Văn bản nằm ngay trong prompt. Không cần đoán gì cả.
Tow Center for Digital Journalism đã làm đúng như vậy vào tháng 2 năm 2025 với tám công cụ: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 bản beta và Gemini. Hai mươi nhà xuất bản, mỗi nhà mười bài, tổng cộng 1.600 truy vấn. Các đoạn trích được chọn sao cho khi dán vào Google bình thường, bài gốc xuất hiện trong ba kết quả đầu.
Tính chung, các công cụ trả lời sai hơn 60% truy vấn. Perplexity tốt nhất nhóm mà vẫn sai 37%. Grok 3 sai 94%. DeepSeek gán đoạn trích cho sai nguồn 115 trên 200 lần.
Điều đáng suy ngẫm là sự tự tin. ChatGPT nhận diện sai 134 bài và chỉ thể hiện sự không chắc chắn mười lăm lần trong hai trăm câu trả lời. Nó không một lần từ chối trả lời.
Tài liệu của chính Perplexity nói dấu trích dẫn phụ thuộc vào prompt và danh sách kết quả mới là sự thật
Nghe như vấn đề chất lượng mô hình. Thực ra nó gần với vấn đề kiến trúc hơn, và bạn có thể đọc kiến trúc đó trong tài liệu dành cho nhà phát triển của chính các nhà cung cấp.
Một lượt tìm kiếm web qua Agent API của Perplexity trả về hai đối tượng riêng. Một là mục search_results chứa các truy vấn đã chạy và mọi kết quả công cụ lấy về, mỗi kết quả có id, url, title và snippet. Đối tượng kia là tin nhắn của trợ lý, tức văn bản câu trả lời. Các dấu trong ngoặc vuông mà ai cũng coi là trích dẫn nằm trong văn bản đó, và trang tham chiếu của công cụ này nói việc mô hình có thêm chúng hay không là phụ thuộc vào prompt, nên bạn nên yêu cầu rõ ràng. Rồi nó cho nhà phát triển biết nên dựa vào đâu: bất kể dấu trích dẫn, hãy coi các trường id và url của từng mục search_results là nguồn sự thật cho trích dẫn.
Hãy đọc điều đó bằng con mắt của một thương hiệu. Nhà cung cấp đang nói với chính nhà phát triển của họ rằng trích dẫn hiển thị không có tính quyết định, còn tập kết quả truy xuất mới có. Bất kỳ ai đo mức độ hiển thị trên AI từ bên ngoài chỉ thấy được trích dẫn hiển thị.
Cùng tài liệu đó cảnh báo không nên yêu cầu mô hình xuất URL trong đầu ra có cấu trúc, vì mô hình tự viết liên kết có thể tạo ra liên kết sai định dạng hoặc bịa đặt, và hướng nhà phát triển quay lại kết quả tìm kiếm. Tow Center đã đo phiên bản phía người dùng của thất bại đó. Hơn một nửa câu trả lời từ Gemini và Grok 3 chứa URL bịa đặt hoặc hỏng, và 154 trong 200 trích dẫn của Grok 3 dẫn tới trang lỗi.
Một trích dẫn do hệ thống trích xuất mang theo vị trí ký tự
Đặt điều đó cạnh một trích dẫn do hệ thống tính toán thay vì do mô hình viết. Tính năng Citations của Anthropic trên Claude API trả về, cho mỗi khẳng định trong câu trả lời, một khối chứa cited_text chính xác, chỉ số của tài liệu nguồn, và vị trí ký tự bắt đầu, kết thúc trong tài liệu đó. Tài liệu nói rõ vì sao hình thức này quan trọng: vì API phân tích trích dẫn và trích xuất cited_text trực tiếp, các trích dẫn được bảo đảm chứa con trỏ hợp lệ tới tài liệu được cung cấp.
API grounding của Google cho Gemini cũng được xây dựng theo cùng hướng. Một câu trả lời có grounding trả về các lượt tìm kiếm mà mô hình thực sự đã chạy, cùng các chú thích url_citation, mỗi chú thích mang start_index và end_index trỏ vào văn bản câu trả lời, nên bạn có thể đánh dấu chính xác đoạn văn và nêu URL đằng sau nó.
Vậy là cơ chế có tồn tại. Một trích dẫn là con trỏ do hệ thống tính toán thì kiểm tra được. Một trích dẫn là chuỗi do mô hình viết là một lời khẳng định, và đáng bị hoài nghi như mọi khẳng định khác trong câu trả lời. Những giao diện mà người mua thực sự dùng chủ yếu hiển thị loại thứ hai.
Đoạn văn của bạn nằm trên tên miền của người khác sẽ nhận công
Tow Center tìm ra một kiểu thất bại tác động lên thương hiệu nặng hơn ai hết. Các công cụ liên tục trích dẫn bản đăng lại thay vì bản gốc. Perplexity Pro trích dẫn bản đăng lại các bài của Texas Tribune trong ba trên mười truy vấn, dù Perplexity có hợp tác với Texas Tribune. ChatGPT trích dẫn bản Yahoo News đăng lại một bài của USA Today.
Phiên bản của thương hiệu thì nhàm chán hơn và phổ biến hơn nhiều. Trang so sánh của bạn giải thích khác biệt thật giữa hai gói. Một blog tổng hợp diễn đạt lại nó. Khi ai đó hỏi câu hỏi về danh mục, bài tổng hợp nhận liên kết, câu chữ của bạn nằm trong câu trả lời, còn tên miền của bạn thì không xuất hiện ở đâu trên trang.
Trong mẫu của chính chúng tôi, với câu hỏi về lựa chọn tốt nhất ở một danh mục chúng tôi thử nghiệm, listicle và bài tổng hợp chiếm khoảng 44% nguồn ChatGPT trích dẫn. Đó là số liệu của chúng tôi và chỉ trong phạm vi chúng tôi lấy mẫu. Nhưng nó khớp với hình dạng của vấn đề: vị trí trích dẫn là một không gian nhỏ, bị tranh giành, và các trang bên thứ ba rất giỏi chiếm giữ chúng.
Đếm ba phát hiện thay vì một
Nếu danh sách liên kết là cách đọc không đáng tin về những gì công cụ đã dùng, thì một con số trích dẫn duy nhất là công cụ đo sai. Ba câu hỏi tách bạch rõ ràng, và mỗi câu dẫn đến một hướng khác nhau.
- Câu trả lời có nêu tên bạn không? Có mặt trong văn bản là một phép đo riêng, và nó biến động độc lập với việc có xuất hiện liên kết hay không.
- Câu trả lời ghi công cho bạn, hay cho một trang mang nội dung của bạn? Nếu là trường hợp sau, bạn có vấn đề về vị trí, và viết lại trang của mình sẽ không chạm tới nó.
- Công cụ có tiếp cận được bạn không? Thiếu trích dẫn khá thường có lời giải thích nhàm chán, và một lần kiểm tra khả năng truy cập của bot sẽ giải quyết điều đó trước khi ai đó viết lại bất cứ thứ gì.
Chúng tôi làm gì với điều này
Đó là lý do Proofsource phát hiện khoảng trống trích dẫn và trích dẫn ma thay vì báo cáo một con số, và lý do mọi điểm dữ liệu đều được gắn nhãn nguồn gốc: quan sát được trong câu trả lời, hay được tạo ra. Một câu trả lời trích ý bạn mà không liên kết tới bạn và một câu trả lời chưa từng thấy bạn trông giống hệt nhau trên một bảng điều khiển chỉ đếm liên kết.
Đó cũng là lý do việc lấy mẫu ghi lại văn bản câu trả lời, không chỉ danh sách nguồn. Nếu câu chữ của bạn xuất hiện trong văn bản trong khi tên miền của người khác xuất hiện trong nguồn, đó là một phát hiện, và là một việc khác với chuyện không được truy xuất.
Điều này có thể sai ở đâu
Các bài kiểm tra của Tow Center chạy vào tháng 2 năm 2025 và công bố vào tháng 3 năm đó. Đó là mười tám tháng trước và mọi sản phẩm trong nhóm đã ra nhiều phiên bản. Hãy coi con số 60% là bằng chứng rằng loại thất bại này có thật và đo được, không phải tỷ lệ lỗi hôm nay. Chúng tôi chưa chạy lại.
Phần giới hạn của chính nghiên cứu nói mỗi truy vấn chỉ chạy một lần, và bất kỳ ai chạy lại cùng prompt rất có thể nhận được kết quả khác. Độ chính xác ghi công tự nó đã là một phép đo nhiều nhiễu.
Dán một đoạn trích và hỏi ai viết là một phép thăm dò nguồn gốc, không phải cách người mua mua sắm. Nó trực tiếp thử thách việc ghi công, đó là mục đích của nó, nhưng không cho bạn biết việc ghi công sai thường xuyên đến mức nào trong một câu hỏi danh mục thông thường.
Hành vi API ở trên là giao diện cho nhà phát triển. ChatGPT, AI Overviews và trang web của chính Perplexity không được bảo đảm chạy cùng luồng mã, và chúng tôi đang suy luận từ hành vi dành cho nhà phát triển đã được ghi lại, không phải từ bên trong các sản phẩm tiêu dùng.
Và giới hạn trung thực trong lời khuyên của chính chúng tôi: từ bên ngoài, bạn không phải lúc nào cũng phân biệt được một trang đã được truy xuất mà không được ghi công với một trang chưa từng được truy xuất. Kiểm tra quyền truy cập của crawler giúp thu hẹp. Tìm câu chữ của chính bạn trong văn bản câu trả lời thu hẹp thêm. Không cách nào khép lại hoàn toàn.
