Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
AI viết rằng một công trình “ra mắt năm X, dùng kiến trúc Y và tốt hơn mọi phương pháp trước đó”. Câu này nghe như một thông tin duy nhất, nhưng có ít nhất ba khẳng định cần kiểm tra. Một đường dẫn đúng về năm công bố chưa đủ chứng minh phần so sánh hiệu năng.
Chia câu lớn thành câu kiểm được
Bắt đầu bằng các chi tiết có thể đối chiếu: tên, ngày, số lượng, quan hệ nguyên nhân và kết quả so sánh. Đánh dấu những từ mở rộng phạm vi như “mọi”, “luôn”, “đầu tiên” hoặc “tốt nhất”. Chúng thường cần bằng chứng rộng hơn một thí nghiệm.
FActScore của Min và cộng sự, năm 2023 đề xuất đánh giá độ chính xác của văn bản dài qua những thông tin nhỏ và mức độ được nguồn hỗ trợ. Ta có thể mượn ý tưởng chia nhỏ để duyệt thủ công; quy trình dưới đây không phải bản tái lập thước đo nghiên cứu.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Một bảng kiểm đơn giản gồm khẳng định, nguồn, đoạn hỗ trợ và trạng thái. Ba trạng thái hữu ích là “được hỗ trợ”, “mâu thuẫn nguồn” và “chưa đủ bằng chứng”. Trạng thái cuối không có nghĩa thông tin chắc chắn sai.
Đường dẫn tồn tại chưa có nghĩa dẫn đúng
Mở trang nguồn và tìm đoạn liên quan. Kiểm tra xem trang có thực sự nói điều AI gán cho nó không. Một bài giới thiệu có thể chỉ mô tả mục tiêu sản phẩm; nó không chứng minh sản phẩm đạt mục tiêu đó trong mọi tình huống.
Với nghiên cứu, đọc điều kiện thí nghiệm: dữ liệu nào, cách đo nào, so với phương pháp nào. Với tài liệu sản phẩm, phân biệt tính năng được mô tả với tính năng bạn đã thử. Ngày cập nhật của trang cũng khác ngày diễn ra sự kiện.
Nếu không truy cập được nguồn, đánh dấu giới hạn đó. Đừng thay một đường dẫn hỏng bằng trang có tiêu đề gần giống rồi giữ nguyên khẳng định. Sự giống nhau về chủ đề không thay thế bằng chứng cho câu đang kiểm tra.
Nhờ AI lập danh sách, giữ phần quyết định cho mình
Bạn có thể dùng prompt sau để giảm công tách câu. Đây là công cụ chuẩn bị việc kiểm chứng, chưa phải kết luận.
Từ đoạn trả lời bên dưới, tách các khẳng định có thể kiểm chứng.
Mỗi hàng chỉ chứa một khẳng định.
Giữ nguyên phạm vi, thời gian và điều kiện của câu gốc.
Đánh dấu các từ tuyệt đối hoặc so sánh.
Liệt kê loại nguồn cần tìm cho từng hàng.
Không tự tạo đường dẫn và chưa kết luận đúng sai.Sau khi tìm nguồn, bạn điền đoạn hỗ trợ và trạng thái. Nếu dùng AI hỗ trợ đọc, yêu cầu nó chỉ dựa trên phần văn bản được cung cấp. Vẫn kiểm tra trích dẫn vì mô hình có thể gắn đúng câu chữ với sai kết luận.
Kiểm tra độc lập thay vì hỏi lại cho chắc
Câu hỏi “Bạn chắc chứ?” có thể khiến AI thay đáp án, nhưng không tạo bằng chứng mới. Hỏi một mô hình khác cũng không bảo đảm độc lập: hai câu trả lời có thể dựa trên cùng một thông tin sai.
Ưu tiên thao tác có đầu vào kiểm được. Với phép tính, tính lại bằng công cụ tính. Với lời trích dẫn, tìm văn bản gốc. Với một tính năng, kiểm tra tài liệu và hành vi thực tế nếu có điều kiện. Ghi rõ khi kết luận chỉ là suy luận từ nguồn.
Mức kiểm tra nên tương ứng với hậu quả. Một câu gợi ý tên câu lạc bộ không cần hồ sơ nguồn như một báo cáo gửi công khai. Tuy nhiên, khi đã trình bày một dữ kiện như sự thật, người viết cần có căn cứ cho nó.
Bài tập: sửa một đoạn có ba mức chắc chắn
Chọn một đoạn AI giải thích về công trình AI mà bạn đang đọc. Tách ít nhất ba khẳng định và tìm nguồn gốc cho từng khẳng định. Viết lại đoạn sao cho phần thiếu căn cứ được bỏ hoặc thể hiện đúng giới hạn.
Tự kiểm: mỗi dữ kiện còn lại có nguồn phù hợp, không nguồn nào bị gán quá phạm vi và phép so sánh giữ nguyên điều kiện. Để đọc nguồn nghiên cứu có hệ thống hơn, xem đọc hiểu một bài báo AI.