Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một trợ lý tóm tắt thông báo hội thảo: “Sự kiện diễn ra thứ Bảy, có cấp chứng nhận và hỗ trợ ăn trưa.” Thông báo gốc chỉ ghi thứ Bảy và địa điểm. Hai chi tiết được thêm làm câu trả lời có vẻ đầy đủ, nhưng người đọc không có căn cứ để tin chúng. Đây là ví dụ minh họa tự xây dựng.
Đúng vài ý không làm cả đoạn trở nên đúng
Trong ngữ cảnh AI tạo sinh, hallucination thường chỉ nội dung được tạo ra nhưng sai sự thật hoặc không được đầu vào và nguồn liên quan hỗ trợ. Một đoạn có thể trộn ý đúng, ý sai và ý chưa thể xác minh.
Công trình FActScore tiếp cận đánh giá bằng cách tách văn bản thành các thông tin nhỏ rồi kiểm tra mức được nguồn đáng tin hỗ trợ. Bài học thực hành là đừng chỉ chấm cả câu trả lời bằng cảm giác “nghe hợp lý”.
Ở ví dụ hội thảo, hãy tách ngày, địa điểm, chứng nhận và bữa trưa thành bốn mệnh đề. Từng mệnh đề cần căn cứ riêng. Khi một ý thiếu nguồn, đánh dấu chưa xác minh; đừng kết luận ngay rằng điều ngược lại chắc chắn đúng.
Giọng điệu tự tin không phải bằng chứng
Một mô hình sinh văn bản có thể tạo ra cấu trúc rất quen thuộc của một câu trả lời. Tên tổ chức, tiêu đề tài liệu và đường dẫn trông hợp lý vẫn cần được mở và kiểm tra. Định dạng giống trích dẫn không chứng minh nguồn tồn tại.
Trong tình huống minh họa khác, bạn hỏi nội quy cho phép mang thú cưng không, nhưng tài liệu chỉ nói về gửi xe. Một đáp án hữu ích nên nói tài liệu chưa cung cấp thông tin ấy. Nếu công cụ tự điền một quy định nghe giống các địa điểm khác, nó đã vượt khỏi phần bằng chứng đang có.
Thêm câu “hãy trả lời chính xác” có thể nhắc mục tiêu nhưng không tạo ra dữ liệu còn thiếu. Tương tự, yêu cầu mô hình tự chấm mức tin cậy không thay thế việc kiểm tra bằng nguồn độc lập.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Thiết kế nhiệm vụ để việc thiếu nguồn được chấp nhận
Hãy nói rõ nguồn được phép dùng và đầu ra khi không có đáp án. Ví dụ: “Chỉ dựa vào thông báo này; với mục chưa đề cập, ghi chưa có thông tin.” Điều đó tạo một lựa chọn hợp lệ thay vì ngầm ép công cụ hoàn thành mọi ô bằng cách đoán.
Bạn cũng có thể yêu cầu mỗi thông tin đi kèm đoạn hỗ trợ. Để kiểm tra, đọc cả đoạn xung quanh: một câu có thể trích đúng chữ nhưng bỏ điều kiện áp dụng hoặc thời hạn. Việc đối chiếu cần xem nghĩa, không chỉ xem các từ có xuất hiện.
Nếu hệ thống tìm được tài liệu qua RAG, vẫn phải kiểm tra đúng phiên bản và mức liên quan. Truy xuất được một đoạn gần chủ đề chưa bảo đảm đoạn đó đủ để trả lời câu hỏi.
Ưu tiên kiểm chứng theo hậu quả của lỗi
Một ý tưởng tên câu lạc bộ có thể được đánh giá bằng sở thích. Ngày mở cửa, số tài khoản hay hướng dẫn kỹ thuật cần kiểm tra trực tiếp. Hãy xác định chi tiết nào sẽ dẫn tới hành động, rồi ưu tiên đối chiếu chúng trước khi dùng kết quả.
Đối với phép tính, dùng công cụ tính toán với đầu vào đã kiểm tra. Đối với thông tin trong tài liệu, quay lại tài liệu. Nếu hai nguồn mâu thuẫn, giữ sự mâu thuẫn trong câu trả lời thay vì tự chọn một phương án mà không giải thích.
Không cần từ bỏ công cụ chỉ vì nó có thể sai. Cần đặt nó vào một quy trình mà lỗi có chỗ để lộ ra và người dùng có cách sửa.
Bài tập: tạo một phép thử có câu không có đáp án
Viết thông báo giả định về buổi đọc sách gồm giờ, địa điểm và cách đăng ký. Chuẩn bị bốn câu hỏi có đáp án trong thông báo, thêm hai câu về đồ ăn và quà tặng mà bạn cố ý không đề cập.
Chấm từng câu theo ba trạng thái: được nguồn hỗ trợ, trái nguồn hoặc chưa có căn cứ. Tiêu chí đạt là trả lời đủ câu có nguồn và nhận thiếu thông tin ở hai câu còn lại. Ghi lại lỗi cụ thể để sửa yêu cầu. Đọc prompt rõ ràng để xây một chỉ dẫn dễ kiểm tra hơn.