Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Nhân viên hỏi: “Công tác cuối tuần có được nghỉ bù không?”. Tìm kiếm trả về bản quy chế cũ, một thông báo sửa đổi và cuộc thảo luận chưa phê duyệt. Nếu trợ lý chỉ ghép các đoạn có từ khóa gần nhau, câu trả lời có thể nghe chắc chắn nhưng áp dụng sai quy định.
Tra cứu nội bộ cần quản lý quyền, hiệu lực và nguồn gốc trước khi tối ưu câu chữ trả lời.
Chuẩn bị tài liệu như dữ liệu có vòng đời
Mỗi tài liệu nên có định danh, chủ sở hữu, phiên bản, phạm vi áp dụng, trạng thái và thời điểm hiệu lực nếu nguồn có cung cấp. “Được tải lên gần đây” không nhất thiết là “quy định mới nhất”; có thể ai đó vừa tải lại một bản cũ.
Trong ví dụ giả định, tài liệu đã phê duyệt có giá trị khác bản thảo. Cuộc thảo luận giúp tìm bối cảnh nhưng không tự trở thành chính sách. Giữ quan hệ giữa bản gốc và thông báo sửa đổi để bước trả lời biết điều khoản nào đã bị thay thế.
Công trình RAG của Lewis và cộng sự kết hợp mô hình ngôn ngữ với bộ nhớ có thể truy xuất. Kiến trúc nội bộ trong bài này là ví dụ ứng dụng tự xây dựng; các quy tắc quyền và hiệu lực không phải điều tự động được bảo đảm bởi paper.
Lọc quyền trước khi đưa nguồn vào mô hình
Người dùng chỉ nên được truy xuất các đoạn mà họ được phép đọc. Không đưa tài liệu hạn chế vào prompt rồi yêu cầu mô hình “đừng tiết lộ”. Khi dữ liệu đã đi vào ngữ cảnh, bạn đã mở thêm một đường có thể làm lộ nội dung.
Kiểm tra quyền ở truy xuất và ở đường mở nguồn. Nếu câu trả lời dẫn đến một tài liệu người dùng không thể truy cập, trải nghiệm xác minh bị đứt. Nếu quyền thay đổi, cache câu trả lời và chỉ mục liên quan cũng phải tuân theo thay đổi ấy.
Luồng khái niệm:
câu hỏi + danh tính đã xác thực
→ lọc phạm vi tài liệu được đọc
→ tìm nguồn liên quan và còn hiệu lực
→ tạo câu trả lời với bằng chứng
→ kiểm tra nguồn hỗ trợ từng kết luậnTrả lời theo mức bằng chứng thực có
Với câu hỏi nghỉ bù, kết quả minh họa nên nêu điều kiện áp dụng và liên kết đoạn quy chế tương ứng. Nếu nguồn nói “cần quản lý xác nhận”, không được bỏ điều kiện để câu trả lời ngắn hơn.
Khi hai nguồn còn mâu thuẫn mà chưa xác định được nguồn ưu tiên, hãy trình bày điểm mâu thuẫn và đường xác minh. Không chọn nguồn chỉ vì nó nằm đầu danh sách tìm kiếm. Khi không có dữ liệu, nói chưa tìm thấy quy định phù hợp khác với khẳng định tổ chức không có quy định ấy.
Trích dẫn cần hỗ trợ đúng mệnh đề cạnh nó. Một liên kết tới tài liệu chung không đủ chứng minh mọi câu trong đoạn trả lời. Có thể tách câu trả lời thành kết luận, điều kiện và nguồn để người dùng kiểm tra nhanh hơn.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Đo riêng tìm kiếm và trả lời
Tạo câu hỏi có nguồn đích đã biết rồi kiểm tra nguồn ấy có vào tập tài liệu truy xuất hay không. Nếu không, sửa chỉ mục, cách chia đoạn hoặc truy vấn. Đổi prompt trả lời không thể khôi phục bằng chứng chưa từng được tìm thấy.
Sau đó kiểm tra câu trả lời có dùng đúng nguồn, giữ điều kiện và từ chối kết luận thiếu căn cứ. Thêm các trường hợp bản cũ nằm gần hơn về từ khóa, người dùng đổi quyền và câu hỏi vượt phạm vi kho tài liệu.
Lỗi thường gặp là dùng đánh giá hài lòng thay cho tính đúng. Người dùng có thể thích câu trả lời dứt khoát nhưng không nhận ra quy chế đã lỗi thời. Phản hồi hữu ích, song vẫn cần bộ kiểm tra có nguồn chuẩn.
Bài tập: hai phiên bản cùng tồn tại
Tạo hai quy chế giả định: bản đầu cho nghỉ bù sau xác nhận; bản sửa đổi chỉ áp dụng cho một nhóm công việc. Đặt câu hỏi không nêu nhóm của nhân viên và chuẩn bị kết quả mong muốn.
Tiêu chí đạt: trợ lý không áp dụng điều kiện mới cho mọi người, chỉ ra thông tin nhóm còn thiếu và dẫn đúng bản có hiệu lực. Đọc tiếp RAG đưa dữ liệu vào câu trả lời để nối kiến trúc này với cơ chế truy xuất cơ bản.