Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Câu hỏi “vé cuối tuần có đổi ngày được không?” tìm ra hai mươi đoạn về vé, lịch mở cửa và hoàn tiền. Đoạn trả lời chính xác đứng thứ mười hai, trong khi ngữ cảnh chỉ đủ chứa bốn đoạn. Thêm một bước xếp hạng lại có thể đưa đoạn phù hợp lên trước, miễn là nó đã có trong nhóm ứng viên.
Truy xuất rộng rồi đọc kỹ hơn
Retriever ưu tiên tìm nhanh trong kho lớn. Reranker nhận một tập nhỏ hơn gồm câu hỏi và các ứng viên, rồi chấm lại mức liên quan. Tách hai bước giúp dành phép tính đắt hơn cho những đoạn có triển vọng.
Hướng dẫn Retrieve & Re-Rank của Sentence Transformers mô tả kiến trúc dùng bộ truy xuất để lấy ứng viên, sau đó dùng cross-encoder đánh giá từng cặp câu hỏi và tài liệu. Cross-encoder đọc cặp này cùng nhau; đó là khác biệt với cách tạo vector tài liệu riêng từ trước.
Không phải mọi reranker đều là cross-encoder, và điểm đầu ra không mặc nhiên là xác suất câu trả lời đúng. Trong ứng dụng, điều cần đánh giá là thứ tự sau khi xếp lại có giúp đưa đủ căn cứ vào ngữ cảnh hay không.
Theo dõi tài liệu qua từng bước
Với kho vé giả định, bạn có thể ghi đầu vào và đầu ra như sau:
Câu hỏi: Vé cuối tuần có đổi ngày được không?
Truy xuất: [vé chung, hoàn tiền, giờ mở cửa, ..., đổi vé cuối tuần]
Xếp lại: [đổi vé cuối tuần, điều kiện đổi, vé chung, ...]
Ngữ cảnh: ba đoạn đầu, giữ mã nguồn và phiên bảnĐây là sơ đồ kết quả mong muốn, không phải số liệu chạy một mô hình cụ thể. Nếu đoạn “đổi vé cuối tuần” không nằm trong đầu vào reranker, không thuật toán đổi thứ tự nào có thể tự đưa nó trở lại.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Hình khái quát chuỗi RAG. Bước xếp hạng lại nằm giữa truy xuất ứng viên và tạo ngữ cảnh; hình không thể hiện số lượt chấm cặp hoặc chi phí của chúng.
Những điều điểm liên quan chưa giải quyết
Một đoạn sai phiên bản vẫn có thể khớp câu hỏi rất tốt. Hãy lọc hiệu lực và quyền đọc trước khi đánh giá mức liên quan. Nếu câu hỏi cần hai nguồn bổ sung nhau, lấy vài đoạn cao nhất có thể chọn toàn bản sao của cùng một quy định.
Ví dụ, đoạn đầu nói được đổi vé, đoạn thứ hai nói phải đổi trước ngày tham quan, đoạn thứ ba lặp lại câu đầu. Ngữ cảnh hữu ích phải giữ được điều kiện ở đoạn thứ hai. Bạn có thể kiểm tra độ phủ các ý hoặc gộp đoạn trùng sau reranking, nhưng cần đánh giá tác dụng thực tế.
Độ dài đầu vào cũng quan trọng. Nếu một ứng viên quá dài và bị cắt trước ngoại lệ cuối mục, reranker đang chấm một bản thiếu nội dung. Theo dõi phần văn bản thực sự được đưa vào, thay vì chỉ lưu mã của toàn tài liệu.
Bài tập: đo chất lượng cùng thời gian chờ
Chuẩn bị tám câu hỏi về một quy trình giả định, mỗi câu có đoạn hỗ trợ đã được đánh dấu. Giữ nguyên nhóm ứng viên ban đầu. So sánh ngữ cảnh bốn đoạn trước và sau reranking; đây là cách tách tác dụng xếp lại khỏi thay đổi bộ tìm kiếm.
Ghi ba điều cho từng câu: đủ căn cứ hay chưa, điều kiện quan trọng có bị bỏ sót không, và thời gian bước xếp lại. Với câu cần nhiều nguồn, chấm đủ cả tập căn cứ thay vì chỉ một đoạn đầu tiên.
Tiêu chí đạt là truy được mỗi đoạn cuối về vị trí ban đầu, phát hiện được trường hợp căn cứ vắng từ đầu và mô tả được chi phí tăng thêm. Nếu chất lượng không tăng trên bộ thử, giữ kiến trúc đơn giản là một kết quả hợp lệ. Reranking là một giả thuyết cần kiểm tra, không phải một dấu tích bắt buộc trong mọi hệ thống RAG.