Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Người dùng gõ “máy in PX-204 bị kẹt giấy”. Một kết quả nói đúng về kẹt giấy nhưng dành cho PX-240 có thể gây nhầm. Ngược lại, tài liệu mang tiêu đề “xử lý tắc đường nạp” có thể hữu ích dù không dùng cụm “kẹt giấy”. Bài toán cần cả khớp chính xác mã và nhận ra cách diễn đạt khác.
Hai kênh tìm kiếm nhìn cùng câu hỏi khác nhau
Tìm kiếm từ khóa dựa vào các từ hoặc đơn vị được lập chỉ mục. Nó phù hợp với tên riêng và mã khi cấu hình phân tích văn bản giữ được những thành phần đó. Tìm kiếm vector xếp tài liệu theo độ gần của biểu diễn ngữ nghĩa, nên có thể bổ sung các cách diễn đạt ít trùng chữ.
Hybrid search lấy ứng viên từ cả hai kênh rồi kết hợp. Nó không đồng nghĩa với việc dán câu hỏi vào hai công cụ và nối nguyên hai danh sách. Bạn cần loại trùng, thống nhất định danh và quyết định cách xếp hạng chung.
Trong ví dụ máy in, kết quả mong muốn phải ưu tiên đúng model PX-204. Nếu mã này là điều kiện chắc chắn, có thể dùng bộ lọc riêng. Hybrid không thay thế những ràng buộc sản phẩm đã biết.
Ghép thứ hạng tránh cộng hai thang điểm tùy tiện
Điểm từ khóa và điểm cosine không nhất thiết có cùng thang đo. Cộng trực tiếp có thể khiến một kênh lấn át kênh còn lại chỉ vì khoảng giá trị lớn hơn.
Tài liệu Reciprocal Rank Fusion của Elasticsearch mô tả RRF: cộng đóng góp dựa trên vị trí của tài liệu trong từng danh sách. Với hằng số dương c, một đóng góp có dạng 1 / (c + thứ_hạng). Tài liệu xuất hiện cao ở nhiều danh sách nhận nhiều đóng góp.
Ví dụ tự dựng:
| Tài liệu | Hạng từ khóa | Hạng vector |
|---|---|---|
| A: hướng dẫn PX-204 | 1 | 3 |
| B: tắc đường nạp PX-204 | 3 | 1 |
| C: hướng dẫn PX-240 | 2 | Không có |
Nếu chọn cùng hằng số và trọng số, A và B có tổng bằng nhau. Hệ thống cần quy tắc xử lý hòa điểm ổn định; không nên để thứ tự đổi ngẫu nhiên giữa hai lượt kiểm tra.
Số ứng viên là một ngân sách cần thử
Lấy nhiều ứng viên ở mỗi kênh có thể giữ thêm tài liệu hữu ích, nhưng làm tăng công việc gộp và xếp lại. Lấy quá ít có thể bỏ mất tài liệu chỉ đứng vừa ngoài danh sách đầu. Bạn nên cố định ngân sách khi so sánh các phương án.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Hình chỉ thể hiện một bước truy xuất tổng quát. Trong hybrid search, bước đó gồm hai hoặc nhiều kênh và một công đoạn hợp nhất mà hình không vẽ riêng.
Cũng cần áp cùng phạm vi quyền cho mọi kênh. Một kênh có bộ lọc đúng không bù được kênh khác làm lộ tài liệu. Sau khi ghép, dùng mã tài liệu hoặc mã chunk ổn định để loại bản sao, thay vì so sánh mỗi tiêu đề.
Bài tập: chứng minh kênh nào giúp câu nào
Tạo mười tài liệu hướng dẫn thiết bị giả định. Viết ba nhóm câu hỏi: chứa mã chính xác, dùng từ đồng nghĩa và vừa có mã vừa có mô tả tự nhiên. Chạy từ khóa, vector và hybrid trên cùng kho, cùng quyền và cùng số kết quả cuối.
Ghi tài liệu hỗ trợ đáp án có nằm trong ba kết quả đầu hay không. Khi hybrid thắng, chỉ rõ tài liệu được kênh nào đưa vào. Khi hybrid thua, xem thứ hạng bị thay đổi ra sao thay vì mặc định thêm một kênh luôn tốt hơn.
Tiêu chí đạt là có bảng đối chiếu từng câu, có ít nhất một tình huống kiểm tra nhầm mã, và có quy tắc gộp bản sao được mô tả rõ. Các kết quả tự thử này chỉ đại diện bộ tài liệu của bạn, chưa đủ để kết luận chung về mọi công cụ tìm kiếm.