Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Bạn tìm “máy không lên nguồn”, còn tài liệu ghi “thiết bị không khởi động”. Tìm đúng chuỗi ký tự có thể bỏ lỡ đoạn liên quan. Một hệ thống tìm kiếm dựa trên embedding có thể đưa hai cách diễn đạt đến gần nhau trong một không gian số. Câu chuyện sửa thiết bị trong bài là ví dụ minh họa.
Vector là một dãy số có thứ tự
Embedding biểu diễn một đối tượng, chẳng hạn từ, câu hoặc ảnh, bằng một vector. Vector là dãy số mà mô hình tạo ra để giữ những đặc điểm hữu ích cho nhiệm vụ. Từ đó, hệ thống có thể tính mức gần nhau giữa các biểu diễn.
Tài liệu embedding của Google giải thích mối liên hệ giữa vị trí trong không gian biểu diễn và độ tương tự. Trong thực tế, không nên mặc định từng chiều có tên rõ như “mức vui”, “độ kỹ thuật” hay “chủ đề điện”. Những ý nghĩa như vậy thường chỉ là cách vẽ đơn giản cho người học.
Bạn có thể hình dung bản đồ trong đó tài liệu liên quan nằm gần nhau. Nhưng đây không phải bản đồ địa lý: khoảng cách phụ thuộc mô hình, dữ liệu huấn luyện và phép đo mà hệ thống sử dụng.
Tìm kiếm diễn ra qua hai phía
Trong ví dụ thư viện, trước hết chuyển các đoạn hướng dẫn thành embedding rồi lưu cùng nội dung và thông tin nguồn. Khi có câu hỏi, chuyển câu hỏi thành embedding tương thích, sau đó tìm các đoạn gần nó.
Sentence-BERT của Reimers và Gurevych là một công trình về biểu diễn câu có thể so sánh bằng độ tương tự cosine. Bài này dẫn công trình để minh họa nguyên lý biểu diễn và so sánh, không dùng kết quả của nghiên cứu làm cam kết cho mọi hệ thống tiếng Việt.
Hình dưới cho thấy vị trí của bước tìm tài liệu trong một hệ thống RAG. Embedding chỉ có thể hỗ trợ khâu truy xuất; bản thân nó không phải câu trả lời và cũng chưa chứng minh tài liệu tìm được là đúng.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Gần về nghĩa vẫn có thể sai nhu cầu
“Được đổi hàng sau khi mở hộp” và “không được đổi hàng sau khi mở hộp” cùng nói về một chủ đề nhưng có kết luận trái ngược. Một hệ thống chỉ dựa vào gần nghĩa cần kiểm tra thêm nội dung, điều kiện và nguồn.
Tương tự, tài liệu cho máy đời cũ có thể rất gần câu hỏi về máy mới. Bạn nên lưu thông tin như dòng sản phẩm, ngày hiệu lực và ngôn ngữ để lọc đúng phạm vi. Điểm tương tự cao không thay thế được các điều kiện ấy.
Một hiểu lầm khác là trộn vector của nhiều mô hình rồi so trực tiếp. Không gian biểu diễn phải tương thích; cùng số chiều chưa đủ bảo đảm các tọa độ có cùng ý nghĩa. Khi thay mô hình, cần xem xét việc tạo lại dữ liệu và đánh giá truy xuất.
Kiểm tra thứ được tìm, trước khi viết câu trả lời
Để biết embedding có giúp ích, chuẩn bị các câu hỏi và đánh dấu đoạn nào thực sự trả lời được. Xem hệ thống có đưa đoạn ấy vào nhóm kết quả đầu không. Sau đó đọc các kết quả sai để phân loại nguyên nhân: khác phiên bản, gần chủ đề nhưng thiếu đáp án, hay hiểu nhầm phủ định.
Đừng chỉ thử các câu dùng nguyên văn tiêu đề. Hãy thêm cách diễn đạt đời thường và câu không có tài liệu phù hợp. Một hệ thống luôn trả về thứ gì đó cần có cách nhận biết khi thứ đó không đủ căn cứ.
Bài tập: tạo bản đồ tìm kiếm nhỏ
Viết sáu đoạn hướng dẫn giả định về một chiếc đèn bàn: lắp đặt, nguồn điện, độ sáng, vệ sinh, đổi hàng và bảo hành. Tạo sáu câu hỏi dùng từ khác tiêu đề; thêm một câu hỏi về tính năng không được đề cập.
Tự kiểm bằng bảng gồm câu hỏi, đoạn liên quan và lý do chọn. Phải có một câu được đánh dấu thiếu nguồn, không ép nó vào đoạn gần nhất. Nếu thử công cụ thật, giữ riêng kết quả đo với dự đoán của bạn. Đọc tiếp RAG đưa dữ liệu vào câu trả lời để nối bước tìm kiếm với việc sinh văn bản.