Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Bạn có một hồ sơ dự án gồm sáu tài liệu và cần đối chiếu toàn bộ kế hoạch. Một cách là đưa tất cả vào ngữ cảnh. Nhưng với kho hàng chục nghìn hồ sơ, mỗi người dùng chỉ được đọc một phần và nội dung đổi hằng ngày, việc chọn đúng tài liệu trở thành công việc riêng. Đó là lúc cần so sánh hai cách tổ chức đầu vào.
Hai cách có những điểm dễ sai khác nhau
Với context dài, hệ thống đưa một lượng tài liệu lớn vào mô hình trong lượt hỏi. Cách này giảm nhu cầu chia đoạn và chọn ứng viên cho một tập nhỏ, nhưng vẫn cần quản lý thứ tự, giới hạn đầu vào và tài liệu được phép đọc.
Với RAG, hệ thống tìm phần liên quan trước khi tạo câu trả lời. Ngữ cảnh thường tập trung hơn, đổi lại bộ truy xuất có thể bỏ sót thông tin. Một câu hỏi cần đối chiếu nhiều mục rải rác sẽ khó hơn câu hỏi có đáp án trong một đoạn.
Hai cách cũng có thể kết hợp: tìm đúng hồ sơ rồi đưa toàn bộ vài tài liệu của hồ sơ đó vào mô hình. Quyết định không nhất thiết là chọn duy nhất một kiến trúc cho tất cả câu hỏi trong sản phẩm.
Vừa giới hạn đầu vào chưa bảo đảm đọc tốt
Công trình Lost in the Middle, công bố năm 2023, thử các tác vụ hỏi đáp nhiều tài liệu và truy xuất cặp khóa–giá trị. Nhóm tác giả quan sát chất lượng thay đổi theo vị trí thông tin trong các mô hình và thiết lập được khảo sát. Đây là lý do nên kiểm tra vị trí căn cứ, không phải kết luận rằng mọi mô hình hiện tại có mức suy giảm giống nhau.
Ví dụ thử nghiệm tự dựng: đặt điều kiện “chỉ áp dụng khi có xác nhận” ở đầu, giữa và cuối tập tài liệu. Giữ nội dung câu hỏi và tổng tài liệu như nhau, rồi xem hệ thống có giữ điều kiện trong câu trả lời không.
Một query được so với các key để tạo trọng số. Attention dùng những trọng số đó để tổng hợp các value thành biểu diễn mới của vị trí đang xét.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Query
Vị trí đang xét có một vector truy vấn, gọi là query.
02 / Key
Query được so với các vector key ở những vị trí mà mô hình được phép tham chiếu.
03 / Trọng số
Điểm tương hợp được chuẩn hóa thành trọng số attention cho từng vị trí.
04 / Tổng hợp
Các vector value được cộng theo trọng số đó, tạo biểu diễn có thông tin từ ngữ cảnh.
Sơ đồ giản lược một đầu attention, bỏ qua kích thước vector và phép chiếu. Các đường nối không phải lời giải thích đầy đủ cho quyết định của mô hình.
Hình giúp hình dung việc các phần đầu vào liên hệ với nhau. Nó không mô phỏng chính xác hành vi của một mô hình cụ thể hay chứng minh khả năng sử dụng hết cửa sổ ngữ cảnh.
So sánh bằng một bảng công việc thực tế
Chọn ba loại câu hỏi: tra một chi tiết, nối hai quy định và tóm tắt toàn hồ sơ. Với mỗi loại, ghi số token đầu vào, thời gian trả lời và mức đủ căn cứ. Không lấy kết quả ở câu tra cứu đơn giản để quyết định cho tác vụ tổng hợp toàn bộ.
Cách A: sáu tài liệu được phép đọc → mô hình
Cách B: tìm đoạn liên quan → mô hình
Cách C: tìm hồ sơ → lấy tài liệu đầy đủ của hồ sơ → mô hìnhĐây là ba cấu hình để thử, không phải xếp hạng sẵn. Cùng mô hình và tiêu chí chấm giúp bạn thấy tác dụng của cách cấp dữ liệu rõ hơn.
Chi phí cũng gồm công đoạn nhập dữ liệu, duy trì chỉ mục và cache, không chỉ số token một lần hỏi. Nếu hồ sơ ít được hỏi nhưng thay đổi liên tục, cách tối ưu có thể khác với kho ổn định được hỏi nhiều lần. Quyền đọc phải được kiểm tra trước khi tài liệu vào ngữ cảnh ở cả ba cách.
Bài tập: chọn phương án có lý do kiểm được
Dùng sáu tài liệu giả định về một sự kiện. Tạo chín câu hỏi chia đều cho ba loại công việc. Đánh dấu những tài liệu hoặc đoạn tối thiểu cần thiết cho từng câu trước khi chạy thử.
Tiêu chí đạt là báo cáo được trường hợp bỏ sót ở retrieval, trường hợp bỏ qua điều kiện dù đã có trong context và trường hợp thiếu dữ liệu ở cả hai. Ghi rõ giới hạn mô hình, cấu hình và ngày thử; đừng gộp các lỗi này thành một nhãn “AI trả lời sai”.
Chọn phương án đáp ứng mức chất lượng và thời gian chờ của bài toán, kèm một trường hợp mà nó chưa làm tốt. Nếu không có khác biệt đáng kể trên bộ nhỏ, hãy giữ kết luận trong phạm vi đó và thu thập thêm câu hỏi đại diện trước khi thay toàn bộ hệ thống.