Thực hànhTrung cấp

Cập nhật và xóa dữ liệu RAG cho nhất quán

Quản lý tài liệu, chunk, vector và cache theo phiên bản để tránh câu trả lời dựa trên nội dung đã thay đổi hoặc đã bị thu hồi.

Trong bài viết này

Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.

Một trung tâm học tập đổi giờ đóng cửa từ 20 giờ sang 19 giờ. Trang quản trị đã lưu thành công, nhưng trợ lý vẫn trả lời 20 giờ vì vector cũ còn trong chỉ mục. Với RAG, “đã sửa tài liệu” và “mọi lượt hỏi đã dùng nội dung mới” là hai mốc cần kiểm tra riêng.

Một tài liệu có nhiều bản biểu diễn

Nội dung có thể tồn tại ở kho nguồn, văn bản đã trích xuất, các chunk, vector, chỉ mục từ khóa và cache câu trả lời. Khi lập kế hoạch cập nhật, hãy ghi các bản biểu diễn nào thật sự có trong hệ thống của bạn.

Mỗi chunk nên truy được về document_id, phiên bản và cách xử lý đã dùng. Một bảng kê đơn giản có thể ghi: tài liệu opening-hours, bản v4, các chunk c1, c2, cùng dấu kiểm nội dung. Bảng kê giúp biết chính xác những bản ghi nào cần thay hoặc thu hồi.

Không dùng tiêu đề làm định danh duy nhất. Hai tài liệu có thể trùng tên; đổi tên cũng không nên biến tài liệu cũ thành một nguồn bị bỏ quên trong chỉ mục.

Đưa bản mới vào rồi chuyển lượt đọc

Một quy trình minh họa gồm: nhận sự kiện đổi nguồn, tạo văn bản và chunk mới, tạo vector, kiểm tra đủ bản ghi, chuyển phiên bản đang phục vụ, rồi dọn bản cũ theo chính sách lưu trữ. Trình tự này tránh khoảng trống do xóa bản cũ trước khi bản mới sẵn sàng.

Nguồn v4 → chunk v4 → lập chỉ mục → kiểm tra đọc được
Phiên bản phục vụ: v3 → v4
Thu hồi khỏi truy xuất: các chunk v3

Đây là thiết kế khái niệm, không bảo đảm mọi cơ sở dữ liệu hỗ trợ chuyển phiên bản nguyên tử. Nếu công cụ không có khả năng đó, tầng ứng dụng cần quản lý trạng thái và xử lý giai đoạn chuyển tiếp rõ ràng.

Tài liệu cập nhật dữ liệu của Pinecone lưu ý hệ thống có tính nhất quán cuối cùng: thay đổi có thể chưa hiện ngay trong truy vấn. Ví dụ này nhắc rằng nhận phản hồi cập nhật thành công chưa thay thế được kiểm tra đường đọc.

Nhìn để hiểuAPI hay tự vận hành: nhìn cả hệ thống

API chuyển phần vận hành mô hình cho nhà cung cấp; tự vận hành đưa thêm trách nhiệm về phía đội ngũ của bạn. Cả hai lựa chọn đều cần kiểm tra quyền sử dụng, dữ liệu và chất lượng trên công việc cụ thể.

Hai cách vận hành, cùng trách nhiệm kiểm tra chất lượngỨng dụng có thể gọi API của một nhà cung cấp hoặc tự vận hành mô hình. API giao phần vận hành mô hình cho nhà cung cấp nhưng vẫn cần kiểm tra tích hợp, điều khoản và dữ liệu. Tự vận hành đòi hỏi hạ tầng, cập nhật và giám sát. Cả hai cách đều phải được đánh giá trên nhu cầu thật.Ứng dụngGọi APITự vận hànhNhà cung cấp vận hànhBạn kiểm tra tích hợp, dữ liệuBạn vận hành mô hìnhHạ tầng · cập nhật · giám sátCùng kiểm tra chất lượng tiếng Việt

↔ Vuốt ngang để xem toàn bộ sơ đồ.

  1. 01 / Dùng API

    Ứng dụng gửi yêu cầu tới dịch vụ vận hành mô hình. Cần kiểm tra điều khoản và chính sách xử lý dữ liệu.

  2. 02 / Tự vận hành

    Mô hình chạy trên hạ tầng do bạn quản lý, nếu giấy phép và phần mềm cho phép.

  3. 03 / Rõ trách nhiệm

    Với tự vận hành, đội ngũ lo tài nguyên, cập nhật và giám sát. Cả hai cách vẫn cần kiểm soát luồng dữ liệu của ứng dụng.

  4. 04 / Thử đúng công việc

    Đo chất lượng tiếng Việt, thời gian, tổng chi phí và công sức sửa lỗi trên cùng nhiệm vụ trước khi chọn.

Đây là khung so sánh, không phải kết luận về một nhà cung cấp hay cấu hình cụ thể. Tải được trọng số không tự động đồng nghĩa với mã nguồn mở.

Hình minh họa vòng đưa thay đổi vào sử dụng và quan sát kết quả. Với bài này, đối tượng thay đổi là chỉ mục dữ liệu; hình không mô tả các bảo đảm giao dịch của cơ sở dữ liệu.

Xóa cần bao phủ cả đường trả lời cũ

Xóa tệp gốc không tự xóa các vector đã tạo. Tùy thiết kế, bạn cần xóa theo danh sách chunk hoặc theo metadata tài liệu. Tài liệu xóa dữ liệu của Pinecone mô tả các phạm vi xóa theo định danh hoặc bộ lọc; phạm vi cụ thể phải được đối chiếu trước khi thực hiện.

Cache cũng có thể giữ câu trả lời cũ dù tìm kiếm đã sạch. Cần gắn cache với phiên bản nguồn hoặc có cách vô hiệu hóa các mục phụ thuộc. Nhật ký và bản sao lưu có chính sách giữ riêng; đừng tuyên bố “đã xóa hoàn toàn” chỉ vì không còn tìm thấy trong chỉ mục đang phục vụ.

Với tài liệu vừa bị thu hồi quyền đọc, một chặn truy cập ở tầng phục vụ có thể cần có hiệu lực trước khi việc dọn chỉ mục hoàn tất. Mục tiêu là không đưa nội dung đã bị cấm vào lượt trả lời mới trong giai đoạn đồng bộ.

Bài tập: diễn tập thay giờ rồi thu hồi tài liệu

Dùng kho thử nghiệm với một tài liệu giờ mở cửa. Hỏi trước khi sửa, đổi từ 20 giờ sang 19 giờ, rồi hỏi lại qua cả tìm kiếm trực tiếp và đường trả lời có cache. Lưu phiên bản nguồn của từng kết quả.

Tiếp đó thu hồi tài liệu khỏi truy xuất. Tiêu chí đạt là không còn chunk cũ trong kết quả hợp lệ, câu trả lời không lấy giờ cũ từ cache, và một lần chạy lại tác vụ cập nhật không tạo bản sao thừa. Ghi rõ thời gian đồng bộ quan sát được; đó là bằng chứng của lần thử, không phải cam kết độ trễ cho mọi lần vận hành.

Bạn muốn hiểu điều gì?

Khám phá tất cả bài viết esc để đóng