Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một trang hướng dẫn scan ghi “Không nhận hồ sơ sau 17 giờ”. Sau nhận dạng, văn bản thành “Nhận hồ sơ sau 17 giờ”. Nếu chỉ đọc đầu ra của trợ lý, lỗi giống như mô hình suy luận sai. Nhưng nguyên nhân nằm ở một chữ bị mất khi biến ảnh thành văn bản.
Nhận chữ chưa đủ để hiểu trang
OCR nhận dạng ký tự từ ảnh. Một tài liệu còn có cột, tiêu đề, chú thích, ô chọn và bảng. Nếu đọc xen hai cột, các chữ có thể đều đúng nhưng câu ghép lại sai nghĩa. Cần kiểm tra cấu trúc cùng với chất lượng ký tự.
Tài liệu về mô hình layout của Azure Document Intelligence mô tả việc trích xuất văn bản, bảng và các thành phần cấu trúc. Nguồn này cho thấy phân tích bố cục là một công đoạn riêng cần quan tâm, không phải bằng chứng rằng mọi tài liệu scan đều được đọc chính xác.
Với trang hai cột, đầu ra mong muốn là toàn bộ cột trái theo thứ tự đọc rồi tới cột phải, nếu đó là bố cục thực sự của trang. Một trang có chú thích cạnh hình có thể cần quy tắc khác. Bạn phải đối chiếu với ảnh, không áp một thứ tự cho mọi kiểu tài liệu.
Giữ tọa độ và bản gốc để sửa được lỗi
Khi trích xuất, nên giữ số trang và vùng chứa văn bản nếu công cụ cung cấp. Điều đó cho phép mở lại đúng vùng ảnh khi câu trả lời bị nghi ngờ. Đoạn đã làm sạch cần vẫn liên kết được với đoạn OCR gốc.
Ảnh trang 3 → các vùng chữ và bảng → thứ tự đọc
→ văn bản có cấu trúc → kiểm tra → chia chunk
Chunk: document_id, trang 3, vùng nguồn, bản OCRSơ đồ là quy trình đề xuất cho một kho thử nghiệm. Cách biểu diễn tọa độ và bảng sẽ tùy công cụ, nên không nên giả định hai dịch vụ trả cùng một định dạng.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Hình thể hiện kho tài liệu cung cấp căn cứ cho câu trả lời. Với tài liệu scan, OCR và kiểm tra bố cục nằm trước bước đưa dữ liệu vào kho; hình không mô phỏng việc nhận dạng ảnh.
Ưu tiên lỗi làm đổi quyết định
Các lỗi cần chú ý gồm mất phủ định, sai số, nhầm mã biểu mẫu và ghép sai tiêu đề bảng. Lỗi khoảng trắng có thể chỉ ảnh hưởng trình bày, còn đổi “15” thành “75” có thể làm câu trả lời sai hẳn. Khi thời gian kiểm tra hạn chế, hãy chọn mẫu theo mức ảnh hưởng.
Điểm tin cậy OCR nếu có là tín hiệu hỗ trợ việc kiểm tra, không phải chứng nhận nội dung đúng. Một dòng đọc sai vẫn có thể nhận điểm cao. Nên kết hợp mẫu kiểm ngẫu nhiên với kiểm tra các vùng chứa số, ngày, mã và điều kiện quan trọng.
Đừng tự động sửa mọi từ lạ thành từ thông dụng. “AB-01” là mã hợp lệ dù từ điển không biết. Với vùng không đọc chắc, giữ trạng thái cần kiểm tra hoặc yêu cầu nguồn rõ hơn sẽ tốt hơn việc tạo ra chữ có vẻ hợp lý rồi đưa vào chỉ mục.
Bài tập: kiểm từ ảnh tới câu trả lời
Tạo ba trang giả định: một trang chữ thường, một trang hai cột và một trang có bảng giờ tiếp nhận. Cố ý thêm một câu phủ định cùng một mã biểu mẫu vào mỗi trang. Chỉ dùng tài liệu bạn được phép xử lý.
Chạy quy trình trích xuất, rồi đánh dấu những vị trí sai ký tự hoặc sai thứ tự. Sau khi chia chunk, đặt câu hỏi về phủ định, thời gian và mã. So sánh căn cứ mà trợ lý nhận với ảnh nguồn, không chỉ so câu trả lời với văn bản OCR.
Tiêu chí đạt là giữ nguyên các giá trị quyết định, mở lại được vùng ảnh từ mỗi chunk và có đường xử lý khi một vùng không đọc rõ. Bài kiểm tra này cho biết kho đã sẵn sàng để thử truy xuất; nó chưa chứng minh mọi trang trong một tập scan lớn đều đạt cùng chất lượng.