Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Hai dòng cùng hiển thị “café” có thể dùng các chuỗi mã Unicode khác nhau. Một bản ghi lấy từ biểu mẫu, bản còn lại từ PDF; so sánh trực tiếp có thể coi chúng là khác, dù mắt người nhìn thấy giống nhau. Trong kho tiếng Việt, vấn đề này ảnh hưởng đến khớp chuỗi, phát hiện trùng và tìm kiếm.
Chuẩn hóa biểu diễn khác với sửa nội dung
Unicode cho phép một số ký tự có dấu được biểu diễn bằng ký tự dựng sẵn hoặc chữ cơ sở cộng dấu kết hợp. Unicode Standard Annex #15 định nghĩa các dạng chuẩn hóa, trong đó NFC đưa các chuỗi tương đương chuẩn tắc về dạng nhất quán theo quy tắc của tiêu chuẩn.
Ví dụ kỹ thuật: é có thể là U+00E9 hoặc U+0065 U+0301. Sau chuẩn hóa NFC, hai biểu diễn tương đương này có thể được so sánh nhất quán. Đây không phải thao tác bỏ dấu, dịch nghĩa hay tự sửa chính tả.
Nên dùng hàm chuẩn hóa của nền tảng đã được kiểm thử thay vì tự viết bảng thay ký tự. Khi thay đổi quy trình, giữ bản gốc và tên bước xử lý để có thể đối chiếu những bản ghi bị ảnh hưởng.
Khoảng trắng cũng cần biết cấu trúc
Một văn bản OCR có thể chứa nhiều khoảng trắng hoặc ngắt dòng giữa câu. Gom khoảng trắng liên tiếp giúp một đoạn văn dễ xử lý hơn, nhưng áp cùng quy tắc lên bảng sẽ làm mất ranh giới cột. Xóa mọi xuống dòng cũng có thể ghép tiêu đề với nội dung của mục kế tiếp.
Luồng minh họa cho một đoạn văn thường:
Bản gốc → giải mã đúng → chuẩn hóa NFC
→ chuẩn hóa khoảng trắng trong đoạn
→ giữ ranh giới mục → lưu bản xử lý và liên kết bản gốcĐầu vào “Đổi lịch\n học” có thể thành “Đổi lịch học” nếu ngắt dòng đó nằm trong cùng đoạn. Nhưng chuỗi “Kho A | 12\nKho B | 8” cần được nhận diện là cấu trúc bảng trước khi làm sạch.
Mô hình tự hồi quy tính xác suất token tiếp theo từ ngữ cảnh hiện có, chọn một token rồi nối vào chuỗi. Chuỗi mới trở thành ngữ cảnh cho lượt tiếp theo.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Đọc ngữ cảnh
Mô hình xử lý các token của yêu cầu và phần trả lời đã có.
02 / Tính xác suất
Từ ngữ cảnh đó, mô hình tính phân bố xác suất cho những token có thể xuất hiện tiếp theo.
03 / Chọn token
Cách giải mã quyết định token được chọn; không phải lúc nào cũng lấy token có xác suất cao nhất.
04 / Nối và lặp
Token được nối vào chuỗi để tạo ngữ cảnh mới. Quá trình lặp đến điều kiện dừng.
Các ô dùng từ nguyên vẹn để dễ quan sát; đây không phải kết quả của một tokenizer cụ thể. Token thực tế có thể chỉ là một phần của từ.
Hình minh họa văn bản được chia thành đơn vị xử lý. Nó không phải công cụ kiểm tra Unicode; chuẩn hóa ký tự cần thực hiện và kiểm chứng ở tầng dữ liệu trước bước mã hóa token.
Giữ dấu và phân biệt các loại bản sao
“Ma”, “má” và “mã” khác nghĩa. Bỏ dấu trên bản nội dung chính có thể phá câu và tên riêng. Nếu sản phẩm cần tìm không dấu, có thể tạo trường phục vụ tìm kiếm riêng, đồng thời giữ nguyên văn bản có dấu để hiển thị và làm căn cứ.
Phát hiện trùng cũng có nhiều mức. Hai tệp giống hệt nhau sau chuẩn hóa có thể là bản sao kỹ thuật. Hai quy định gần giống nhưng khác ngày hiệu lực không nên bị gộp chỉ vì độ tương đồng cao. Định danh, phiên bản và phạm vi áp dụng cần tham gia quyết định.
Đừng tự sửa tên người, mã hàng hoặc từ chuyên ngành bằng một danh sách từ phổ thông. Một công đoạn làm sạch tốt nên có các phép biến đổi hẹp và lý do rõ. Với trường nghi ngờ, đưa vào hàng chờ kiểm tra có thể phù hợp hơn sửa hàng loạt không thể truy nguyên.
Bài tập: tạo một bộ dữ liệu dễ hỏng
Tạo mười dòng giả định gồm ký tự dựng sẵn và dấu kết hợp, nhiều khoảng trắng, tên có dấu, mã chứa gạch ngang và hai bản quy định khác ngày. Ghi đầu ra mong muốn cho từng dòng trước khi chạy quy trình.
Tiêu chí đạt là các biểu diễn Unicode tương đương khớp nhau sau chuẩn hóa, dấu và mã được giữ nguyên, cấu trúc bảng không bị dẹt, và hai phiên bản quy định vẫn phân biệt được. Chạy quy trình lần thứ hai: kết quả không nên tiếp tục thay đổi nếu các bước được thiết kế ổn định.
Cuối cùng, lấy vài câu hỏi tiếng Việt thử tìm trước và sau làm sạch. Nếu kết quả thay đổi, đối chiếu bản gốc để biết đó là cải thiện khớp dữ liệu hay mất thông tin. Số bản ghi ít đi chưa tự chứng minh kho dữ liệu tốt hơn.