Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Trong 100 yêu cầu mà bộ phân loại đều báo tự tin khoảng 90%, chỉ 65 yêu cầu được phân loại đúng. Độ chính xác 65% và lời tự tin 90% kể hai câu chuyện khác nhau. Calibration xem mức tự tin có tương ứng với tần suất đúng hay không.
Trước khi học: cần hiểu xác suất, tập kiểm thử và phân loại. Bài đánh giá mô hình AI giúp đặt kết quả vào đúng phạm vi. Tất cả số liệu trong bài là giả định; tình huống phân tuyến yêu cầu hỗ trợ được dựng để thực hành.
Tự tin là đại lượng phải được kiểm tra
Bạn xây bộ phân loại email vào ba nhóm: thanh toán, giao hàng và tài khoản. Mỗi email có nhãn dự đoán cùng xác suất lớn nhất. Hãy chia kết quả thành nhóm tự tin, rồi so sánh xác suất trung bình với tỷ lệ đúng trong từng nhóm.
Đừng hỏi hệ thống “Bạn chắc bao nhiêu phần trăm?” rồi xem con số văn bản ấy như xác suất đã được kiểm chứng. Với câu trả lời mở, bạn còn phải định nghĩa đúng là đúng toàn bộ, đúng từng dữ kiện hay hoàn thành tác vụ. Không có nhãn kết quả rõ ràng thì khó biết con số cần hiệu chỉnh đang dự đoán điều gì.
Tính sai lệch trên hai nhóm
Giả sử nhóm A có 40 email, tự tin trung bình 0,9 và đúng 0,7; nhóm B có 60 email, tự tin 0,6 và đúng 0,55. Một phép đo theo nhóm là:
ECE = tổng (tỷ trọng nhóm × |độ đúng - độ tự tin|)
ECE = 0,4 × |0,7 - 0,9| + 0,6 × |0,55 - 0,6|
= 0,11Guo và cộng sự nghiên cứu calibration của bộ phân loại và cách hiệu chỉnh temperature scaling. Với logits z, phương pháp dùng softmax(z / T), chọn T > 0 trên dữ liệu hiệu chỉnh. Vì thứ tự logits không đổi, nhãn có xác suất cao nhất giữ nguyên. Phương pháp chỉnh xác suất, không tự sửa các nhãn dự đoán sai.
Trong ví dụ hai nhóm, ECE là 11 điểm phần trăm. Hãy giữ lại bảng từng nhóm: một số tổng không cho thấy nhóm nào gây sai lệch. Thay cách chia nhóm cũng có thể làm số đo thay đổi, vì các giá trị được lấy trung bình khác nhau.
Cho phép chuyển tiếp, rồi đo phần việc bị chuyển
Giả sử ngưỡng tự động xử lý là 0,8. Hệ thống nhận 100 email, xử lý 40 và đúng 36 trong số đó. Coverage, tức tỷ lệ được tự xử lý, là 40%; tỷ lệ lỗi trên phần nhận xử lý là 4/40 = 10%.
Tăng ngưỡng có thể giữ lại những ca dễ hơn, nhưng không được mặc định rằng tỷ lệ lỗi chắc chắn giảm. Hãy đo lại. Đồng thời, 60 email còn lại cần nơi tiếp nhận: hàng đợi nhân viên, câu hỏi bổ sung hoặc quy trình khác. Một nút “không chắc” không hoàn thành công việc nếu không ai xử lý bước sau.
Trong thiết kế này, “quyền từ chối” là quyền không tự đưa ra quyết định khi chưa đủ căn cứ. Nó khác với từ chối theo chính sách nội dung. Hãy ghi riêng hai nguyên nhân để người vận hành biết cần bổ sung dữ liệu hay xử lý một quy tắc sản phẩm.
Kiểm tra ngưỡng trên dữ liệu chưa thấy
Chia dữ liệu thành phần huấn luyện, phần hiệu chỉnh và phần đánh giá cuối. Với từng ngưỡng, ghi coverage, tỷ lệ lỗi trong phần nhận và số ca chuyển tiếp. Chọn ngưỡng theo yêu cầu công việc trước khi xem tập đánh giá cuối.
Ví dụ tự xây: đội hỗ trợ chỉ tiếp nhận được 50 ca chuyển tiếp mỗi ngày. Ngưỡng tạo 60 ca chưa phù hợp dù phần tự động khá chính xác. Bạn cần cải thiện mô hình, tăng năng lực tiếp nhận hoặc giảm phạm vi tự động. Sau khi đổi nguồn email, kiểm tra lại các bảng thay vì giữ nguyên một lời hứa xác suất.
Sơ đồ sau minh họa cách đọc nhiều thước đo; nó không phải biểu đồ calibration hay đường risk–coverage.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Bài tập: chọn một ngưỡng có thể vận hành
Tạo bảng 20 email giả định gồm xác suất, nhãn dự đoán và nhãn đúng. Tính coverage cùng tỷ lệ lỗi ở hai ngưỡng 0,6 và 0,8. Ghi rõ cách xử lý trường hợp không email nào vượt ngưỡng: tỷ lệ lỗi khi ấy không xác định, không được ghi là 0%.
Bạn đạt yêu cầu khi tính được ECE ví dụ là 0,11, không nhầm accuracy với calibration và nêu rõ người nhận các email bị chuyển tiếp. Đọc DPO để tiếp tục phân biệt tối ưu sở thích với kiểm chứng độ đúng.