Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một bộ lọc bỏ qua tất cả thư rác vẫn có thể đạt điểm chính xác rất cao nếu hộp thư gần như toàn thư bình thường. Con số không sai về phép tính; nó chỉ đang trả lời một câu hỏi quá rộng. Muốn đánh giá AI, bạn cần chọn thước đo khớp với loại lỗi mình quan tâm.
Accuracy đếm tổng số quyết định đúng
Accuracy là tỷ lệ dự đoán đúng trên toàn bộ ví dụ. Trong tình huống minh họa có 100 thư, 95 thư bình thường và 5 thư rác, cách đoán mọi thư đều bình thường đạt 95% accuracy nhưng không bắt được thư rác nào.
Tài liệu phân loại của Google giải thích vì sao accuracy có thể gây hiểu lầm khi các lớp mất cân bằng hoặc hậu quả hai kiểu lỗi khác nhau. Nó vẫn là một mô tả có ích, nhưng cần đọc cùng các số khác.
Trước khi chấm, phải xác định “dương tính” nghĩa là gì. Trong ví dụ này, dương tính là bị đánh dấu thư rác. Đổi lớp quan tâm sẽ đổi cách bạn diễn giải bảng kết quả.
Precision hỏi cảnh báo có đáng tin không
Giả sử hệ thống đánh dấu 8 thư là rác, trong đó có 4 thư rác thật và 4 thư bình thường. Precision bằng 4 chia 8, tức 50%. Nó trả lời: trong những thư bị đánh dấu, bao nhiêu thư đúng là rác?
Recall dùng cùng 4 thư rác được bắt nhưng chia cho tổng 5 thư rác thật, nên bằng 80%. Nó hỏi hệ thống đã tìm được bao nhiêu phần trong những trường hợp cần tìm. Toàn bộ con số ở đây do người viết dựng để minh họa, không phải benchmark.
Với hộp thư, đánh nhầm thư quan trọng vào rác gây phiền khác với để lọt thư quảng cáo. Bạn cần cân nhắc cả hai. Điều chỉnh ngưỡng quyết định có thể làm các tỷ lệ thay đổi; nên ghi ngưỡng cùng kết quả thay vì xem chúng như thuộc tính cố định của tên mô hình.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Dự đoán con số cần đo mức lệch
Nếu mô hình dự đoán thời gian, việc chỉ đếm đúng tuyệt đối thường quá khắt khe. Bạn có thể tính sai số tuyệt đối của từng dự đoán rồi lấy trung bình, gọi là MAE. Nó giữ đơn vị của đại lượng cần dự đoán nên dễ diễn giải.
Ví dụ minh họa: ba chuyến đi thực tế mất 10, 20 và 30 phút, còn dự đoán là 12, 17 và 35 phút. Sai số tuyệt đối lần lượt là 2, 3 và 5 phút; MAE bằng 10 chia 3, xấp xỉ 3,33 phút.
Bài về loss của Google cũng trình bày sai số bình phương, vốn nhấn mạnh lỗi lớn hơn. Khi đọc một chỉ số, hãy hỏi nó phạt loại lỗi nào mạnh và đơn vị cuối cùng là gì.
Trung bình không cho thấy người nào bị ảnh hưởng
MAE nhỏ có thể che một số chuyến bị dự đoán thiếu rất nhiều. Accuracy chung tốt có thể che nhóm tiếng Việt không dấu hoạt động kém. Hãy xem phân bố lỗi và các nhóm quan trọng bên cạnh điểm tổng.
Cũng cần giữ quy mô phép thử. Kết quả trên mười ví dụ chỉ là một quan sát nhỏ; một lỗi đã làm tỷ lệ thay đổi đáng kể. Khi so hai mô hình, dùng cùng dữ liệu và điều kiện chấm, rồi xem sự khác biệt có ổn định không.
Một metric phù hợp với bước nghiên cứu có thể chưa đủ cho vận hành. Độ trễ, số lần người dùng phải sửa và khả năng nhận thiếu thông tin cũng có thể quyết định sản phẩm dùng được hay không.
Bài tập: tính rồi giải thích bằng lời
Tạo bảng mười yêu cầu hỗ trợ giả định, bốn yêu cầu thực sự khẩn cấp. Cho hệ thống đánh dấu năm yêu cầu, trong đó ba yêu cầu khẩn cấp thật. Tính precision và recall, sau đó viết một câu giải thích mỗi kết quả mà không dùng thuật ngữ.
Đáp án tự kiểm là precision 3/5 và recall 3/4. Bạn còn cần chỉ ra hai cảnh báo nhầm và một trường hợp bỏ sót. Cuối cùng, nêu kiểu lỗi nào tốn công xử lý hơn trong tình huống bạn chọn. Đọc chia tập dữ liệu để bảo đảm con số được tính trên phần dữ liệu phù hợp.