Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một bộ phân loại đánh dấu mười hai ảnh sản phẩm là “bị mờ”. Người kiểm tra xác nhận chín ảnh trong số đó thực sự mờ. Trong toàn bộ bộ thử, có mười lăm ảnh mờ. Bộ phân loại vừa báo nhầm ba ảnh rõ, vừa bỏ sót sáu ảnh mờ. Một con số độ chính xác tổng thể sẽ không kể đủ hai loại lỗi này.
Chốt lớp dương trước khi tính
Trong ví dụ, lớp dương là “ảnh mờ”. True positive, viết tắt TP, là ảnh mờ được đánh dấu đúng. False positive, FP, là ảnh rõ bị đánh dấu mờ. False negative, FN, là ảnh mờ bị bỏ qua. True negative, TN, là ảnh rõ được giữ đúng.
Các số minh họa là TP = 9, FP = 3, FN = 6. Chúng được tự dựng để tính tay, không đến từ một benchmark. Nếu đổi lớp dương thành “ảnh rõ”, ý nghĩa các ô và chỉ số sẽ đổi; vì thế báo cáo phải ghi rõ đang chấm lớp nào.
Bài học Google về precision và recall trình bày các chỉ số từ kết quả phân loại và nhấn mạnh lựa chọn thước đo phụ thuộc tác vụ, mức mất cân bằng cùng chi phí của từng kiểu lỗi.
Hai câu hỏi có hai mẫu số
Precision hỏi: trong những ảnh bị gắn cờ, bao nhiêu ảnh thật sự mờ? Công thức là TP / (TP + FP). Ví dụ có 9 / 12 = 0,75, tức 75% các cảnh báo là đúng.
Recall hỏi: trong tất cả ảnh thật sự mờ, hệ thống tìm được bao nhiêu? Công thức là TP / (TP + FN). Ví dụ có 9 / 15 = 0,60, tức tìm được 60% ảnh mờ.
Nếu đội kiểm duyệt chỉ có thời gian xem ít ảnh, precision giúp hiểu chất lượng danh sách được đưa tới họ. Nếu mục tiêu là giảm ảnh mờ lọt ra trang sản phẩm, recall trở thành điều cần theo dõi sát. Hai chỉ số trả lời hai nhu cầu khác nhau.
F1 gộp hai chỉ số nhưng không biết chi phí
F1 là trung bình điều hòa của precision và recall: 2 × P × R / (P + R). Với số liệu trên, F1 xấp xỉ 0,667. Nó thấp hơn trung bình cộng khi hai thành phần lệch nhau và yêu cầu cả hai cùng tốt để đạt giá trị cao.
Tuy nhiên, F1 không biết báo nhầm một ảnh tốn bao nhiêu phút hay bỏ sót một ảnh ảnh hưởng ra sao. Nó cũng không dùng TN trong công thức. Hai hệ thống có cùng F1 vẫn có thể tạo khối lượng công việc rất khác nếu lượng ảnh đầu vào hoặc tỷ lệ ảnh mờ khác nhau.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Hình minh họa việc chấm rồi cải thiện mô hình. Các chỉ số trong bài chỉ đánh giá một quyết định phân loại; chúng không đo độ trễ, trải nghiệm người dùng hay tất cả thuộc tính chất lượng khác.
Khi không có dự đoán dương hoặc không có mẫu dương, một số mẫu số bằng không. Hãy ghi quy ước xử lý của công cụ thay vì âm thầm so các báo cáo dùng quy ước khác nhau.
Bài tập: thay ngưỡng rồi chọn có lý do
Giả sử bộ phân loại xuất điểm và gắn cờ khi điểm vượt ngưỡng. Hạ ngưỡng thường đưa thêm ảnh vào danh sách, nhưng bạn cần đo lại TP, FP và FN trên bộ thử để biết tác động cụ thể. Không suy ra precision sẽ thay đổi một lượng cố định.
Tạo bảng hai mươi ảnh giả định với nhãn thật và điểm mô hình. Tính precision, recall và F1 ở ba ngưỡng. Thêm cột số ảnh cần người kiểm tra để gắn kết chỉ số với công việc.
Tiêu chí đạt là tính đúng từ các ô đếm, chỉ rõ lớp dương, xử lý trường hợp mẫu số bằng không và chọn ngưỡng theo mục tiêu đã nêu. Nếu chọn precision cao để giảm cảnh báo, hãy báo luôn số ảnh mờ bị bỏ sót. Quyết định có căn cứ cần nhìn thấy đánh đổi, không chỉ khoanh tròn giá trị F1 lớn nhất.