Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Hệ A trả lời đúng 82 trong 100 câu, hệ B đúng 85 câu. Chênh lệch ba câu có thể đáng chú ý, nhưng chưa đủ để biết B sẽ tốt hơn trên những câu hỏi tiếp theo. Một điểm số mô tả mẫu đã quan sát; khoảng tin cậy giúp biểu đạt phần bất định do việc chọn mẫu.
Tiên quyết: hiểu tỷ lệ, trung bình và đánh giá mô hình. Toàn bộ số liệu dưới đây là minh họa, không phải benchmark thật hay khuyến nghị cỡ mẫu cho mọi sản phẩm.
Xác định đơn vị độc lập trước khi tính
Một trăm câu từ một tài liệu không nhất thiết cung cấp lượng thông tin bằng một trăm câu từ một trăm tài liệu độc lập. Các câu trong cùng hội thoại có thể cùng dễ hoặc cùng khó. Nếu lấy mẫu từng câu như thể độc lập, khoảng ước tính có thể hẹp quá mức.
Hãy định nghĩa đối tượng bạn muốn suy rộng: câu hỏi, người dùng, tài liệu hay nhiệm vụ hoàn chỉnh. Với dữ liệu nhóm, có thể lấy mẫu lại theo nhóm và giữ các câu bên trong cùng nhau. Số lần gọi mô hình cũng không tự biến thành số nhiệm vụ độc lập nếu bạn lặp cùng một câu nhiều lần.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Sơ đồ cho thấy điểm đánh giá theo các tiêu chí. Khoảng tin cậy bổ sung thông tin về biến động của ước lượng; nó không sửa được nhãn sai hoặc bộ thử không đại diện.
Một phép tính gần đúng để thấy quy mô bất định
Với tỷ lệ quan sát p = 0,82 từ n = 100 thử nghiệm Bernoulli độc lập, sai số chuẩn gần đúng là sqrt(p × (1-p) / n), khoảng 0,038. Khoảng chuẩn gần đúng 95% là 0,82 ± 1,96 × 0,038, tức khoảng 74,5% đến 89,5%.
Đây là phép xấp xỉ để minh họa. Nó có thể hoạt động kém khi mẫu nhỏ hoặc tỷ lệ gần 0 hay 1; các khoảng như Wilson thường phù hợp hơn cho tỷ lệ trong những trường hợp đó. Đừng dùng công thức này máy móc cho mọi metric, chẳng hạn điểm F1 hoặc độ trễ có phân phối lệch.
Ý nghĩa tần suất của mức 95% nằm ở quy trình: qua nhiều lần lấy mẫu theo giả định, khoảng được tạo sẽ bao phủ tham số thật với tỷ lệ xấp xỉ mức ấy. Nó không nói rằng 95% câu trả lời đều đúng, hay rằng mô hình chắc chắn đạt mức tối thiểu của khoảng.
So sánh hai hệ bằng dữ liệu theo cặp
Nếu A và B làm cùng câu hỏi, giữ cặp kết quả khi lấy mẫu lại. Tài liệu bootstrap của SciPy mô tả lấy mẫu có hoàn lại để ước tính phân phối của thống kê, đồng thời hỗ trợ lấy mẫu theo cặp. Cần chọn phương pháp phù hợp với dữ liệu và metric cụ thể.
Mã giả minh họa cho chênh lệch độ chính xác:
repeat many times:
indices = sample_question_indices_with_replacement()
delta = mean(B[indices]) - mean(A[indices])
save(delta)
inspect_distribution_and_interval(saved_deltas)Lấy A và B bằng hai bộ chỉ số độc lập sẽ phá quan hệ câu dễ/khó chung. Với hội thoại nhóm, lấy lại chỉ số hội thoại thay vì từng câu. Nếu khoảng chênh lệch bao gồm cả giá trị âm và dương, dữ liệu hiện tại còn tương thích với cả hai hướng; không nên biến nó thành tuyên bố “hai hệ giống nhau”.
Quyết định bằng mức cải thiện có ý nghĩa
Khoảng hẹp quanh một cải thiện rất nhỏ có thể chưa đủ bù chi phí. Trước thí nghiệm, xác định mức lợi ích tối thiểu đáng triển khai và các ràng buộc về lỗi nghiêm trọng. Xem kết quả theo nhóm nhiệm vụ, nhưng tránh thử hàng chục nhóm rồi chỉ công bố nhóm thắng.
Bài tập: tạo bảng hai cột đúng/sai cho cùng năm mươi câu hỏi, thực hiện bootstrap theo cặp và ghi seed, số lần lấy mẫu, phương pháp khoảng. Tự kiểm bằng một bộ A và B hoàn toàn giống nhau: mọi chênh lệch phải bằng không. Sau đó đảo hai cột để kiểm tra dấu kết quả đảo tương ứng. Đọc tiếp ablation study để đưa ước lượng này vào một thiết kế so sánh có kiểm soát.