Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một mô hình trả lời xuất sắc bộ câu hỏi công khai nhưng lúng túng trước câu hỏi mới có cùng kiến thức. Điều đó có thể do ghi nhớ đề, cũng có thể do bộ câu hỏi mới khó hơn hoặc được viết khác. Điểm chênh lệch là lý do điều tra, chưa phải bằng chứng chắc chắn về contamination.
Tiên quyết: hiểu train/test, data leakage và giới hạn của benchmark. Bài này tập trung vào cách diễn giải bằng chứng, không xếp hạng hay cáo buộc một mô hình cụ thể.
Xác định thứ gì có thể đã bị lộ
Contamination xảy ra khi thông tin từ bộ đánh giá đi vào quá trình học hoặc tối ưu theo cách làm sai lệch phép đo mong muốn. Có thể là nguyên câu hỏi, câu hỏi kèm đáp án, lời giải chi tiết hoặc các biến thể gần trùng. Mức ảnh hưởng không giống nhau: gặp một chủ đề phổ biến khác với gặp đúng chuỗi câu hỏi và đáp án.
Với mô hình đóng, bạn thường không xem được toàn bộ dữ liệu tiền huấn luyện. Oren và cộng sự nghiên cứu kiểm định dựa trên khả năng mô hình ưu tiên thứ tự chuẩn của một benchmark so với thứ tự xáo trộn, dưới các giả định của phương pháp. Đây là phép kiểm có điều kiện, không phải máy quét mọi loại ghi nhớ.
Tách tín hiệu nghi ngờ khỏi kết luận
Mô hình hoàn thành chính xác một đoạn lời giải dài là tín hiệu khác với việc trả lời đúng một phép tính phổ thông. Khi thấy dấu hiệu bất thường, lưu đầu vào, đầu ra, phiên bản mô hình, thời điểm và cách chấm. Không chọn riêng vài ví dụ nổi bật rồi suy rộng thành toàn bộ benchmark.
Một bảng kiểm minh họa có thể ghi:
item_id | public_since | exact_overlap | near_duplicate | provenance
q01 | đã công khai | chưa biết | có dấu hiệu | nguồn A
q02 | nội bộ | không thấy | không thấy | tác giả B“Không thấy” chỉ nói về phạm vi bạn đã kiểm tra. Nó không chứng minh không có trong tập huấn luyện mà bạn không được truy cập. Tương tự, một câu hỏi đã công khai trước ngày huấn luyện không chứng minh nhà phát triển thực sự thu thập nó.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Sơ đồ biểu diễn đánh giá theo nhiệm vụ. Contamination đặt câu hỏi về tính độc lập của bộ thử, một điều kiện nền mà điểm số trên sơ đồ không tự xác nhận.
Tạo bộ thử mới mà không làm đổi bài toán
Một hướng thực dụng là viết câu hỏi mới từ đặc tả năng lực: cùng loại suy luận, độ dài tương đương và tiêu chí đáp án giống nhau. Đổi tên nhân vật hoặc hoán vị lựa chọn chỉ kiểm tra một dạng biến thể; nó không đảm bảo xóa dấu vết của đề cũ.
Cho người đánh giá độc lập rà độ khó và chất lượng nhãn. Nếu bộ mới chứa câu hỏi mơ hồ, điểm thấp không còn phân biệt được thiếu năng lực với lỗi biên soạn. Lưu nguồn gốc và lịch sử công khai; hạn chế đưa tập cuối vào vòng sửa prompt hằng ngày.
Đánh đổi là chi phí biên soạn và tính so sánh. Benchmark công khai giúp nhiều nhóm so cùng một mốc; bộ riêng sát sản phẩm hơn nhưng ít đối chiếu trực tiếp. Có thể báo cả hai, cùng thời điểm thu thập, cách bảo quản và giới hạn về dữ liệu huấn luyện chưa biết.
Đánh giá bằng nhiều lớp bằng chứng
Bài tập: chọn một năng lực nhỏ như đọc bảng lịch. Tạo mười câu hỏi công khai có nguồn và mười câu mới theo cùng đặc tả. Nhờ một người khác kiểm tra độ khó trước khi chạy mô hình, rồi chấm bằng cùng rubric.
Tự kiểm: mọi câu mới có tác giả và thời điểm tạo; không dùng kết quả test để sửa câu rồi vẫn gọi đó là tập độc lập; báo lỗi theo loại thay vì chỉ tổng điểm. Nếu hai nhóm chênh lệch, liệt kê ít nhất hai lời giải thích có thể kiểm chứng ngoài contamination. Đọc tiếp khoảng tin cậy trước khi coi một khác biệt nhỏ là kết luận chắc chắn.