Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Bạn thêm truy xuất, reranker và một prompt mới trong cùng tuần; điểm bộ thử tăng. Không thể từ một kết quả đó biết reranker đóng góp bao nhiêu, hoặc prompt mới đã làm phần lớn công việc. Ablation study tạo các cấu hình có chủ đích để kiểm tra đóng góp của từng thành phần.
Tiên quyết: hiểu đánh giá mô hình và cách giữ tập test độc lập. Các điểm số trong bài là dữ liệu giả dùng để đọc thiết kế thí nghiệm, không phải kết quả của một hệ thống được triển khai.
Viết giả thuyết có thể bị bác bỏ
Thay vì “reranker tốt hơn”, viết: “trên câu hỏi có nhiều tài liệu gần giống nhau, reranker giúp chọn đúng đoạn nguồn trong cùng giới hạn đầu vào”. Giả thuyết này chỉ rõ nhóm nhiệm vụ, cơ chế mong đợi và điều kiện so sánh.
Deep Reinforcement Learning that Matters của Henderson và cộng sự thảo luận ảnh hưởng của biến động thực nghiệm và cách báo cáo lên việc diễn giải cải thiện trong deep RL. Bài toán RAG ở đây khác miền nghiên cứu đó; bài học phương pháp là cần kiểm soát điều kiện và biểu đạt độ bất định, không chỉ đưa ra một điểm tốt nhất.
Trước khi chạy, khóa phiên bản dữ liệu, mô hình, prompt, số đoạn nguồn, giới hạn token và cách chấm. Nếu bỏ reranker nhưng đồng thời tăng số đoạn được đưa vào mô hình, bạn đã thay hai yếu tố và không còn đo đúng giả thuyết ban đầu.
Đọc bảng tháo thành phần theo câu hỏi đúng
Giả sử có hai thành phần R là reranker và P là prompt có cấu trúc. Bốn cấu hình minh họa cho điểm như sau:
| Cấu hình | Điểm giả định |
|---|---|
| Không R, không P | 70 |
| Có R, không P | 74 |
| Không R, có P | 76 |
| Có R, có P | 83 |
R tăng bốn điểm khi không có P, nhưng tăng bảy điểm khi có P. Phần tương tác minh họa là 83 - 74 - 76 + 70 = 3. Vì vậy không nên nói R có một đóng góp cố định bảy điểm trong mọi hệ thống.
Đặt một mốc so sánh, kiểm tra hệ thống đầy đủ rồi loại bỏ một thành phần. So sánh trong điều kiện phù hợp giúp hiểu thành phần ấy đóng góp gì.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Mốc so sánh
Chọn baseline có ý nghĩa và ghi rõ dữ liệu, ngân sách cùng cách đánh giá.
02 / Hệ thống đầy đủ
Chạy cấu hình có đủ các thành phần và lưu lại kết quả theo cùng tiêu chí.
03 / Bỏ một thành phần
Tạo cấu hình chỉ thay đổi thành phần đang xét; giữ các điều kiện còn lại tương đương khi có thể.
04 / So sánh công bằng
Đối chiếu kết quả và sai số trong phạm vi thí nghiệm. Không quy mọi thay đổi cho một thành phần nếu nhiều yếu tố cùng đổi.
Sơ đồ chỉ minh họa cách đặt thí nghiệm ablation, không thể hiện kết quả đo hay khẳng định thành phần nào luôn có ích.
Sơ đồ minh họa việc bỏ từng thành phần để so sánh. Với nhiều thành phần tương tác, cần thêm cấu hình kết hợp như bảng trên; một hàng “bỏ X” không giải thích được toàn bộ quan hệ nhân quả.
Chi phí và ngẫu nhiên cũng là biến cần kiểm soát
Giữ cùng câu hỏi cho các cấu hình để có thể so sánh theo cặp. Nếu mô hình có đầu ra biến động, chạy lặp với thiết lập được ghi lại; đừng chỉ giữ lần tốt nhất. Báo cả các ca từ đúng thành sai, vì điểm trung bình có thể che mất nhóm bị ảnh hưởng.
Tối ưu tất cả cấu hình với ngân sách như nhau hoặc công khai khác biệt. Một baseline dùng prompt sơ sài so với cấu hình mới được chỉnh hàng chục lần không phải đối chứng mạnh. Tương tự, giảm chất lượng đôi chút nhưng giảm một nửa chi phí có thể hữu ích; cần đo mục tiêu sản phẩm cùng điểm chất lượng.
Số cấu hình tăng nhanh khi nhiều thành phần. Không nhất thiết thử mọi tổ hợp ngay. Bắt đầu từ giả thuyết ưu tiên, một baseline hợp lý và các phép tháo quan trọng; sau đó mở rộng nơi dữ liệu cho thấy tương tác. Phạm vi kết luận phải đi cùng phạm vi đã thử.
Tự thiết kế một phép tháo có thể lặp lại
Bài tập: chọn một hệ hỏi đáp với hai thành phần tùy chọn, tạo bốn cấu hình và chạy trên cùng hai mươi câu hỏi. Lưu kết quả từng câu, thời gian, token và lý do chấm, không chỉ bảng tổng hợp.
Tự kiểm: cấu hình chỉ khác yếu tố được ghi trong bảng; nguồn và phiên bản giống nhau; mọi lỗi đều được tính; có giải thích cho trường hợp cải thiện và suy giảm. Viết kết luận giới hạn ở bộ thử đã chạy. Đọc tiếp khoảng tin cậy để xem phần chênh lệch có ổn định trước biến động lấy mẫu không.