Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một trợ lý đặt lịch trả lời trơn tru năm câu hỏi do nhóm phát triển tự nghĩ ra. Khi người dùng viết “mai bên đó còn slot tối không”, hệ thống lại tìm lịch của sai cơ sở. Bộ thử quá sạch đã không đại diện cho cách người thật hỏi.
Bắt đầu bằng phạm vi và dạng lỗi
Trước khi thu thập hàng trăm câu, viết rõ hệ thống phải làm gì: tra lịch theo cơ sở, xác định ngày, hỏi lại khi thiếu thông tin và từ chối khẳng định khi chưa có dữ liệu. Sau đó liệt kê lỗi cần phát hiện: sai cơ sở, sai ngày, bỏ điều kiện hoặc tự bịa lịch còn trống.
Chia bộ thử theo nhóm nhu cầu, không chỉ theo độ dài câu. Một nhóm có thể gồm câu rõ ràng, câu viết tắt, câu phụ thuộc hội thoại, câu ngoài phạm vi và câu có thông tin mâu thuẫn. Số lượng từng nhóm cần phản ánh mục tiêu đánh giá; không có tỷ lệ cố định phù hợp mọi sản phẩm.
Nếu dùng dữ liệu thật, cần quyền sử dụng và cách giảm thông tin cá nhân. Các ví dụ minh họa trong bài này được tự dựng, không phải trích từ người dùng của một dịch vụ.
Một mẫu cần nhiều hơn câu hỏi và đáp án
Đáp án tham chiếu có thể gồm các ý bắt buộc và điều không được khẳng định. Với tác vụ có nhiều cách diễn đạt đúng, chấm theo ý sẽ hữu ích hơn so khớp toàn bộ câu chữ.
id: lich-017
đầu vào: Mai cơ sở Đông còn lớp tối không?
ngữ cảnh: ngày hỏi và múi giờ đã xác định
căn cứ: lịch cơ sở Đông, phiên bản 6
phải có: đúng ngày, đúng cơ sở, giờ được công bố
không được suy ra: còn chỗ nếu nguồn chỉ có lịchCông trình Datasheets for Datasets đề xuất tài liệu đi kèm mô tả động cơ, thành phần, cách thu thập và mục đích sử dụng của bộ dữ liệu. Với bộ đánh giá nhỏ, một trang ghi phạm vi, nguồn mẫu và giới hạn cũng giúp người khác hiểu điểm số đang đại diện cho điều gì.
Gán nhãn và giữ riêng phần kiểm cuối
Hai người có thể chấm khác nhau vì một người yêu cầu hỏi lại, người kia chấp nhận giả định cơ sở gần nhất. Hãy cho họ chấm một nhóm nhỏ độc lập, đối chiếu bất đồng và sửa hướng dẫn trước khi gán nhãn toàn bộ.
Tách một phần dùng để phát triển khỏi phần giữ riêng cho kiểm tra cuối. Khi liên tục đọc lỗi rồi sửa prompt theo chính các câu đó, điểm tăng có thể chỉ cho thấy hệ thống quen bộ thử. Các biến thể gần như giống nhau của cùng một câu nên nằm cùng một nhóm chia để giảm rò rỉ.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Hình minh họa vòng thử và cải thiện. Bộ giữ riêng không nên bị kéo vào mọi vòng chỉnh sửa; nếu đã dùng nó để quyết định thay đổi, cần ghi nhận vai trò của nó đã thay đổi.
Bài tập: tạo bộ thử có thể bàn giao
Tạo hai mươi câu hỏi giả định cho trợ lý đặt lịch. Mỗi mẫu có mã, nhóm lỗi, ngữ cảnh cần thiết, căn cứ, ý bắt buộc và tiêu chí không đạt. Dành một nhóm câu riêng cho trường hợp thiếu cơ sở hoặc thiếu ngày.
Nhờ một người khác chấm vài đầu ra mà không giải thích miệng thêm. Ghi lại chỗ họ phải hỏi bạn rồi sửa hướng dẫn. Tiêu chí đạt là người chấm xác định được đạt hoặc trượt từ tài liệu, nhận ra câu ngoài phạm vi và không cần đoán ý tác giả bộ thử.
Lưu phiên bản bộ dữ liệu cùng phiên bản nguồn. Khi lịch học đổi, quyết định rõ sẽ cập nhật nhãn cho bài toán hiện tại hay giữ bản cũ để kiểm lịch sử. Một điểm số chỉ có thể so sánh công bằng khi bạn biết tập câu hỏi, căn cứ và quy tắc chấm có thay đổi hay không.