Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Hôm qua bạn thêm câu “hãy thật chính xác” và nhận được bản tóm tắt tốt. Hôm nay cùng prompt lại bỏ sót hạn chót. Không lưu đầu vào và kết quả, bạn khó biết prompt đã cải thiện hay chỉ gặp một ví dụ dễ hơn.
Nhật ký thử nghiệm là nơi ghi điều đã thay đổi và bằng chứng đi kèm. Một bảng tính đơn giản đủ dùng ở giai đoạn đầu. Giá trị của nó nằm ở việc giúp bạn quay lại đúng phiên bản và đúng trường hợp đã gây lỗi.
Bắt đầu bằng một lỗi quan sát được
Giả sử AI chuyển ghi chú họp thành danh sách việc cần làm. Lỗi bạn muốn sửa là tự gán ngày mai cho những việc không có hạn chót. Mục tiêu thử nghiệm nên là “không tự thêm ngày”, thay vì “tóm tắt chuyên nghiệp hơn”.
Anthropic khuyến nghị xác định tiêu chí thành công có thể đo được trước khi xây dựng đánh giá. Với tình huống này, bạn có thể đếm số hạn chót được giữ đúng và số hạn chót tự thêm. Hai con số giúp thấy rõ lợi ích và lỗi mới.
Chọn một nhóm ghi chú giả gồm việc có ngày rõ, việc chưa có ngày, câu hẹn tương đối và quyết định đã bị hủy. Viết sẵn kết quả mong đợi cho mỗi mẫu. Không cần chờ một bộ dữ liệu lớn mới bắt đầu ghi chép.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Lưu những gì đủ để thử lại
Một dòng nhật ký nên trỏ đến toàn bộ prompt và đầu vào đã dùng. Thêm tên công cụ, phiên bản mô hình nếu được hiển thị, ngày thử và cài đặt mà bạn chủ động thay đổi. Nếu công cụ không cung cấp phiên bản cụ thể, ghi “không được hiển thị” thay vì đoán.
Mã thử: HOP-02
Mục tiêu: không tự tạo hạn chót
Thay đổi: thêm quy tắc ghi “chưa xác định” khi thiếu ngày
Bộ mẫu: họp-v1, gồm 8 ghi chú giả
Kết quả: lưu đầu ra riêng cho từng mẫu
Lỗi: đánh dấu mẫu và trường dữ liệu sai
Quyết định: giữ, sửa tiếp hoặc quay lại phiên bản trướcĐừng chỉ lưu ảnh của câu trả lời đẹp nhất. Những kết quả không đạt giúp bạn nhận ra giới hạn. Nếu đầu vào có dữ liệu riêng tư, dùng bản đã được phép lưu hoặc dữ liệu giả; nhật ký không nên trở thành một kho sao chép tài liệu nhạy cảm.
Thay một yếu tố và giữ bộ mẫu ổn định
Ở lượt tiếp theo, chỉ thêm quy tắc xử lý hạn chót thiếu. Giữ nguyên các yêu cầu về định dạng và giọng văn để dễ hiểu nguyên nhân thay đổi. Chạy prompt cũ và mới trên cùng bộ mẫu, trong điều kiện công cụ gần nhau nhất có thể.
Khi đầu ra có dao động, thử lại các trường hợp quan trọng và ghi mọi kết quả. Một phiên bản đạt một lần rồi sai hai lần không nên được mô tả là đã giải quyết ổn định. Đồng thời kiểm tra xem quy tắc mới có khiến AI bỏ luôn những hạn chót vốn được viết rõ không.
Để tránh chỉ chỉnh prompt cho những ví dụ đã thuộc, giữ riêng vài mẫu chưa dùng khi sửa. Chỉ mở nhóm này sau khi đã chọn phiên bản ứng viên. Kết quả vẫn chỉ có giá trị trong phạm vi nhiệm vụ và dữ liệu đang thử.
Kết thúc mỗi vòng bằng một quyết định
Viết một câu giải thích quyết định bằng bằng chứng: “Giữ phiên bản B vì không thêm ngày trên bộ kiểm tra, nhưng vẫn cần duyệt câu có mốc tương đối.” Đây là kết luận hữu ích hơn “B tốt hơn nhiều”. Những con số thực tế phải lấy từ lần chạy của bạn.
Bài tập: lấy một prompt đang dùng, tạo sáu đầu vào giả và xác định hai loại lỗi. Thử một thay đổi nhỏ, lưu đủ đầu ra rồi viết quyết định giữ hoặc bỏ. Bạn hoàn thành khi một người khác có thể nhìn nhật ký, hiểu điều đã thử và chạy lại phép so sánh. Nếu còn thiếu cấu trúc yêu cầu, quay lại bài viết prompt rõ ràng.