Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một prompt mới khiến người dùng bấm “tạo lại” nhiều hơn. Đó có thể là dấu hiệu họ thích khám phá, hoặc dấu hiệu bản đầu quá tệ. Chỉ số tăng chưa nói được sản phẩm tốt lên nếu bạn chưa gắn nó với giả thuyết và kết quả người dùng muốn đạt.
A/B testing giúp so sánh tác động trong điều kiện thực tế, sau khi các phiên bản đã qua kiểm tra chất lượng cơ bản.
Viết giả thuyết có thể bác bỏ
Trong ví dụ giả định, phiên bản B của công cụ soạn email hiển thị yêu cầu làm rõ trước khi tạo nháp nếu thiếu người nhận hoặc mục đích. Giả thuyết là cách này giảm mức chỉnh sửa cần thiết, dù có thể tăng thời gian tới bản nháp đầu.
Chỉ số chính có thể là tỷ lệ bản nháp được chấp nhận sau chỉnh sửa trong phạm vi đã định. Chỉ số bảo vệ gồm thời gian hoàn thành, tỷ lệ bỏ cuộc và lỗi nội dung nghiêm trọng. Định nghĩa sự kiện đo cụ thể trước khi chạy, thay vì chọn chỉ số thắng sau khi nhìn dữ liệu.
Microsoft Research về chuẩn bị thí nghiệm đáng tin cậy nhấn mạnh giả thuyết rõ, bộ chỉ số phù hợp và lựa chọn đơn vị ngẫu nhiên hóa. Những bước này quan trọng với tính năng AI vì một thay đổi prompt có thể đồng thời tác động chất lượng, độ trễ và hành vi người dùng.
Chia nhóm theo trải nghiệm cần giữ ổn định
Nếu cùng người dùng thấy A ở lượt đầu và B ở lượt sau, họ có thể học cách viết yêu cầu từ một phiên bản rồi mang kiến thức đó sang phiên bản kia. Chia theo người dùng giúp giữ trải nghiệm ổn định trong nhiều trường hợp.
Tuy nhiên, sản phẩm cộng tác có thể cần chia theo nhóm hoặc tổ chức khi người dùng chia sẻ kết quả. Chọn đơn vị dựa trên khả năng ảnh hưởng lẫn nhau, không chỉ vì ID nào dễ lấy nhất.
Thiết kế sự kiện minh họa:
experiment_id, variant, assignment_unit
task_started, clarification_shown, draft_ready
task_accepted, task_abandoned, quality_issueGhi phiên bản prompt và mô hình cho mỗi tác vụ. Nếu mô hình đổi giữa thí nghiệm mà không được theo dõi, kết quả có thể trộn tác động của hai thay đổi.
Kiểm tra phép đo trước khi tin kết quả
Chạy thử A/A, tức hai nhóm dùng cùng cách xử lý, có thể giúp phát hiện sai lệch ở chia nhóm và ghi sự kiện. Nó không chứng minh mọi thí nghiệm sau đều đúng, nhưng là phép kiểm tra hữu ích cho hệ thống đo.
Xem số người được phân vào mỗi nhóm, số người thực sự thấy tính năng và tỷ lệ mất sự kiện. Nếu một phiên bản lỗi trước khi gửi sự kiện hoàn thành, chỉ phân tích những tác vụ có kết quả sẽ bỏ mất chính nhóm bị ảnh hưởng.
Với AI, độ dài đầu vào và loại nhiệm vụ có thể làm kết quả biến động mạnh. Phân tích các nhóm đã định trước giúp hiểu tác động khác nhau, nhưng chia quá nhiều nhóm sau khi thấy dữ liệu dễ tạo ra câu chuyện may rủi.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Quyết định với chất lượng và độ bất định
Chọn trước thời lượng, cỡ mẫu dự kiến và cách phân tích phù hợp với giả thuyết. Không dừng ngay khi thấy một chỉ số đẹp nếu phương pháp thống kê không được thiết kế cho việc theo dõi liên tục.
Một khác biệt nhỏ có thể chưa đủ bằng chứng để chọn phiên bản. Báo cáo khoảng bất định và mức ảnh hưởng có ý nghĩa với sản phẩm, thay vì chỉ dùng chữ “thắng”. Nếu chỉ số chính tốt hơn nhưng lỗi nghiêm trọng tăng, cần xem điều kiện phát hành đã đặt ra.
Lỗi thường gặp là bỏ kiểm tra ngoại tuyến vì đã có A/B. Người dùng thật không nên trở thành nơi đầu tiên phát hiện prompt tạo thông tin sai cơ bản. Bộ đánh giá trước phát hành và thí nghiệm trực tiếp trả lời những câu hỏi khác nhau.
Bài tập: giải nghĩa lượt tạo lại
Thiết kế thí nghiệm giả định cho hai cách tóm tắt: tạo ngay hoặc hỏi mục đích đọc trước. Viết một giả thuyết, một chỉ số chính và các chỉ số bảo vệ; không cần bịa số người dùng hay mức tăng trưởng.
Tiêu chí đạt: giải thích được khi nào lượt tạo lại tăng là tốt hoặc xấu, cách tính bao gồm tác vụ thất bại, và điều kiện nào khiến bạn dừng hoặc chưa kết luận. Đọc tiếp đánh giá bản tóm tắt để chuẩn bị phép kiểm chất lượng trước thử nghiệm.