Thiết kế bước người duyệt để lỗi AI thực sự được phát hiện

AI soạn một email báo đổi lịch đào tạo từ 14:00 sang 15:00. Người duyệt nhìn câu chữ trôi chảy, bấm gửi, rồi mới phát hiện AI viết nhầm ngày. Quy trình có con người tham gia, nhưng bước duyệt chưa giúp kiểm tra điều quan trọng.

Thêm một nút “đồng ý” không tự tạo ra chất lượng. Muốn người duyệt bắt được lỗi, họ cần nhìn thấy căn cứ, biết mình đang duyệt điều gì và có quyền dừng hành động khi còn thiếu thông tin.

Xác định đối tượng được duyệt

Trong email đổi lịch, tách hai việc: duyệt nội dung và duyệt hành động gửi. Nội dung cần đúng ngày, giờ, địa điểm. Hành động cần đúng người nhận và thời điểm gửi. Một bản nháp đúng vẫn có thể bị gửi sai nhóm.

Một phiếu duyệt gọn cho tình huống này có thể gồm:

Nguồn: thông báo đã được ban tổ chức xác nhận
Thay đổi: 14:00 → 15:00, giữ nguyên ngày và phòng học
Người nhận: danh sách học viên của lớp A
Hành động sau duyệt: gửi đúng bản đang hiển thị
Điểm cần kiểm tra: ngày, giờ, phòng, nhóm nhận

Người duyệt cần biết bấm nút sẽ gây ra việc gì. Nếu chỉ lưu nháp, ghi rõ lưu nháp. Nếu gửi ngay, giao diện và quy trình phải thể hiện đúng hậu quả ấy.

Agent dùng trạng thái hiện tại để chọn công cụ, đọc kết quả thực thi và kiểm tra tiến độ. Vòng lặp tiếp tục trong giới hạn được đặt trước hoặc kết thúc với kết quả đã xác minh.

↔ Vuốt ngang để xem toàn bộ sơ đồ.

1. 01 / Quan sát

   Agent nhận mục tiêu, trạng thái hiện tại và kết quả của các bước trước.

2. 02 / Gọi công cụ

   Mô hình đề xuất công cụ và đầu vào; ứng dụng kiểm tra quyền trước khi thực thi.

3. 03 / Đọc kết quả

   Agent nhận dữ liệu trả về, bao gồm thành công, dữ liệu rỗng hoặc lỗi.

4. 04 / Kiểm tra và dừng

   Kiểm tra mục tiêu đã đạt chưa. Dừng khi hoàn thành, thiếu quyền hoặc chạm giới hạn; nếu cần thì tiếp tục.

Minh họa một vòng lặp agent đơn giản. Công cụ chỉ được thực hiện thao tác trong quyền đã cấp; lời mô hình nói không thay thế kết quả thực thi.

Đưa căn cứ đến cạnh quyết định

Cho người duyệt mở nguồn gốc và xem thay đổi cùng bản nháp. Đừng bắt họ tìm thông báo trong một cuộc trò chuyện khác rồi nhớ lại từng con số. Những trường quan trọng nên được đặt ở vị trí dễ đối chiếu.

Nghiên cứu Guidelines for Human-AI Interaction của Microsoft Research đề xuất 18 hướng dẫn thiết kế và đánh giá chúng qua nhiều vòng nghiên cứu. Đây là tài liệu tham khảo về tương tác người–AI; mẫu phiếu trong bài này là ví dụ tự biên soạn cho việc duyệt email.

Bạn cũng nên hiển thị chỗ chưa chắc chắn dưới dạng có thể hành động: “nguồn chưa ghi phòng học” hữu ích hơn “độ tin cậy thấp”. Người duyệt lúc đó biết cần bổ sung dữ liệu nào, thay vì phải đoán lý do mô hình do dự.

Cho phép sửa, từ chối và chuyển người xử lý

Một quy trình chỉ có nút chấp thuận khiến mọi ngoại lệ trở nên khó giải quyết. Với email đổi lịch, người duyệt cần sửa câu chữ, trả lại yêu cầu xác minh ngày hoặc hủy gửi. Nếu không có quyền quyết định lịch, họ phải biết chuyển cho ai.

Sau khi được duyệt, bản gửi phải đúng với bản đã xem. Nếu danh sách người nhận hoặc nội dung thay đổi, cần kiểm tra lại phần thay đổi trước khi gửi. Đừng xem một lần đồng ý như quyền mở cho mọi phiên bản về sau.

Ghi lại bản được duyệt, người duyệt và hành động đã thực hiện giúp tra lại sai sót. Chỉ lưu dữ liệu cần thiết và đặt quyền truy cập phù hợp; nhật ký duyệt cũng có thể chứa thông tin nội bộ.

Kiểm tra người duyệt có bắt được lỗi không

Tạo ba bản nháp giả: một bản đúng, một bản sai ngày và một bản đúng nội dung nhưng sai nhóm nhận. Đưa nguồn kèm theo, rồi nhờ một đồng nghiệp thử quy trình trong môi trường không gửi thật.

Quan sát lỗi nào được phát hiện, mất bao lâu và thông tin nào họ phải đi tìm. Nếu họ chỉ bắt lỗi chính tả, cần làm rõ lại tiêu chí duyệt. Nếu mọi bản đều bị giữ lại, xem nguồn hoặc hướng dẫn có quá mơ hồ không.

Bài tập đạt khi người thử phân biệt được cả lỗi nội dung lẫn lỗi hành động và biết đường xử lý mỗi loại. Một lần thử nhỏ không chứng minh quy trình luôn an toàn; nó cho bạn bằng chứng để sửa bước duyệt trước khi mở rộng sang AI agent.