Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một câu trả lời bám đúng tài liệu nhưng ngắn, một câu dài hơn và tự thêm thông tin: bạn chọn câu nào để chatbot học theo? DPO biến những lựa chọn như vậy thành tín hiệu cập nhật mô hình. Chất lượng lựa chọn quan trọng không kém công thức tối ưu.
Trước khi học: cần biết xác suất có điều kiện, logarit và hàm mất mát; đọc cách LLM tạo token nếu chưa rõ xác suất của một chuỗi. Mọi con số dưới đây là giả định để tính tay, không phải benchmark.
Mỗi cặp cần một lý do lựa chọn
Hãy xây bộ dữ liệu cho trợ lý hướng dẫn trả hàng. Với cùng câu hỏi, lưu câu được chọn y+, câu bị loại y- và tài liệu mà người chấm được phép dùng. Một nhãn “thích hơn” không giải thích được liệu người chấm ưu tiên tính đúng, độ ngắn hay thái độ lịch sự.
Trong ví dụ tự xây, câu A nói “Bạn có 7 ngày để gửi yêu cầu”, khớp tài liệu. Câu B nói “Bạn luôn có 30 ngày” nhưng diễn đạt thân thiện. Chọn A theo tiêu chí tính đúng. Ở cặp khác, hai câu cùng đúng thì mới xét độ rõ. Lưu lý do chấm giúp phát hiện nhóm dữ liệu vô tình thưởng cho câu dài.
Từ tỷ lệ xác suất đến loss
Paper DPO của Rafailov và cộng sự xây mục tiêu từ cặp sở thích và một mô hình tham chiếu cố định. Phiên bản cơ bản dùng:
a = log pθ(y+|x) - log pref(y+|x)
b = log pθ(y-|x) - log pref(y-|x)
z = β × (a - b)
loss = -log sigmoid(z)pθ là mô hình đang học; pref là tham chiếu. Xác suất chuỗi được tính bằng tích xác suất token, nên log xác suất là tổng theo token. DPO tối ưu trực tiếp loss này mà không cần huấn luyện một reward model riêng trong quy trình cơ bản. Đây không phải lời bảo đảm rằng mọi cặp dữ liệu đều hợp lệ.
Một phép tính phơi bày ý nghĩa tương đối
Giả sử a = 0,8, b = 0,2, β = 0,5. Ta có z = 0,3, sigmoid xấp xỉ 0,574, loss khoảng 0,554. Nếu hai tỷ lệ bằng nhau, z = 0, loss khoảng 0,693. Ví dụ cho thấy khoảng cách giữa hai tỷ lệ mới là đại lượng được thưởng.
Xét lần cập nhật khác: a = -0,1, b = -0,9. Khi đó z = 0,4, loss khoảng 0,513. Loss còn thấp hơn dù xác suất câu được chọn đã giảm so với tham chiếu. Vì vậy, chỉ nhìn loss giảm rồi kết luận “mô hình thích câu tốt hơn theo nghĩa tuyệt đối” sẽ sai ngay trong phép tính này. Hãy đo thêm đầu ra sinh thật trên câu hỏi giữ riêng.
Chọn thí nghiệm trước khi chọn siêu tham số
Với trợ lý trả hàng, một thử nghiệm hữu ích gồm bộ câu hỏi chưa dùng gán nhãn, bộ câu hỏi có chính sách mâu thuẫn và bộ thiếu dữ kiện. Chấm tính đúng trước, sau đó chấm rõ ràng. Đổi vị trí hai câu khi chấm để giảm lợi thế của câu xuất hiện trước.
DPO phù hợp để thử khi bạn có nhiều cặp phản hồi đáng tin và một mô hình nền đã làm được tác vụ. Nếu cả hai câu đều sai, lựa chọn câu “ít sai hơn” có thể đẩy hệ thống về một mục tiêu yếu. Thu thập câu đúng hoặc sửa hướng dẫn chấm có thể đáng làm hơn tăng số vòng học.
Minh họa sau chỉ nhắc cách giữ bộ thử chung và đọc kiểu lỗi. Nó không mô tả hàm DPO hay vòng cập nhật tham số.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Bài tập: tìm một loss đẹp nhưng hành vi kém
Tạo sáu cặp câu trả lời về chính sách giả định, trong đó hai cặp có câu dài nhưng sai. Ghi rõ tiêu chí chọn trước khi đọc câu trả lời. Với ba bộ giá trị (a; b) là (0; 0), (0,8; 0,2) và (-0,1; -0,9), tự tính loss khi β = 0,5.
Bạn đạt yêu cầu khi giải thích được vì sao cặp thứ ba có loss nhỏ nhất, vẫn nhận ra xác suất câu được chọn giảm, và đề xuất một phép đánh giá đầu ra độc lập. Đọc tiếp RLHF từ phản hồi đến chính sách để so sánh vị trí của reward model trong một quy trình khác.