Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Sau khi tinh chỉnh để phân loại hóa đơn, mô hình làm tác vụ mới tốt hơn nhưng trả lời câu hỏi tổng quát kém đi. Nếu chỉ chấm hóa đơn, bạn có thể phát hành một bản nâng cấp làm mất năng lực người dùng vẫn cần.
Trước khi học: cần biết gradient thay đổi tham số và vì sao phải giữ dữ liệu đánh giá riêng. Có thể đọc LLM hoạt động như thế nào trước. Toàn bộ điểm số, tham số và tình huống dưới đây là giả định để giải thích cơ chế.
Ghi lại năng lực trước khi cập nhật
Hãy gọi kỹ năng hỏi đáp cũ là A, kỹ năng hóa đơn mới là B. Trước tinh chỉnh, mô hình đạt 80 điểm A và 40 điểm B; sau đó đạt 62 điểm A và 75 điểm B. Điểm B tăng 35, nhưng A giảm 18. Hai số cùng cần xuất hiện trong báo cáo.
Đó là dấu hiệu để điều tra quên, chưa đủ xác định nguyên nhân. Kiểm tra xem prompt, cách giải mã, bộ chấm và định dạng đầu vào có thay đổi không. Nếu quy trình đo đã đổi, sự giảm điểm có thể đến từ phép đo. Giữ checkpoint cũ cho phép chạy lại cùng điều kiện thay vì dựa vào số ghi trong một bảng khác.
Vì sao cùng tham số có thể xung đột
Một mô hình dùng chung tham số cho nhiều đầu vào. Trong ví dụ toán học một chiều, tác vụ A muốn trọng số w = 1, còn tác vụ B muốn w = -1. Nếu chỉ tối thiểu hóa L_B = (w + 1)^2, nghiệm tốt nhất cho B nằm cách nghiệm cũ hai đơn vị. Không có điều khoản nào trong loss ấy nhắc thuật toán giữ A.
Đây chỉ là mô hình đồ chơi; mạng thật có nhiều chiều và không có một trọng số đại diện trọn vẹn cho một kỹ năng. Tuy vậy, ví dụ giúp thấy vấn đề: “học thêm” không bảo đảm mọi thay đổi đều cộng dồn có lợi. Cần đưa yêu cầu giữ kỹ năng cũ vào thiết kế học hoặc đánh giá.
EWC đặt giá cho việc dịch chuyển
Kirkpatrick và cộng sự giới thiệu elastic weight consolidation, viết tắt EWC. Phương pháp hạn chế thay đổi các tham số quan trọng với tác vụ trước bằng một hình phạt có trọng số, sử dụng xấp xỉ đường chéo của Fisher information:
L = L_mới + (λ / 2) × tổng_i F_i × (θ_i - θ_i_cũ)^2F_i biểu diễn mức quan trọng ước lượng; λ điều chỉnh sức nặng bảo toàn. Công trình thử trên các tác vụ MNIST và trò chơi Atari, không chứng minh mọi lần tinh chỉnh LLM đều được giải quyết bằng EWC.
Quay lại ví dụ riêng: đặt hình phạt là 4 × (w - 1)^2. Tổng loss thành (w + 1)^2 + 4(w - 1)^2; đạo hàm bằng 10w - 6, nên nghiệm là w = 0,6. So với -1, nghiệm mới gần trọng số cũ hơn nhưng không tối ưu riêng B. Đây là đánh đổi có chủ đích, không phải cách lấy miễn phí cả hai cực trị.
Chọn cách giữ kiến thức theo ràng buộc
Với dự án hóa đơn giả định, bạn có thể thử trộn một phần dữ liệu A vào quá trình học B, giảm phạm vi tham số được cập nhật hoặc thêm hình phạt bảo toàn. Mỗi thử nghiệm cần được so với một baseline cùng ngân sách. Đừng triển khai cả ba cùng lúc nếu mục tiêu là biết cách nào tạo cải thiện.
Việc giữ dữ liệu cũ có ràng buộc lưu trữ và quyền sử dụng. Giữ nhiều checkpoint cũng tốn tài nguyên và cần quy tắc chọn phiên bản. Nếu nhiệm vụ mới chỉ cần tra cứu chính sách cập nhật, hãy đánh giá phương án cung cấp tài liệu ở thời điểm trả lời trước khi quyết định thay trọng số.
Minh họa dưới chỉ mô tả vòng học có giám sát. Nó không thể hiện nhiều tác vụ, Fisher information hay hình phạt EWC.
Mô hình nhận ví dụ đã gán nhãn, tạo dự đoán, đo sai lệch rồi điều chỉnh tham số. Khả năng áp dụng cần được kiểm tra trên dữ liệu chưa dùng để học.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Ví dụ có nhãn
Các phản hồi về quán cà phê đi kèm nhãn đúng: đồ uống, phục vụ hoặc không gian.
02 / Tạo dự đoán
Mô hình dùng tham số hiện tại để dự đoán chủ đề của phản hồi.
03 / Đo sai lệch
So dự đoán với nhãn đúng. Hàm mất mát biểu diễn mức sai lệch cần giảm.
04 / Điều chỉnh
Thuật toán cập nhật tham số và lặp lại trên dữ liệu học. Sau đó đánh giá bằng các ví dụ được giữ riêng.
Minh họa giản lược cho học máy có giám sát. Một lần điều chỉnh không bảo đảm dự đoán tiếp theo sẽ đúng.
Bài tập: lập bảng giữ lại kỹ năng
Tạo bảng cho checkpoint ban đầu, bản chỉ học B và bản có một biện pháp bảo toàn. Mỗi dòng cần điểm A, điểm B và chi phí học. Chọn trước mức giảm A tối đa chấp nhận được; ví dụ tự đặt là 3 điểm, không phải tiêu chuẩn ngành.
Tự kiểm: tính được nghiệm 0,6, giải thích được tại sao B phải nhường một phần mục tiêu, và phát hiện bản đạt 62 điểm A vi phạm giới hạn vừa đặt. Cuối cùng, đọc đánh giá mô hình AI để xây bộ thử phản ánh những kỹ năng thật sự cần giữ.