Distillation: mô hình nhỏ học gì từ mô hình lớn?

Với một ảnh, teacher dự đoán “mèo” 0,7, “chó” 0,2 và “xe” 0,1. Nhãn cứng chỉ giữ “mèo”; phân bố mềm còn cho biết teacher thấy “chó” gần hơn “xe”. Student có thể học từ thông tin ấy, nhưng cũng có thể học cả sự nhầm lẫn của teacher.

Bạn nên biết phân loại, softmax và hàm mất mát. Ví dụ ảnh chỉ để nhìn rõ cơ chế; bài sẽ nối sang mô hình ngôn ngữ. Các xác suất trong bài là dữ liệu giả định, không lấy từ một hệ thống đã đo.

Mục tiêu học không chỉ là bắt chước đáp án

Knowledge distillation chuyển hành vi của một mô hình teacher hoặc tập hợp mô hình sang student. Trong dạng học từ phân bố, student được tối ưu để dự đoán gần phân bố của teacher trên các đầu vào chọn trước. Student không nhận nguyên một kho kiến thức tách rời khỏi dữ liệu và mục tiêu học.

Distilling the Knowledge in a Neural Network trình bày cách dùng phân bố mềm và temperature để truyền thông tin giữa các lớp dự đoán. Nghiên cứu gốc khảo sát những nhiệm vụ như nhận dạng và mô hình âm học; không nên dùng kết quả đó như bảo đảm cho một chatbot nhỏ bất kỳ.

Phạm vi dữ liệu chuyển giao rất quan trọng. Nếu student chỉ thấy yêu cầu tóm tắt, không có cơ sở để khẳng định nó đã thừa hưởng năng lực lập trình của teacher. Bản đồ năng lực cần được đo theo từng nhiệm vụ.

Temperature làm lộ quan hệ giữa các lựa chọn

Với logits z, phân bố mềm có dạng p_i(T) = exp(z_i/T) chia tổng exp(z_j/T). T lớn hơn làm phân bố bớt nhọn, nhờ đó những lớp không đứng đầu đóng góp rõ hơn. T không thay đổi tri thức của teacher; nó thay đổi tín hiệu mà student học trong mục tiêu này.

Một loss minh họa kết hợp nhãn thật và teacher là L = α CE(y, p_student) + (1 − α)T² KL(p_teacher(T) || p_student(T)). CE phạt dự đoán sai nhãn; KL đo khác biệt giữa hai phân bố. Hệ số T² được dùng để điều chỉnh thang gradient trong công thức distillation này.

Nếu teacher cho [0,7; 0,2; 0,1] mà student cho [0,7; 0,1; 0,2], cả hai vẫn chọn cùng nhãn. Tuy nhiên loss phân bố nhận ra thứ tự hai lớp phụ bị đảo. Đây là thông tin nhãn cứng không biểu đạt được.

Học từ văn bản sinh ra là một thiết lập khác

Trong ứng dụng LLM, đôi khi chỉ truy cập được câu trả lời của teacher, không có logits. Ta có thể tạo tập cặp yêu cầu và đáp án để huấn luyện student bằng supervised fine-tuning. Cách này chuyển hành vi thông qua mẫu văn bản, khác với khớp toàn bộ phân bố token.

Một bộ dữ liệu tốt cần giữ đầu vào đủ đa dạng, lọc đáp án sai và có ví dụ từ chối khi thiếu căn cứ. Sinh thêm hàng nghìn biến thể cùng một khuôn không tự làm độ phủ rộng hơn. Các lời giải dài cũng cần kiểm chứng kết luận, không được coi độ dài là bằng chứng suy luận đúng.

Mô hình nhận ví dụ đã gán nhãn, tạo dự đoán, đo sai lệch rồi điều chỉnh tham số. Khả năng áp dụng cần được kiểm tra trên dữ liệu chưa dùng để học.

↔ Vuốt ngang để xem toàn bộ sơ đồ.

1. 01 / Ví dụ có nhãn

   Các phản hồi về quán cà phê đi kèm nhãn đúng: đồ uống, phục vụ hoặc không gian.

2. 02 / Tạo dự đoán

   Mô hình dùng tham số hiện tại để dự đoán chủ đề của phản hồi.

3. 03 / Đo sai lệch

   So dự đoán với nhãn đúng. Hàm mất mát biểu diễn mức sai lệch cần giảm.

4. 04 / Điều chỉnh

   Thuật toán cập nhật tham số và lặp lại trên dữ liệu học. Sau đó đánh giá bằng các ví dụ được giữ riêng.

Minh họa giản lược cho học máy có giám sát. Một lần điều chỉnh không bảo đảm dự đoán tiếp theo sẽ đúng.

Sơ đồ mô tả vòng huấn luyện chung. Nó không hiển thị hai mạng teacher và student hay nhánh KL. Trong distillation, hãy xác định rõ dữ liệu mục tiêu đến từ nhãn người tạo, phân bố teacher hay văn bản teacher sinh ra.

Đánh đổi giữa chi phí và phạm vi năng lực

Student nhỏ có thể thuận lợi khi nhiệm vụ hẹp và lượng truy vấn lớn. Tuy vậy, cần tính cả chi phí tạo dữ liệu, kiểm duyệt, huấn luyện và vận hành teacher lúc chuẩn bị. Tiết kiệm mỗi truy vấn chỉ có ý nghĩa khi đủ số lượt sử dụng để bù công việc ban đầu.

Teacher mạnh không bảo đảm student tốt nếu student thiếu sức chứa hoặc dữ liệu chuyển giao lệch miền. Đánh giá chỉ bằng độ giống teacher cũng bỏ sót lỗi chung. Cần một tập có đáp án hoặc tiêu chí độc lập, cùng nhóm trường hợp mà teacher từng sai.

Nếu dùng đầu ra từ dịch vụ bên ngoài, kiểm tra điều kiện sử dụng và quyền đối với dữ liệu trước khi huấn luyện. Đây là một phần điều kiện triển khai, tách khỏi câu hỏi thuật toán có học được hay không.

Bài tập: tìm chỗ student chỉ học hình thức

Viết sáu yêu cầu giả định về một bảng giá tự tạo: hai câu trực tiếp, hai câu đổi cách diễn đạt và hai câu hỏi thông tin không có. Cho teacher trả lời rồi kiểm từng dữ kiện bằng bảng gốc trước khi đưa vào tập huấn luyện.

Tiêu chí tự kiểm là student được chấm trên một bảng giá mới chưa xuất hiện khi tạo dữ liệu, có điểm riêng cho trả lời đúng và thừa nhận thiếu thông tin. Nếu chỉ nhớ bảng cũ, đó chưa phải năng lực chuyển giao. Đọc khi nào cần fine-tuning để quyết định có cần cập nhật tham số hay không.