Ablation study: thành phần nào thực sự tạo ra cải thiện?
Thiết kế thử nghiệm tháo từng thành phần, giữ điều kiện so sánh và kiểm tra tương tác giữa các thay đổi.
Nâng cao
CHỦ ĐỀ 02 / 17 BÀI VIẾT
Nghiên cứu.
Tìm hiểu nghiên cứu AI qua cách đọc paper, kiểm tra bằng chứng, hiểu baseline và xây bộ đánh giá mô hình phù hợp với công việc thực tế.
Benchmark contamination: mô hình đang suy luận hay đã gặp đề?
Hiểu giới hạn của điểm benchmark khi dữ liệu kiểm tra có thể xuất hiện trong huấn luyện hoặc quá trình tối ưu.
Nâng cao
Catastrophic forgetting: học việc mới, mất kỹ năng cũ
Nhận diện hiện tượng quên sau tinh chỉnh, hiểu nguyên lý EWC qua phép tính nhỏ và thiết kế bộ đánh giá giữ lại năng lực cũ.
Nâng cao
Đánh giá agent bằng trạng thái cuối và những điều không được thay đổi
Thiết kế oracle kiểm tra kết quả, bất biến an toàn và độ ổn định qua nhiều lần chạy của agent.
Nâng cao
Đánh giá bản tóm tắt: ngắn gọn chưa đủ
Tách độ trung thành, độ bao phủ và khả năng sử dụng để phát hiện bản tóm tắt trôi chảy nhưng làm mất điều kiện quan trọng.
Trung cấp
Data leakage: khi bài kiểm tra đã lọt vào quá trình xây mô hình
Nhận diện rò rỉ dữ liệu qua tiền xử lý, nhóm người dùng, thời gian và vòng tối ưu prompt.
Nâng cao
Distillation: mô hình nhỏ học gì từ mô hình lớn?
Phân biệt học từ nhãn cứng, phân bố mềm và câu trả lời tổng hợp, rồi thiết kế đánh giá không bị che bởi lỗi của teacher.
Nâng cao
FlashAttention: nhanh hơn nhờ cách di chuyển dữ liệu
Theo dõi ma trận attention qua các tầng bộ nhớ, hiểu tiling và online softmax mà không nhầm tối ưu IO với attention tuyến tính.
Nâng cao
Khoảng tin cậy cho evaluation: đọc sự bất định quanh một điểm số
Ước tính biến động lấy mẫu, so sánh theo cặp và tránh diễn giải quá mức từ một bộ thử nhỏ.
Nâng cao
LLM làm giám khảo: chấm nhanh nhưng phải kiểm chứng
Thiết kế rubric cho giám khảo AI, kiểm tra thiên lệch vị trí và đối chiếu quyết định với đánh giá của con người.
Trung cấp
Mixture of Experts: nhiều tham số, ít nhánh hoạt động
Theo dõi một token qua router và các expert, rồi tách chi phí tính toán khỏi chi phí chứa và truyền trọng số.
Nâng cao
DPO: học từ hai câu trả lời được so sánh
Đi qua hàm mất mát DPO bằng một ví dụ số, hiểu vai trò mô hình tham chiếu và cách kiểm tra dữ liệu sở thích trước khi tinh chỉnh.
Nâng cao
RLHF: từ phản hồi con người đến chính sách sinh
Phân biệt dữ liệu mẫu, mô hình thưởng và bước tối ưu chính sách trong RLHF; kiểm tra khi điểm thưởng tăng mà câu trả lời chưa tốt hơn.
Nâng cao
Scaling laws: chia ngân sách giữa tham số và dữ liệu
Đọc quan hệ thực nghiệm giữa loss, kích thước mô hình và số token mà không biến một đường fit thành định luật cho mọi dự án.
Nâng cao
Speculative decoding: đoán nhanh rồi kiểm tra đúng cách
Hiểu cách một mô hình nhỏ đề xuất token cho mô hình lớn, điều kiện giữ nguyên phân bố và lý do tăng tốc không luôn xuất hiện.
Nâng cao
Cách đọc bài báo AI: từ câu hỏi đến bằng chứng
Đọc paper AI theo từng lượt: tìm câu hỏi nghiên cứu, kiểm tra baseline và ablation, hiểu công thức rồi ghi lại đóng góp cùng giới hạn.
Trung cấp
Đánh giá mô hình AI: đo độ đúng, tốc độ và chi phí
Cách đánh giá mô hình AI bằng tình huống thực tế: tạo bộ dữ liệu thử, chọn tiêu chí, đo độ đúng, tốc độ, chi phí và đọc kết quả có giới hạn.
Trung cấp