Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Một thư viện nhận thêm nhiều cuốn sách nhưng chưa có danh mục chủ đề. Bạn muốn xem chúng tự nhiên tạo thành những nhóm nào dựa trên mô tả nội dung. Đây là tình huống minh họa phù hợp để hiểu học không giám sát: tìm cấu trúc trong dữ liệu khi chưa có đáp án cho từng dòng.
Phân cụm khác phân loại ở điểm nào?
Trong phân loại, bạn đã định nghĩa các nhãn như văn học, lịch sử và kỹ thuật. Mô hình học từ sách đã được gán nhãn để chọn một nhãn cho sách mới. Trong phân cụm, thuật toán gom các ví dụ giống nhau theo một cách đo đã chọn; ý nghĩa của nhóm được con người diễn giải sau.
Tài liệu phân cụm của Google mô tả đây là kỹ thuật học không giám sát nhóm các ví dụ không nhãn theo độ tương tự. Phân cụm là một ứng dụng phổ biến, không phải toàn bộ lĩnh vực học không giám sát.
Vì chưa có tên nhóm từ đầu, bạn có thể phát hiện một nhóm giao thoa như truyện lịch sử dành cho thiếu nhi. Nhưng thuật toán cũng có thể gom các mô tả cùng độ dài. Có nhóm rõ trên biểu đồ chưa chứng minh nhóm ấy hữu ích cho độc giả.
Máy chỉ so sánh điều bạn biểu diễn
Nếu bạn biểu diễn sách bằng số trang và năm xuất bản, các nhóm phản ánh hai đại lượng ấy. Nếu dùng nội dung mô tả, kết quả có cơ hội phản ánh chủ đề. Mỗi lựa chọn đầu vào là một cách đặt câu hỏi với dữ liệu.
Đơn vị cũng quan trọng. Một cột có giá trị hàng nghìn có thể lấn át cột chỉ từ một đến năm trong một số phép đo khoảng cách. Việc chuẩn hóa cần phù hợp thuật toán và ý nghĩa dữ liệu, không phải thao tác trang trí trước khi vẽ hình.
Với văn bản, bạn có thể dùng biểu diễn số gọi là embedding rồi tìm các mô tả gần nhau. Hình dưới minh họa cách biểu diễn hỗ trợ việc tìm thông tin; nó không phải sơ đồ riêng của thuật toán phân cụm.
RAG tìm các đoạn tài liệu liên quan, đưa chúng vào ngữ cảnh rồi tạo câu trả lời. Người đọc cần kiểm tra nguồn có thực sự hỗ trợ câu trả lời hay không.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Nhận câu hỏi
Hệ thống nhận câu hỏi cùng phạm vi tài liệu mà người dùng được phép đọc.
02 / Tìm tài liệu
Bộ tìm kiếm lấy các đoạn có liên quan trong kho tài liệu được phép truy cập.
03 / Thêm ngữ cảnh
Câu hỏi, các đoạn tìm được và thông tin nguồn được đưa cho mô hình.
04 / Trả lời kèm nguồn
Mô hình tạo câu trả lời có căn cứ để đối chiếu. Nếu chưa đủ thông tin, hệ thống cần nói rõ.
Minh họa một luồng RAG cơ bản. Tìm thấy tài liệu không bảo đảm nội dung còn hiệu lực hoặc mô hình sử dụng đúng.
Có nhiều cách chia hợp lý
Một giá sách có thể được chia theo chủ đề, độ tuổi hoặc mục đích đọc. Tương tự, không nhất thiết tồn tại một cách phân cụm duy nhất đúng cho mọi công việc. Số nhóm, cách đo khoảng cách và thuật toán đều ảnh hưởng kết quả.
Trong ví dụ thư viện, nhóm tốt để sắp kệ chưa chắc tốt để gợi ý sách. Sách cùng chủ đề nhưng mức độ khó rất khác nhau có thể ở gần nhau về nội dung mà không phù hợp cùng một độc giả.
Hãy lấy vài ví dụ điển hình và vài ví dụ sát ranh giới của mỗi nhóm để đọc. Đặt một tên tạm, rồi ghi lý do từng cuốn thuộc nhóm. Nếu tên chỉ phù hợp với phần nhỏ, đừng cố giải thích cho đẹp; có thể cần đổi cách biểu diễn hoặc mục tiêu.
Tránh gán ý nghĩa vượt quá bằng chứng
Một nhóm hành vi mua hàng không tự động chứng minh động cơ tâm lý của khách. Một điểm nằm xa nhóm cũng chưa chắc là lỗi dữ liệu. Nó có thể là trường hợp hiếm nhưng hợp lệ, đáng được giữ lại.
Bạn nên kiểm tra độ ổn định: thêm một ít dữ liệu hoặc thay đổi cách khởi tạo có làm các nhóm đảo lộn mạnh không? Với dữ liệu nhỏ, kết quả chỉ nên dùng như gợi ý để khám phá. Nếu dùng nhóm cho quyết định ảnh hưởng người thật, cần đánh giá mục tiêu và hệ quả cụ thể.
Bài tập: phân nhóm cùng dữ liệu theo hai mục đích
Tự viết mô tả ngắn cho mười cuốn sách giả định. Lần đầu nhóm theo chủ đề, lần sau theo người đọc mục tiêu. Chọn hai cuốn đổi nhóm và giải thích thông tin nào làm bạn đổi quyết định.
Tiêu chí tự kiểm là mỗi nhóm có mô tả nhất quán, có ít nhất một trường hợp khó xếp được ghi lại, và bạn nêu rõ nhóm phục vụ quyết định nào. Không dùng tên nhóm như một sự thật đã được máy khám phá. Đọc tiếp embedding là gì để hiểu cách máy biểu diễn độ tương tự.