Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Bạn gửi ảnh một chiếc xe đạp và hỏi vị trí khóa xe. Yêu cầu này chứa hai dạng thông tin: hình ảnh để quan sát và văn bản để xác định điều cần tìm. AI đa phương thức làm việc với nhiều dạng dữ liệu như vậy. Tuy nhiên, chữ “đa” chưa cho biết hệ thống làm tốt nhiệm vụ nào.
Một tên gọi, nhiều nhiệm vụ
Hãy phân biệt tìm ảnh phù hợp với câu mô tả, trả lời câu hỏi về ảnh và tạo một ảnh mới. Ba nhiệm vụ có thể cùng liên quan đến ảnh và chữ, nhưng đầu ra khác nhau. Khi chọn công cụ, hãy mô tả đầu vào và đầu ra trước khi hỏi tên mô hình.
Ví dụ tự xây dựng: một thư viện trường học có ảnh bìa sách. “Tìm bìa có chiếc thuyền” yêu cầu xếp hạng ảnh. “Đọc tên tác giả trên bìa” yêu cầu nhận diện chữ. “Vẽ bìa mới có chiếc thuyền” yêu cầu tạo ảnh. Đạt ở việc đầu chưa chứng minh làm được hai việc sau.
CLIP minh họa việc nối ảnh với chữ
Trong nghiên cứu CLIP, mô hình học từ các cặp ảnh và văn bản để nhận biết mô tả nào đi với ảnh nào. Sau huấn luyện, người dùng có thể mô tả các nhóm bằng ngôn ngữ rồi so sánh độ phù hợp với ảnh. Đây là ví dụ học mối liên hệ giữa hai phương thức. CLIP tự nó không phải chatbot sinh câu trả lời. Xem bài báo gốc về CLIP.
Hình dung một bài tập ghép thẻ: bên trái là ảnh, bên phải là câu mô tả. Nhiệm vụ là chọn cặp phù hợp, không phải viết một đoạn bình luận về mọi chi tiết. Phép so sánh này giúp giới hạn đúng kỳ vọng khi nghe tên một mô hình đa phương thức.
Thử với một bàn ăn tự chụp
Chụp ảnh một chiếc cốc, một chiếc đĩa và hai quả cam. Dùng công cụ bạn có quyền sử dụng để hỏi ba câu: có những vật gì, có bao nhiêu quả cam, và chiếc cốc nằm phía nào của đĩa. Đây là tình huống minh họa để luyện quan sát, không phải kết quả đo hiệu năng của sản phẩm nào.
Ghi đáp án của mình trước khi gửi ảnh. Sau đó tạo phiên bản thứ hai bằng cách che khuất một phần quả cam. Nếu câu trả lời đổi, hãy kiểm tra thông tin nào thực sự còn nhìn thấy. Đừng chỉ chấm theo sự tự tin trong cách diễn đạt.
Có thể yêu cầu: “Chỉ nêu điều quan sát được; nếu một vật bị che, hãy nói rõ chưa chắc.” Lời nhắc này đặt kỳ vọng về cách trả lời, nhưng vẫn cần đối chiếu với ảnh.
Giới hạn nằm trong từng yêu cầu
Một ảnh có thể không đủ để trả lời câu hỏi. Từ chiếc hộp đóng kín, bạn không thể xác nhận đồ bên trong chỉ bằng hình dáng vỏ hộp. Với ảnh bàn ăn, góc chụp và vật che khuất cũng làm đáp án trở nên mơ hồ. Hãy cho phép nhãn “không xác định” trong bảng chấm của mình.
Tách lỗi quan sát khỏi lỗi suy diễn. “Có hai quả cam” khi chỉ thấy một quả là vấn đề khác với “chủ nhà thích ăn cam”. Câu thứ hai đã vượt khỏi thông tin quan sát được. Việc tách lỗi giúp bạn sửa câu hỏi hoặc bổ sung ảnh có mục đích.
Bài tập: lập bảng kiểm tra năm ảnh
Chọn năm ảnh tự chụp, tránh thông tin cá nhân. Mỗi ảnh đặt hai câu hỏi có đáp án quan sát được và một câu hỏi thiếu dữ kiện. Ghi câu hỏi, đáp án mong đợi, câu trả lời thực tế và lý do chấm.
Hình dưới minh họa tư duy đánh giá nói chung; nó không mô phỏng cấu trúc CLIP hay quá trình xử lý ảnh.
Chạy các mô hình trên cùng bộ thử, đọc cả điểm tổng lẫn kiểu lỗi, rồi cân nhắc tốc độ và chi phí. Một chênh lệch nhỏ chưa chứng minh mô hình nào luôn tốt hơn.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Cùng bộ thử
Dùng cùng các trường hợp và quy tắc chấm đã xác định trước cho cả hai mô hình.
02 / Đọc điểm số
Trong ví dụ giả định, A đúng 18/20, B đúng 17/20. Chênh lệch một trường hợp chưa đủ kết luận chung.
03 / Xem kiểu lỗi
Mở các trường hợp thất bại: sai tên người và vượt độ dài có mức ảnh hưởng khác nhau.
04 / Đánh giá nhiều chiều
Đo thêm tốc độ, chi phí và độ ổn định trên dữ liệu phù hợp với công việc thực tế.
A đúng 18/20 và B đúng 17/20 là số liệu giả định để giải thích cách đọc kết quả, không phải benchmark của mô hình có thật.
Tự kiểm: bạn cần đủ 15 câu, có đáp án chuẩn trước khi thử, và nhận diện được ít nhất một câu cần từ chối kết luận. Nếu chưa có lỗi thực tế, hãy ghi đúng như vậy; không tự tạo kết quả để hoàn thiện bảng.
Để đặt chủ đề này vào bức tranh rộng hơn, đọc AI là gì?. Nếu muốn tìm hiểu việc tạo ảnh, tiếp tục với mô hình diffusion.