Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Bạn gửi một tài liệu dài, rồi hỏi điều khoản đổi lịch ở giữa tài liệu. Câu trả lời nhắc đúng tên chương trình nhưng bỏ mất ngoại lệ quan trọng. Việc công cụ nhận được tệp chưa chứng minh mô hình đã sử dụng tốt từng chi tiết trong đó.
Ngữ cảnh là đầu vào của một lượt xử lý
Cửa sổ ngữ cảnh là giới hạn lượng nội dung mô hình có thể xử lý trong một lượt theo cách hệ thống quy định. Với mô hình ngôn ngữ, giới hạn này thường được tính bằng token. Hướng dẫn, lịch sử, nội dung truy xuất và phần tạo ra cần được tính theo quy tắc của mô hình cụ thể.
Hãy hình dung một bàn làm việc: giấy đang đặt trên bàn là những gì có thể xem trong lần xử lý. Kho tài liệu bên ngoài và kiến thức đã học không tự động nằm hết trên bàn. Đây là phép ví von để phân biệt các nguồn thông tin, không phải mô tả bộ nhớ máy tính.
Một ứng dụng có thể chọn lại lịch sử hoặc lấy thêm tài liệu trước mỗi lượt. Do đó, cửa sổ chat bạn nhìn thấy không nhất thiết trùng với đầu vào mô hình thực sự nhận được.
Chứa được nhiều không đồng nghĩa dùng tốt mọi phần
Nghiên cứu Lost in the Middle kiểm tra việc tìm thông tin trong ngữ cảnh dài và cho thấy vị trí thông tin ảnh hưởng kết quả ở các mô hình, nhiệm vụ được nghiên cứu. Đây là bằng chứng cần đánh giá khả năng sử dụng ngữ cảnh, không chỉ đọc con số giới hạn.
Không nên biến kết quả đó thành quy luật rằng mọi mô hình luôn bỏ qua phần giữa. Mô hình và cách xử lý thay đổi; nhiệm vụ của bạn cũng có thể khác. Điều có thể làm ngay là kiểm tra với tài liệu đại diện và các câu hỏi đòi hỏi chi tiết ở nhiều vị trí.
Hình dưới minh họa cơ chế liên hệ thông tin qua attention. Nó không đo mức mô hình đã đọc hiểu một tệp và không chứng minh mọi chi tiết được giữ lại.
Một query được so với các key để tạo trọng số. Attention dùng những trọng số đó để tổng hợp các value thành biểu diễn mới của vị trí đang xét.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Query
Vị trí đang xét có một vector truy vấn, gọi là query.
02 / Key
Query được so với các vector key ở những vị trí mà mô hình được phép tham chiếu.
03 / Trọng số
Điểm tương hợp được chuẩn hóa thành trọng số attention cho từng vị trí.
04 / Tổng hợp
Các vector value được cộng theo trọng số đó, tạo biểu diễn có thông tin từ ngữ cảnh.
Sơ đồ giản lược một đầu attention, bỏ qua kích thước vector và phép chiếu. Các đường nối không phải lời giải thích đầy đủ cho quyết định của mô hình.
Ngữ cảnh, kiến thức và trí nhớ là các thứ khác nhau
Mô hình có các tham số từ quá trình huấn luyện. Trong một hội thoại thông thường, thông tin bạn vừa gửi thường giúp định hướng câu trả lời qua đầu vào, không phải trực tiếp sửa những tham số ấy.
Nếu sản phẩm có tính năng ghi nhớ, ứng dụng có thể lưu một số thông tin rồi đưa trở lại ở lượt sau. Đó là hành vi của hệ thống bao quanh mô hình. Không thể suy ra nó nhớ mọi câu chỉ vì cuộc trò chuyện còn hiển thị đầy đủ.
Trong ví dụ minh họa về kế hoạch hội thảo, bạn sửa giờ bắt đầu từ sáng sang chiều. Lượt hỏi sau nên cung cấp phiên bản lịch đã chốt hoặc chỉ rõ thay đổi. Đừng để hai lịch mâu thuẫn cạnh nhau mà không nói lịch nào có hiệu lực.
Tổ chức đầu vào quanh câu hỏi cần trả lời
Với một tài liệu dài, ghi rõ nhiệm vụ và phần cần đối chiếu. Giữ tiêu đề, phiên bản, ngày hiệu lực và điều kiện ngoại lệ. Nếu chia tài liệu thành đoạn, hãy giữ đủ ngữ cảnh để các từ như “trường hợp này” vẫn có đối tượng rõ ràng.
Yêu cầu câu trả lời chỉ ra mục hoặc đoạn nguồn giúp bạn kiểm tra. Nếu câu hỏi cần tổng hợp nhiều phần, hãy nêu rõ phải đối chiếu những phần ấy. Một câu dẫn nguồn chính xác vẫn cần được mở ra xem có hỗ trợ kết luận không.
Rút gọn không có nghĩa xóa mọi chi tiết. Với quy định đổi lịch, mốc thời gian và ngoại lệ là nội dung quyết định. Đoạn giới thiệu dài có thể ít quan trọng hơn một dòng ngắn ghi điều kiện áp dụng.
Bài tập: kiểm tra vị trí thông tin
Viết một tài liệu giả định về câu lạc bộ gồm ba mục và một ngoại lệ đổi lịch. Tạo ba bản cùng nội dung nhưng đặt ngoại lệ ở đầu, giữa và cuối. Hỏi cùng một câu, giữ nguyên cách diễn đạt và ghi kết quả từng lần.
Tiêu chí tự kiểm: đáp án nhắc đủ điều kiện, chỉ đúng mục nguồn và không tự thêm thời hạn. Nếu thử ít lần, chỉ kết luận về những lượt đã thử, không công bố năng lực chung của mô hình. Đọc tiếp hallucination là gì để biết cách xử lý câu trả lời thiếu căn cứ.