Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Cùng yêu cầu đặt tên cho một buổi đọc sách, bạn nhận được những đề xuất khác nhau ở mỗi lần chạy. Nhưng khi trích giờ bắt đầu từ thông báo, bạn lại muốn kết quả ổn định. Temperature là một tham số có thể ảnh hưởng cách chọn token trong quá trình sinh, nếu công cụ đang dùng hỗ trợ nó.
Mô hình tạo phân bố, bộ giải mã chọn bước tiếp theo
Ở một bước sinh, mô hình tính các điểm số cho những token có thể theo sau. Quy trình giải mã dùng chúng để chọn token tiếp theo. Khi lấy mẫu, temperature điều chỉnh mức tập trung của phân bố trước khi chọn.
Tài liệu sinh văn bản của Hugging Face mô tả temperature là tham số điều biến xác suất token tiếp theo. Với cách lấy mẫu thông thường, giá trị thấp làm lựa chọn tập trung hơn, giá trị cao làm phân bố phẳng hơn. Tác động thực tế còn phụ thuộc chế độ giải mã và các tham số khác.
Hình dưới chỉ minh họa văn bản được xử lý theo token. Nó không hiển thị phân bố xác suất hay mô phỏng tác động của temperature trên một mô hình cụ thể.
Mô hình tự hồi quy tính xác suất token tiếp theo từ ngữ cảnh hiện có, chọn một token rồi nối vào chuỗi. Chuỗi mới trở thành ngữ cảnh cho lượt tiếp theo.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Đọc ngữ cảnh
Mô hình xử lý các token của yêu cầu và phần trả lời đã có.
02 / Tính xác suất
Từ ngữ cảnh đó, mô hình tính phân bố xác suất cho những token có thể xuất hiện tiếp theo.
03 / Chọn token
Cách giải mã quyết định token được chọn; không phải lúc nào cũng lấy token có xác suất cao nhất.
04 / Nối và lặp
Token được nối vào chuỗi để tạo ngữ cảnh mới. Quá trình lặp đến điều kiện dừng.
Các ô dùng từ nguyên vẹn để dễ quan sát; đây không phải kết quả của một tokenizer cụ thể. Token thực tế có thể chỉ là một phần của từ.
Đa dạng và chính xác là hai trục khác nhau
Một tên chương trình như “Trang sách chiều mưa” có thể khác “Góc đọc cuối tuần” nhưng đều dùng được. Trong bài toán ấy, bạn có thể muốn nhiều lựa chọn. Với câu hỏi giờ bắt đầu là 14 giờ hay 15 giờ, sự đa dạng lại không phải mục tiêu.
Hạ temperature không bổ sung thông tin mới và không kiểm chứng sự thật. Nếu mô hình đang ưu tiên một đáp án sai, lựa chọn tập trung hơn có thể chỉ làm nó lặp lại đáp án ấy. Tăng temperature cũng không tự tạo ra ý tưởng tốt; nó có thể làm câu trả lời lạc đề hoặc kém nhất quán.
Đừng gọi tham số này là “mức thông minh”. Khả năng giải nhiệm vụ còn phụ thuộc mô hình, nguồn đầu vào và cách yêu cầu. Một nút điều chỉnh sampling không thay thế được những phần đó.
Vì sao cùng một giá trị vẫn có kết quả khác?
Cách giải mã có thể còn dùng các bộ lọc token, giới hạn độ dài và nguồn ngẫu nhiên. Cấu hình, phiên bản mô hình hoặc hạ tầng cũng có thể khác giữa các lượt. Vì thế, không nên hứa rằng một con số temperature sẽ bảo đảm câu trả lời giống hệt trong mọi môi trường.
Đặc biệt, giá trị bằng không không phải một chế độ được mọi thư viện xử lý giống nhau. Có công cụ cung cấp cách giải mã chọn token có điểm cao nhất riêng; có công cụ giới hạn giá trị nhận vào. Hãy đọc cấu hình của công cụ đang sử dụng, không sao chép một giá trị như công thức chung.
Nếu chỉ dùng một giao diện chat không cung cấp tham số này, đừng đoán nó đang đặt bao nhiêu. Bạn vẫn có thể cải thiện kết quả bằng yêu cầu rõ ràng và ví dụ đầu ra mong muốn.
Thử từng thay đổi với tiêu chí đã viết trước
Trong ví dụ minh họa buổi đọc sách, giữ nguyên prompt và yêu cầu mười tên ngắn, không dùng tên thương hiệu. Nếu có quyền chỉnh sampling, chọn hai mức hợp lệ trong công cụ rồi chạy cùng số lượt ở mỗi mức.
Trước khi xem kết quả, định nghĩa cách chấm: tên không trùng nhau, dễ đọc, đúng chủ đề và không vượt độ dài. Đếm riêng số ý dùng được với số ý khác biệt. Một bộ nhiều tên khác nhau nhưng hầu hết khó hiểu không phải kết quả tốt hơn.
Sau đó thử một nhiệm vụ trích thông tin có đáp án rõ. Cùng một cấu hình có thể hợp việc đề xuất tên nhưng không đem lại lợi ích cho việc điền trường dữ liệu. Lựa chọn nên theo nhiệm vụ thay vì theo sở thích về con số.
Bài tập: ghi lại điều bạn thực sự đo
Tạo bảng gồm cấu hình, lượt chạy, số ý đạt và lỗi cụ thể. Nếu công cụ không cho đặt temperature, đổi bài tập thành so sánh hai cách viết yêu cầu và ghi đúng tên yếu tố đã đổi.
Tự kiểm: chỉ thay một yếu tố mỗi lần, giữ tiêu chí cố định và không gọi vài lượt thử là kết luận chung về mô hình. Các số đếm phải đến từ đầu ra bạn lưu lại. Đọc tiếp đánh giá mô hình AI để tổ chức phép thử rộng hơn.