Trong bài viết này
Từ được đánh dấu có giải thích. Di chuột hoặc chạm để xem, hay mở từ điển AI.
Giả sử bạn xây trò chơi tìm đường trong một khu vườn. Nhân vật cần đến cổng, tránh bùn và không đi vòng mãi. Thay vì đưa sẵn đáp án cho từng vị trí, bạn muốn hệ thống học cách lựa chọn từ kết quả của các hành động. Đây là bối cảnh phù hợp để hình dung học tăng cường.
Vòng lặp gồm những gì?
Trong học tăng cường, tác nhân nhận thông tin về trạng thái, chọn hành động, rồi nhận phần thưởng và trạng thái tiếp theo từ môi trường. Mục tiêu là học cách hành động để tối đa hóa tổng phần thưởng kỳ vọng, không chỉ điểm số của bước hiện tại. Quy tắc lựa chọn hành động thường được gọi là chính sách. Xem khung học tăng cường của Hugging Face.
Với trò chơi khu vườn do bài viết tự xây dựng, trạng thái có thể là ô hiện tại; hành động là đi lên, xuống, trái hoặc phải. Môi trường quyết định bước đi hợp lệ và điểm nhận được. Nếu trò chơi có thêm cổng khóa, trạng thái phải thể hiện cả việc nhân vật đã lấy chìa khóa chưa.
Phần thưởng nhỏ và lợi ích cả hành trình
Hãy đặt điểm đến cổng là cộng 10, mỗi bước đi trừ 1 và bước vào bùn trừ thêm 4. Một đường đi bốn bước không có bùn nhận tổng 6 điểm. Một đường đi hai bước nhưng qua bùn nhận tổng 4 điểm. Đây là phép tính minh họa với tổng không chiết khấu.
Reward là phần thưởng của một chuyển tiếp; return là tổng phần thưởng tương lai theo quy tắc bài toán, có thể áp dụng chiết khấu để giảm trọng số của phần thưởng đến muộn. Vì thế, hành động tốt nhất trước mắt chưa chắc dẫn đến hành trình tốt nhất. Tài liệu khung học tăng cường cũng trình bày sự phân biệt này.
Trong ví dụ, bước đầu hướng xa cổng có thể dẫn tới lối đi khô. Chấm riêng khoảng cách ở bước đầu sẽ bỏ sót kết quả của những bước sau.
Thử điều mới hay dùng cách đã biết?
Exploration là thử để thu thêm thông tin; exploitation là tận dụng điều đã biết để chọn hành động có lợi. Học tăng cường cần giải quyết sự đánh đổi này. Xem bài học về khám phá và khai thác.
Trong khu vườn giả định, hệ thống biết một đường được 4 điểm. Nếu luôn đi đường đó, nó không biết đường khác được 6 điểm. Nhưng thử lối mới cũng có thể mất nhiều bước. Khi thiết kế bài tập, hãy ghi rõ ngân sách thử: chẳng hạn chỉ cho phép 20 lượt chơi trước khi chấm kết quả.
Hình dưới minh họa vòng tương tác giữa tác nhân và môi trường ở mức khái quát. Nó không biểu diễn một thuật toán cập nhật chính sách cụ thể.
Agent dùng trạng thái hiện tại để chọn công cụ, đọc kết quả thực thi và kiểm tra tiến độ. Vòng lặp tiếp tục trong giới hạn được đặt trước hoặc kết thúc với kết quả đã xác minh.
↔ Vuốt ngang để xem toàn bộ sơ đồ.
01 / Quan sát
Agent nhận mục tiêu, trạng thái hiện tại và kết quả của các bước trước.
02 / Gọi công cụ
Mô hình đề xuất công cụ và đầu vào; ứng dụng kiểm tra quyền trước khi thực thi.
03 / Đọc kết quả
Agent nhận dữ liệu trả về, bao gồm thành công, dữ liệu rỗng hoặc lỗi.
04 / Kiểm tra và dừng
Kiểm tra mục tiêu đã đạt chưa. Dừng khi hoàn thành, thiếu quyền hoặc chạm giới hạn; nếu cần thì tiếp tục.
Minh họa một vòng lặp agent đơn giản. Công cụ chỉ được thực hiện thao tác trong quyền đã cấp; lời mô hình nói không thay thế kết quả thực thi.
Giới hạn bắt đầu từ cách cho điểm
Nếu thưởng mỗi lần đứng gần cổng mà không yêu cầu kết thúc, nhân vật có thể ở đó để tích điểm. Nếu chỉ phạt bước đi, đứng yên có thể trở thành lựa chọn hấp dẫn. Các tình huống giả định này cho thấy bạn cần kiểm tra phần thưởng có thực sự khuyến khích mục tiêu mong muốn không.
Cũng đừng đồng nhất mọi AI agent với học tăng cường. Một chương trình chọn công cụ bằng mô hình đã huấn luyện sẵn chưa đủ chứng minh nó đang học chính sách từ phần thưởng trong quá trình sử dụng. Cần biết cơ chế học thực tế của hệ thống.
Bài tập: tự kiểm một khu vườn nhỏ
Vẽ lưới 4 × 4, đánh dấu điểm xuất phát, cổng và hai ô bùn. Viết quy tắc điểm rồi tính tay ba đường đi. Thêm giới hạn 12 bước cho mỗi lượt để trò chơi có điểm dừng rõ ràng.
Tự kiểm: bạn phải xác định đủ trạng thái, hành động, phần thưởng và điều kiện kết thúc; tính đúng tổng điểm của ba đường; đồng thời tìm một cách “lách luật” nếu quy tắc điểm thiếu chặt chẽ. Bài tập này kiểm tra thiết kế bài toán, chưa phải bằng chứng một thuật toán đã học thành công.
Đọc tiếp AI agent: từ mô hình đến hành động để phân biệt các thành phần của một hệ thống có thể hành động.