سیستم‌های کنترل و یادگیری تقویتی ۲۰۲۲
Control Systems and Reinforcement Learning 2022

یک دانش‌آموز دبیرستانی می‌تواند کد یادگیری عمیق Q را برای کنترل ربات خود بسازد، بدون اینکه معنای «عمیق» یا «Q» را درک کند، یا بداند چرا کد گاهی اوقات با خطا مواجه می‌شود. این کتاب به گونه‌ای طراحی شده است که دانش پشت یادگیری تقویتی و کنترل بهینه را به شکلی قابل فهم برای دانش‌آموزانی با پیش‌زمینه در حساب دیفرانسیل و انتگرال و جبر ماتریسی توضیح دهد. تمرکز ویژه بر طراحی الگوریتم برای دستیابی به سریع‌ترین سرعت همگرایی ممکن برای الگوریتم‌های یادگیری، همراه با بینشی در مورد اینکه چرا یادگیری تقویتی گاهی اوقات با خطا مواجه می‌شود، قرار دارد. تئوری پیشرفته‌ی فرآیندهای تصادفی در ابتدا با جایگزین کردن کاوش تصادفی با بررسی قطعی و شهودی‌تر برای یادگیری، اجتناب می‌شود. هنگامی که این ایده‌ها درک شوند، تسلط بر تکنیک‌های ریشه‌دار در کنترل تصادفی دشوار نخواهد بود. این موضوعات در بخش دوم کتاب، با شروع از نظریه زنجیره مارکوف و پایان با نگاهی تازه به روش‌های بازیگر-منتقد برای یادگیری تقویتی، پوشش داده می‌شوند.

A high school student can create deep Q-learning code to control her robot, without any understanding of the meaning of ‘deep’ or ‘Q’, or why the code sometimes fails. This book is designed to explain the science behind reinforcement learning and optimal control in a way that is accessible to students with a background in calculus and matrix algebra. A unique focus is algorithm design to obtain the fastest possible speed of convergence for learning algorithms, along with insight into why reinforcement learning sometimes fails. Advanced stochastic process theory is avoided at the start by substituting random exploration with more intuitive deterministic probing for learning. Once these ideas are understood, it is not difficult to master techniques rooted in stochastic control. These topics are covered in the second part of the book, starting with Markov chain theory and ending with a fresh look at actor-critic methods for reinforcement learning.