برنامه‌ریزی با فرایندهای تصمیم مارکوف ۲۰۲۲
Planning with Markov Decision Processes 2022

فرآیندهای تصمیم‌گیری مارکوف (MDPs) به طور گسترده‌ای در هوش مصنوعی برای مدل‌سازی سناریوهای تصمیم‌گیری ترتیبی با پویایی احتمالی محبوب هستند. آن‌ها چارچوب انتخابی هنگام طراحی یک عامل هوشمند هستند که نیاز دارد برای مدت طولانی در محیطی عمل کند که اقداماتش می‌تواند نتایج نامشخصی داشته باشد. MDPها به طور فعال در دو زیرشاخه مرتبط از هوش مصنوعی، یعنی برنامه‌ریزی احتمالی و یادگیری تقویتی، مورد تحقیق قرار می‌گیرند. برنامه‌ریزی احتمالی، مدل‌های شناخته‌شده‌ای را برای اهداف عامل و پویایی دامنه فرض می‌کند و بر تعیین چگونگی رفتار عامل برای دستیابی به اهدافش تمرکز دارد. از سوی دیگر، یادگیری تقویتی، علاوه بر این، این مدل‌ها را بر اساس بازخوردی که عامل از محیط دریافت می‌کند، یاد می‌گیرد. این کتاب یک مقدمه مختصر در مورد استفاده از MDPها برای حل مسائل برنامه‌ریزی احتمالی، با تأکید بر دیدگاه الگوریتمی ارائه می‌دهد. این کتاب کل طیف این حوزه، از مبانی تا الگوریتم‌های بهینه و تقریبی پیشرفته را پوشش می‌دهد. ابتدا، مبانی نظری MDPها و تکنیک‌های اساسی حل آن‌ها را شرح می‌دهیم. سپس الگوریتم‌های بهینه مدرن مبتنی بر جستجوی ابتکاری و استفاده از بازنمایی‌های ساخت‌یافته را مورد بحث قرار می‌دهیم. تمرکز اصلی کتاب بر روی طرح‌های تقریبی متعددی برای MDPها است که در ادبیات هوش مصنوعی توسعه یافته‌اند. این موارد شامل رویکردهای مبتنی بر قطعی‌سازی، تکنیک‌های نمونه‌برداری، توابع ابتکاری، کاهش ابعاد و بازنمایی‌های سلسله مراتبی است. در نهایت، به طور خلاصه چندین افزونه از کلاس‌های استاندارد MDP را معرفی می‌کنیم که مسائل برنامه‌ریزی پیچیده‌تری را مدل‌سازی و حل می‌کنند.

فهرست مطالب: مقدمه / MDPها / الگوریتم‌های اساسی / الگوریتم‌های جستجوی ابتکاری / الگوریتم‌های نمادین / الگوریتم‌های تقریبی / یادداشت‌های پیشرفته

Markov Decision Processes (MDPs) are widely popular in Artificial Intelligence for modeling sequential decision-making scenarios with probabilistic dynamics. They are the framework of choice when designing an intelligent agent that needs to act for long periods of time in an environment where its actions could have uncertain outcomes. MDPs are actively researched in two related subareas of AI, probabilistic planning and reinforcement learning. Probabilistic planning assumes known models for the agent’s goals and domain dynamics, and focuses on determining how the agent should behave to achieve its objectives. On the other hand, reinforcement learning additionally learns these models based on the feedback the agent gets from the environment. This book provides a concise introduction to the use of MDPs for solving probabilistic planning problems, with an emphasis on the algorithmic perspective. It covers the whole spectrum of the field, from the basics to state-of-the-art optimal and approximation algorithms. We first describe the theoretical foundations of MDPs and the fundamental solution techniques for them. We then discuss modern optimal algorithms based on heuristic search and the use of structured representations. A major focus of the book is on the numerous approximation schemes for MDPs that have been developed in the AI literature. These include determinization-based approaches, sampling techniques, heuristic functions, dimensionality reduction, and hierarchical representations. Finally, we briefly introduce several extensions of the standard MDP classes that model and solve even more complex planning problems. Table of Contents: Introduction / MDPs / Fundamental Algorithms / Heuristic Search Algorithms / Symbolic Algorithms / Approximation Algorithms / Advanced Notes