تصمیم‌گیری چندهدفه ۲۰۲۲
Multi-Objective Decision Making 2022

بسیاری از مسائل تصمیم‌گیری در دنیای واقعی اهداف متعددی دارند. به عنوان مثال، هنگام انتخاب یک برنامه درمانی پزشکی، می‌خواهیم اثربخشی درمان را به حداکثر برسانیم، اما در عین حال عوارض جانبی را به حداقل برسانیم. این اهداف معمولاً با یکدیگر در تضاد هستند؛ به عنوان مثال، اغلب می‌توانیم اثربخشی درمان را افزایش دهیم، اما به قیمت عوارض جانبی شدیدتر. در این کتاب، نحوه برخورد با اهداف متعدد در الگوریتم‌های برنامه‌ریزی نظریه تصمیم و یادگیری تقویتی را شرح می‌دهیم. برای نشان دادن این موضوع، از دسته‌های مسئله‌ای محبوب فرآیندهای تصمیم‌گیری مارکوف چند هدفه (MOMDPs) و گراف‌های هماهنگی چند هدفه (MO-CoGs) استفاده می‌کنیم.

ابتدا، موارد استفاده مختلف برای تصمیم‌گیری چند هدفه را مورد بحث قرار می‌دهیم و اینکه چرا آنها اغلب به الگوریتم‌های صریحاً چند هدفه نیاز دارند. ما از یک رویکرد مبتنی بر سودمندی برای تصمیم‌گیری چند هدفه حمایت می‌کنیم، به این معنی که آنچه یک راه حل بهینه برای یک مسئله تصمیم‌گیری چند هدفه را تشکیل می‌دهد، باید از اطلاعات موجود در مورد سودمندی کاربر استخراج شود. ما نشان می‌دهیم که چگونه فرضیات مختلف در مورد سودمندی کاربر و اینکه چه نوع سیاست‌هایی مجاز هستند، منجر به مفاهیم راه حل متفاوتی می‌شوند که ما در یک طبقه‌بندی از مسائل تصمیم‌گیری چند هدفه به آنها اشاره می‌کنیم.

دوم، نشان می‌دهیم که چگونه می‌توان با استفاده از روش‌های تک هدفه موجود به عنوان پایه، روش‌های جدیدی برای تصمیم‌گیری چند هدفه ایجاد کرد. با تمرکز بر برنامه‌ریزی، دو راه برای ایجاد الگوریتم‌های چند هدفه را شرح می‌دهیم: در رویکرد حلقه داخلی، عملکرد داخلی یک روش تک هدفه برای کار با مفاهیم راه حل چند هدفه تطبیق داده می‌شود. در رویکرد حلقه بیرونی، یک پوشش در اطراف یک روش تک هدفه ایجاد می‌شود که مسئله چند هدفه را به عنوان یک سری مسائل تک هدفه حل می‌کند. پس از بحث در مورد ایجاد چنین روش‌هایی برای تنظیمات برنامه‌ریزی، به چگونگی اعمال این رویکردها در تنظیمات یادگیری می‌پردازیم.

در ادامه، سه حوزه کاربردی امیدوارکننده برای الگوریتم‌های تصمیم‌گیری چند هدفه را مورد بحث قرار می‌دهیم: انرژی، بهداشت، و زیرساخت و حمل و نقل. در نهایت، با تشریح مسائل مهم باز و مسیرهای آینده امیدوارکننده، نتیجه‌گیری می‌کنیم.

Many real-world decision problems have multiple objectives. For example, when choosing a medical treatment plan, we want to maximize the efficacy of the treatment, but also minimize the side effects. These objectives typically conflict, e.g., we can often increase the efficacy of the treatment, but at the cost of more severe side effects. In this book, we outline how to deal with multiple objectives in decision-theoretic planning and reinforcement learning algorithms. To illustrate this, we employ the popular problem classes of multi-objective Markov decision processes (MOMDPs) and multi-objective coordination graphs (MO-CoGs).

First, we discuss different use cases for multi-objective decision making, and why they often necessitate explicitly multi-objective algorithms. We advocate a utility-based approach to multi-objective decision making, i.e., that what constitutes an optimal solution to a multi-objective decision problem should be derived from the availableinformation about user utility. We show how different assumptions about user utility and what types of policies are allowed lead to different solution concepts, which we outline in a taxonomy of multi-objective decision problems.

Second, we show how to create new methods for multi-objective decision making using existing single-objective methods as a basis. Focusing on planning, we describe two ways to creating multi-objective algorithms: in the inner loop approach, the inner workings of a single-objective method are adapted to work with multi-objective solution concepts; in the outer loop approach, a wrapper is created around a single-objective method that solves the multi-objective problem as a series of single-objective problems. After discussing the creation of such methods for the planning setting, we discuss how these approaches apply to the learning setting.

Next, we discuss three promising application domains for multi-objective decision making algorithms: energy, health, and infrastructure and transportation. Finally, we conclude by outlining important open problems and promising future directions.