انتقال یادگیری برای سیستم‌های یادگیری تقویتی چندعاملی ۲۰۲۲
Transfer Learning for Multiagent Reinforcement Learning Systems 2022

یادگیریِ حل مسائل تصمیم‌گیری متوالی دشوار است. انسان‌ها سال‌ها به کاوش تصادفیِ محیط می‌پردازند تا بتوانند استدلال کنند، مسائل دشوار را حل کنند و با سایر انسان‌ها برای رسیدن به یک هدف مشترک همکاری کنند. عامل‌های هوشمند مصنوعی نیز از این نظر شبیه انسان‌ها هستند. یادگیری تقویتی (RL) یک تکنیک شناخته‌شده برای آموزش عامل‌های خودگردان از طریق تعامل با محیط است. متاسفانه، فرآیند یادگیری، پیچیدگی نمونه‌برداری بالایی دارد تا یک سیاست کنش موثر را استنتاج کند، به خصوص زمانی که چندین عامل به طور همزمان در محیط عمل می‌کنند.

با این حال، می‌توان از دانش قبلی برای تسریع یادگیری و حل مسائل دشوارتر استفاده کرد. همانطور که انسان‌ها مهارت‌هایی را کسب می‌کنند و با مرتبط کردن وظایف مختلف، مجدداً از آن‌ها استفاده می‌کنند، عامل‌های یادگیری تقویتی نیز می‌توانند دانش حاصل از وظایف حل‌شده قبلی و تبادل دانش با سایر عامل‌ها در محیط را دوباره به کار گیرند. در واقع، تقریباً تمام وظایف چالش‌برانگیزی که در حال حاضر توسط یادگیری تقویتی حل می‌شوند، متکی به تکنیک‌های استفاده مجدد از دانشِ تعبیه‌شده، مانند یادگیری تقلیدی، یادگیری از طریق نمایش و یادگیری برنامه‌درسی هستند.

این کتاب به بررسی ادبیات مربوط به استفاده مجدد از دانش در یادگیری تقویتی چندعامله می‌پردازد. نویسندگان یک طبقه‌بندی یکپارچه از راهکارهای پیشرفته برای استفاده مجدد از دانش ارائه می‌دهند و بحث جامعی را در مورد پیشرفت‌های اخیر در این زمینه ارائه می‌کنند. خوانندگان در این کتاب، بحث جامعی را در مورد راه‌های مختلفی که دانش می‌تواند در وظایف تصمیم‌گیری متوالی چندعامله مورد استفاده مجدد قرار گیرد، و همچنین سناریوهایی که هر یک از این رویکردها کارآمدتر هستند، پیدا خواهند کرد. نویسندگان همچنین دیدگاه خود را در مورد تحولات فعلیِ دمِ‌دست این حوزه، و همچنین پرسش‌های بزرگِ هنوز باز که می‌تواند منجر به پیشرفت‌های چشمگیری شود، ارائه می‌دهند. در نهایت، این کتاب منابعی را برای محققانی که قصد دارند به این حوزه بپیوندند یا از این تکنیک‌ها استفاده کنند، از جمله فهرستی از کنفرانس‌ها، مجلات و ابزارهای پیاده‌سازی، ارائه می‌دهد.

این کتاب برای مخاطبان گسترده‌ای مفید خواهد بود؛ و امیدوار است که گفتگوهای جدیدی را در بین جوامع مختلف و تحولات نوآورانه‌ای را در این زمینه ترویج کند.

Learning to solve sequential decision-making tasks is difficult. Humans take years exploring the environment essentially in a random way until they are able to reason, solve difficult tasks, and collaborate with other humans towards a common goal. Artificial Intelligent agents are like humans in this aspect. Reinforcement Learning (RL) is a well-known technique to train autonomous agents through interactions with the environment. Unfortunately, the learning process has a high sample complexity to infer an effective actuation policy, especially when multiple agents are simultaneously actuating in the environment.

However, previous knowledge can be leveraged to accelerate learning and enable solving harder tasks. In the same way humans build skills and reuse them by relating different tasks, RL agents might reuse knowledge from previously solved tasks and from the exchange of knowledge with other agents in the environment. In fact, virtually all of the most challenging tasks currently solved by RL rely on embedded knowledge reuse techniques, such as Imitation Learning, Learning from Demonstration, and Curriculum Learning.

This book surveys the literature on knowledge reuse in multiagent RL. The authors define a unifying taxonomy of state-of-the-art solutions for reusing knowledge, providing a comprehensive discussion of recent progress in the area. In this book, readers will find a comprehensive discussion of the many ways in which knowledge can be reused in multiagent sequential decision-making tasks, as well as in which scenarios each of the approaches is more efficient. The authors also provide their view of the current low-hanging fruit developments of the area, as well as the still-open big questions that could result in breakthrough developments. Finally, the book provides resources to researchers who intend to join this area or leverage those techniques, including a list of conferences, journals, and implementation tools.

This book will be useful for a wide audience; and will hopefully promote new dialogues across communities and novel developments in the area.