بهینه‌سازی برای یادگیری و کنترل ۲۰۲۳
Optimization for Learning and Control 2023

منبعی جامع برای ارائه مقدمه‌ای در سطح کارشناسی ارشد بر نظریه و الگوریتم‌های بهینه‌سازی برای یادگیری و کنترل

بهینه‌سازی برای یادگیری و کنترل به بررسی چگونگی استفاده از بهینه‌سازی در این حوزه‌ها می‌پردازد و مقدمه‌ای کامل بر یادگیری بدون نظارت، یادگیری با نظارت و یادگیری تقویتی ارائه می‌دهد. تاکید ویژه این کتاب بر روش‌های بهینه‌سازی برای مسائل یادگیری و کنترل در مقیاس بزرگ است.

همچنین، حوزه‌های کاربردی متعددی از جمله پردازش سیگنال، شناسایی سیستم، کنترل بهینه و یادگیری ماشین مورد بحث قرار می‌گیرند.

امروزه، بیشتر مطالب موجود در مورد جنبه‌های بهینه‌سازی یادگیری عمیق که برای دانشجویان در سطح کارشناسی ارشد قابل دسترسی است، بر برنامه‌نویسی کامپیوتری سطحی متمرکز است. دانش عمیق‌تری در مورد روش‌های بهینه‌سازی و نقاط قوت و ضعفِ پشت این روش‌ها ارائه نمی‌شود. هدف این کتاب، در دسترس قرار دادن این دانش پراکنده، که در حال حاضر عمدتاً در نشریات مجلات علمی موجود است، به روشی منسجم برای دانشجویان کارشناسی ارشد است. تمرکز کتاب بر اصول الگوریتمی اساسی و نقاط قوت و ضعف آن‌ها است.

بهینه‌سازی برای یادگیری و کنترل موضوعات نمونه‌ای زیر را پوشش می‌دهد:

• نظریه بهینه‌سازی و روش‌های بهینه‌سازی، پوشش‌دهنده دسته‌های مسائل بهینه‌سازی مانند مسائل کمترین مربعات، مسائل درجه دوم، مسائل بهینه‌سازی مخروطی و بهینه‌سازی رتبه.
• روش‌های مرتبه اول، روش‌های مرتبه دوم، روش‌های متریک متغیر و روش‌ها برای مسائل کمترین مربعات غیرخطی.
• روش‌های بهینه‌سازی تصادفی، روش‌های لاگرانژ افزوده، روش‌های نقطه داخلی و روش‌های بهینه‌سازی مخروطی.
• برنامه‌ریزی پویا برای حل مسائل کنترل بهینه و تعمیم آن به یادگیری تقویتی.
• چگونگی استفاده از نظریه بهینه‌سازی برای توسعه نظریه و ابزارهای آمار و یادگیری، به عنوان مثال، روش حداکثر درست‌نمایی، الگوریتم امید ریاضی–بیشینه‌سازی، خوشه‌بندی k-means و ماشین‌های بردار پشتیبان.
• چگونگی استفاده از حساب تغییرات در کنترل بهینه و برای استخراج خانواده توزیع‌های نمایی.

بهینه‌سازی برای یادگیری و کنترل منبعی ایده‌آل در این موضوع برای دانشمندان و مهندسانی است که در مورد روش‌های بهینه‌سازی مفید برای مسائل یادگیری و کنترل مطالعه می‌کنند. این متن همچنین برای متخصصان صنعت که از یادگیری ماشین برای کاربردهای عملی مختلف استفاده می‌کنند، جذاب خواهد بود.

Comprehensive resource providing a masters’ level introduction to optimization theory and algorithms for learning and control

Optimization for Learning and Control describes how optimization is used in these domains, giving a thorough introduction to both unsupervised learning, supervised learning, and reinforcement learning, with an emphasis on optimization methods for large-scale learning and control problems.

Several applications areas are also discussed, including signal processing, system identification, optimal control, and machine learning.

Today, most of the material on the optimization aspects of deep learning that is accessible for students at a Masters’ level is focused on surface-level computer programming; deeper knowledge about the optimization methods and the trade-offs that are behind these methods is not provided. The objective of this book is to make this scattered knowledge, currently mainly available in publications in academic journals, accessible for Masters’ students in a coherent way. The focus is on basic algorithmic principles and trade-offs.

Optimization for Learning and Control covers sample topics such as:

• Optimization theory and optimization methods, covering classes of optimization problems like least squares problems, quadratic problems, conic optimization problems and rank optimization.
• First-order methods, second-order methods, variable metric methods, and methods for nonlinear least squares problems.
• Stochastic optimization methods, augmented Lagrangian methods, interior-point methods, and conic optimization methods.
• Dynamic programming for solving optimal control problems and its generalization to reinforcement learning.
• How optimization theory is used to develop theory and tools of statistics and learning, e.g., the maximum likelihood method, expectation maximization, k-means clustering, and support vector machines.
• How calculus of variations is used in optimal control and for deriving the family of exponential distributions.

Optimization for Learning and Control is an ideal resource on the subject for scientists and engineers learning about which optimization methods are useful for learning and control problems; the text will also appeal to industry professionals using machine learning for different practical applications.