یادگیری ماشین خصمانه ۲۰۲۲
Adversarial Machine Learning 2022

رشد چشمگیر حجم داده‌های باکیفیت و در دسترس، همراه با پیشرفت‌های فنی قابل توجه در دهه‌های اخیر، یادگیری ماشین را به ابزاری مهم در طیف گسترده‌ای از وظایف از جمله بینایی کامپیوتر، پردازش زبان طبیعی، امور مالی و امنیت تبدیل کرده است. با این حال، این موفقیت با چالش‌های جدید و مهمی همراه بوده است: بسیاری از کاربردهای یادگیری ماشین، ماهیتی خصمانه دارند. برخی از آن‌ها به دلیل اهمیت ایمنی، مانند رانندگی خودکار، خصمانه هستند. در این کاربردها، یک مهاجم می‌تواند طرفی مخرب با هدف ایجاد اختلال یا تصادف باشد، یا حتی ممکن است موقعیت‌های غیرعادی را مدل‌سازی کند که آسیب‌پذیری‌ها را در موتور پیش‌بینی آشکار می‌کند. سایر کاربردها به این دلیل خصمانه هستند که وظیفه و/یا داده‌های مورد استفاده آن‌ها ماهیت خصمانه دارد. به عنوان مثال، یک دسته مهم از مسائل در امنیت شامل تشخیص است، مانند بدافزار، هرزنامه و تشخیص نفوذ. استفاده از یادگیری ماشین برای شناسایی موجودیت‌های مخرب، انگیزه‌ای در میان مهاجمان ایجاد می‌کند تا با تغییر رفتار خود یا محتوای اشیاء مخربی که توسعه می‌دهند، از شناسایی فرار کنند.

حوزه یادگیری ماشین خصمانه به منظور مطالعه آسیب‌پذیری‌های رویکردهای یادگیری ماشین در محیط‌های خصمانه و توسعه تکنیک‌هایی برای مقاوم‌سازی یادگیری در برابر دستکاری‌های خصمانه پدید آمده است. این کتاب یک نمای کلی فنی از این حوزه ارائه می‌دهد. پس از بررسی مفاهیم و رویکردهای یادگیری ماشین، و همچنین موارد استفاده رایج از آن‌ها در محیط‌های خصمانه، یک دسته‌بندی کلی از حملات به یادگیری ماشین ارائه می‌کنیم. سپس به دو دسته اصلی از حملات و دفاع‌های مرتبط با آن‌ها می‌پردازیم: حملات زمان تصمیم‌گیری، که در آن یک مهاجم ماهیت نمونه‌های مشاهده شده توسط یک مدل آموزش‌دیده را در زمان پیش‌بینی تغییر می‌دهد تا باعث ایجاد خطا شود، و حملات مسموم‌سازی یا زمان آموزش، که در آن مجموعه داده آموزشی واقعی به طور مخرب تغییر داده می‌شود. در فصل پایانی خود که به محتوای فنی اختصاص دارد، تکنیک‌های جدید حملات به یادگیری عمیق و همچنین رویکردهایی برای بهبود استحکام شبکه‌های عصبی عمیق را مورد بحث قرار می‌دهیم. در پایان، به بحث در مورد چندین موضوع مهم در حوزه یادگیری خصمانه می‌پردازیم که از نظر ما نیازمند تحقیقات بیشتر است.

با توجه به علاقه روزافزون به حوزه یادگیری ماشین خصمانه، امیدواریم این کتاب ابزارهای لازم را در اختیار خوانندگان قرار دهد تا با موفقیت در تحقیق و عمل به یادگیری ماشین در محیط‌های خصمانه شرکت کنند.

The increasing abundance of large high-quality datasets, combined with significant technical advances over the last several decades have made machine learning into a major tool employed across a broad array of tasks including vision, language, finance, and security. However, success has been accompanied with important new challenges: many applications of machine learning are adversarial in nature. Some are adversarial because they are safety critical, such as autonomous driving. An adversary in these applications can be a malicious party aimed at causing congestion or accidents, or may even model unusual situations that expose vulnerabilities in the prediction engine. Other applications are adversarial because their task and/or the data they use are. For example, an important class of problems in security involves detection, such as malware, spam, and intrusion detection. The use of machine learning for detecting malicious entities creates an incentive among adversaries to evade detection by changing their behavior or the content of malicius objects they develop.

The field of adversarial machine learning has emerged to study vulnerabilities of machine learning approaches in adversarial settings and to develop techniques to make learning robust to adversarial manipulation. This book provides a technical overview of this field. After reviewing machine learning concepts and approaches, as well as common use cases of these in adversarial settings, we present a general categorization of attacks on machine learning. We then address two major categories of attacks and associated defenses: decision-time attacks, in which an adversary changes the nature of instances seen by a learned model at the time of prediction in order to cause errors, and poisoning or training time attacks, in which the actual training dataset is maliciously modified. In our final chapter devoted to technical content, we discuss recent techniques for attacks on deep learning, as well as approaches for improving robustness of deep neural networks. We conclude with a discussion of several important issues in the area of adversarial learning that in our view warrant further research.

Given the increasing interest in the area of adversarial machine learning, we hope this book provides readers with the tools necessary to successfully engage in research and practice of machine learning in adversarial settings.