انتقال یادگیری از طریق فضاهای جاسازی ۲۰۲۱
Transfer Learning through Embedding Spaces 2021

پیشرفت‌های اخیر در هوش مصنوعی، زندگی روزمره ما را متحول کرده است. بسیاری از الگوریتم‌های هوش مصنوعی به سطح عملکرد انسانی رسیده‌اند و عوامل هوش مصنوعی در بیشتر مشاغل جایگزین انسان‌ها می‌شوند. پیش‌بینی می‌شود که این روند ادامه یابد و 30 درصد از فعالیت‌های کاری در 60 درصد از مشاغل فعلی، خودکار شوند.

با این حال، این موفقیت مشروط به در دسترس بودن مجموعه‌داده‌های بزرگ و برچسب‌گذاری‌شده برای آموزش مدل‌های هوش مصنوعی است. برچسب‌گذاری داده‌ها یک کار زمان‌بر و پرهزینه است که هنوز توسط کارگران انسانی انجام می‌شود. یادگیری کارآمد از داده‌های کمتر، گام بعدی برای شبیه‌تر کردن هوش مصنوعی به هوش طبیعی است. یادگیری انتقالی به عنوان راهی برای کاهش نیاز به برچسب‌گذاری داده‌ها پیشنهاد شده است. ایده اصلی در یادگیری انتقالی، انتقال دانش در میان وظایف مشابه و استفاده از شباهت‌ها و دانش آموخته‌شده قبلی برای یادگیری کارآمدتر است.

در این کتاب، ما پس‌زمینه‌ای مختصر در مورد یادگیری انتقالی ارائه می‌دهیم و سپس بر ایده انتقال دانش از طریق فضاهای تعبیه‌سازی واسط تمرکز می‌کنیم. ایده این است که یادگیری‌های مختلف را از طریق فضاهای تعبیه‌سازی که روابط و شباهت‌های سطح وظیفه را رمزگذاری می‌کنند، جفت و مرتبط کنیم. ما سناریوهای مختلف یادگیری ماشین را پوشش می‌دهیم و نشان می‌دهیم که این ایده می‌تواند برای غلبه بر چالش‌های یادگیری صفر-شات، یادگیری چند-شات، انطباق دامنه، یادگیری مداوم، یادگیری مادام‌العمر و یادگیری مشارکتی استفاده شود.

Recent progress in artificial intelligence (AI) has revolutionized our everyday life. Many AI algorithms have reached human-level performance and AI agents are replacing humans in most professions. It is predicted that this trend will continue and 30% of work activities in 60% of current occupations will be automated.

This success, however, is conditioned on availability of huge annotated datasets to training AI models. Data annotation is a time-consuming and expensive task which still is being performed by human workers. Learning efficiently from less data is a next step for making AI more similar to natural intelligence. Transfer learning has been suggested a remedy to relax the need for data annotation. The core idea in transfer learning is to transfer knowledge across similar tasks and use similarities and previously learned knowledge to learn more efficiently.

In this book, we provide a brief background on transfer learning and then focus on the idea of transferring knowledge through intermediate embedding spaces. The idea is to couple and relate different learning through embedding spaces that encode task-level relations and similarities. We cover various machine learning scenarios and demonstrate that this idea can be used to overcome challenges of zero-shot learning, few-shot learning, domain adaptation, continual learning, lifelong learning, and collaborative learning.