تعبیه‌سازی‌ها در پردازش زبان طبیعی ۲۰۲۲
Embeddings in Natural Language Processing 2022

بی‌تردید، «اِمبدینگ‌ها» (Embeddings) به یکی از پُرنفوذترین حوزه‌های تحقیقاتی در پردازش زبان طبیعی (NLP) تبدیل شده‌اند. رمزگذاری اطلاعات در قالب نمایش برداری با ابعاد پایین، که به آسانی در مدل‌های یادگیری ماشین مدرن قابل ادغام است، نقشی محوری در توسعه‌ی پردازش زبان طبیعی ایفا کرده است.

تکنیک‌های اِمبدینگ در ابتدا بر روی کلمات متمرکز بودند، اما به زودی توجه‌ها به اشکال دیگر معطوف شد: از ساختارهای گراف، مانند پایگاه‌های دانش، تا انواع دیگر محتوای متنی، مانند جملات و اسناد. این کتاب، خلاصه‌ای سطح بالا از تکنیک‌های اصلی اِمبدینگ در پردازش زبان طبیعی، به معنای وسیع آن، ارائه می‌دهد.

کتاب با توضیح مدل‌های فضای برداری کلمه و اِمبدینگ‌های کلمه‌ای مرسوم (مانند Word2Vec و GloVe) آغاز می‌شود و سپس به انواع دیگر اِمبدینگ‌ها، مانند حس کلمه، جمله و سند، و اِمبدینگ‌های گراف، می‌پردازد. همچنین، کتاب مروری بر آخرین تحولات در بازنمایی‌های متنی‌شده (مانند ELMo و BERT) ارائه می‌دهد و پتانسیل آن‌ها را در پردازش زبان طبیعی توضیح می‌دهد.

در سرتاسر کتاب، خواننده می‌تواند هم اطلاعات ضروری برای درک یک موضوع خاص از ابتدا و هم مروری کلی بر موفق‌ترین تکنیک‌های توسعه‌یافته در مقالات علمی را بیابد.

Embeddings have undoubtedly been one of the most influential research areas in Natural Language Processing (NLP). Encoding information into a low-dimensional vector representation, which is easily integrable in modern machine learning models, has played a central role in the development of NLP. Embedding techniques initially focused on words, but the attention soon started to shift to other forms: from graph structures, such as knowledge bases, to other types of textual content, such as sentences and documents. This book provides a high-level synthesis of the main embedding techniques in NLP, in the broad sense. The book starts by explaining conventional word vector space models and word embeddings (e.g., Word2Vec and GloVe) and then moves to other types of embeddings, such as word sense, sentence and document, and graph embeddings. The book also provides an overview of recent developments in contextualized representations (e.g., ELMo and BERT) and explains their potential in NLP. Throughout the book, the reader can find both essential information for understanding a certain topic from scratch and a broad overview of the most successful techniques developed in the literature.