تحلیل بیزی در پردازش زبان طبیعی، ویرایش دوم ۲۰۲۲
Bayesian Analysis in Natural Language Processing, Second Edition 2022

پردازش زبان طبیعی (NLP) در اواسط دهه‌ی ۱۹۸۰ دستخوش تحولی عمیق شد؛ تحولی که در آن، رویکرد غالب به استفاده‌ی گسترده از پیکره‌ها و روش‌های داده‌محور برای تحلیل زبان تغییر یافت. از آن زمان، استفاده از تکنیک‌های آماری در پردازش زبان طبیعی به شیوه‌های مختلفی تکامل یافته است. یکی از این نمونه‌های تکامل، در اواخر دهه‌ی ۱۹۹۰ یا اوایل دهه‌ی ۲۰۰۰ رخ داد، زمانی که سازوکارهای تمام‌عیار بیزی به پردازش زبان طبیعی معرفی شدند. این رویکرد بیزی در پردازش زبان طبیعی، به منظور رفع کاستی‌های متعدد در رویکرد فراوانی‌گرایانه و غنی‌سازی آن، به‌ویژه در محیط‌های یادگیری نظارت‌نشده، که یادگیری آماری بدون نمونه‌های پیش‌بینی هدف انجام می‌شود، مورد استفاده قرار گرفته است.

در این کتاب، روش‌ها و الگوریتم‌هایی را پوشش می‌دهیم که برای خواندن روان مقالات یادگیری بیزی در پردازش زبان طبیعی و انجام تحقیقات در این زمینه مورد نیاز هستند. این روش‌ها و الگوریتم‌ها، تا حدی از یادگیری ماشین و آمار وام گرفته شده‌اند و تا حدی نیز به طور “داخلی” در پردازش زبان طبیعی توسعه یافته‌اند. ما تکنیک‌های استنباطی مانند نمونه‌برداری زنجیره مارکوف مونت کارلو و استنباط واریانس، تخمین بیزی و مدل‌سازی ناپارامتری را پوشش می‌دهیم. در پاسخ به تغییرات سریع در این حوزه، ویرایش دوم این کتاب شامل فصل جدیدی در مورد یادگیری بازنمایی و شبکه‌های عصبی در بافت بیزی است. همچنین، مفاهیم اساسی در آمار بیزی مانند توزیع‌های پیشین، مزدوجی و مدل‌سازی مولد را پوشش می‌دهیم. در نهایت، برخی از تکنیک‌های مدل‌سازی اساسی در پردازش زبان طبیعی، مانند مدل‌سازی گرامر، شبکه‌های عصبی و یادگیری بازنمایی، و استفاده از آن‌ها با تحلیل بیزی را بررسی می‌کنیم.

Natural language processing (NLP) went through a profound transformation in the mid-1980s when it shifted to make heavy use of corpora and data-driven techniques to analyze language. Since then, the use of statistical techniques in NLP has evolved in several ways. One such example of evolution took place in the late 1990s or early 2000s, when full-fledged Bayesian machinery was introduced to NLP. This Bayesian approach to NLP has come to accommodate various shortcomings in the frequentist approach and to enrich it, especially in the unsupervised setting, where statistical learning is done without target prediction examples.

In this book, we cover the methods and algorithms that are needed to fluently read Bayesian learning papers in NLP and to do research in the area. These methods and algorithms are partially borrowed from both machine learning and statistics and are partially developed “in-house” in NLP. We cover inference techniques such as Markov chain Monte Carlo sampling and variational inference, Bayesian estimation, and nonparametric modeling. In response to rapid changes in the field, this second edition of the book includes a new chapter on representation learning and neural networks in the Bayesian context. We also cover fundamental concepts in Bayesian statistics such as prior distributions, conjugacy, and generative modeling. Finally, we review some of the fundamental modeling techniques in NLP, such as grammar modeling, neural networks and representation learning, and their use with Bayesian analysis.