ترانسفورمرهای از پیش آموزش‌دیده برای رتبه‌بندی متن ۲۰۲۲
Pretrained Transformers for Text Ranking 2022

هدف از رتبه‌بندی متن، تولید فهرستی مرتب از متون بازیابی‌شده از یک مجموعه (corpus) در پاسخ به یک پرسش است. اگرچه رایج‌ترین شکل رتبه‌بندی متن، جستجو است، نمونه‌هایی از این وظیفه را می‌توان در بسیاری از کاربردهای پردازش زبان طبیعی (NLP) نیز یافت.

این کتاب، مروری بر رتبه‌بندی متن با معماری‌های شبکه‌های عصبی معروف به ترانسفورمرها ارائه می‌دهد که بهترین نمونه‌ی شناخته‌شده‌ی آن، بِرت (BERT: بازنمایی رمزگذار دوطرفه از ترانسفورمرها) است. ترکیب ترانسفورمرها و پیش‌آموزش خود-نظارتی، مسئول یک تغییر اساسی در NLP، بازیابی اطلاعات (IR) و فراتر از آن بوده است. این کتاب، ترکیبی از کارهای موجود را به عنوان یک نقطه‌ی ورود واحد برای متخصصانی ارائه می‌دهد که مایل به درک بهتر نحوه‌ی به‌کارگیری ترانسفورمرها در مسائل رتبه‌بندی متن هستند، و محققانی که مایل به پیگیری کار در این زمینه هستند.

این کتاب طیف گسترده‌ای از تکنیک‌های مدرن را پوشش می‌دهد که به دو دسته‌ی کلی تقسیم می‌شوند: مدل‌های ترانسفورمر که در معماری‌های چندمرحله‌ای رتبه‌بندی مجدد را انجام می‌دهند و تکنیک‌های بازیابی متراکم که رتبه‌بندی را مستقیماً انجام می‌دهند. دو موضوع در سراسر کتاب جریان دارد: تکنیک‌هایی برای مدیریت اسناد طولانی، فراتر از پردازش جمله‌به‌جمله‌ی معمول در NLP، و تکنیک‌هایی برای پرداختن به موازنه‌ی بین اثربخشی (یعنی کیفیت نتیجه) و کارایی (به عنوان مثال، تأخیر پرس‌وجو، اندازه مدل و فهرست).

اگرچه معماری‌های ترانسفورمر و تکنیک‌های پیش‌آموزش، نوآوری‌های اخیر هستند، بسیاری از جنبه‌های نحوه‌ی به‌کارگیری آن‌ها در رتبه‌بندی متن نسبتاً به‌خوبی درک شده و نشان‌دهنده‌ی تکنیک‌های بالغ هستند. با این حال، هنوز سؤالات تحقیقاتی باز بسیاری وجود دارد، و بنابراین، این کتاب علاوه بر تشریح مبانی ترانسفورمرهای از پیش آموزش‌دیده برای رتبه‌بندی متن، تلاش می‌کند تا پیش‌بینی کند که این حوزه به کجا می‌رود.

The goal of text ranking is to generate an ordered list of texts retrieved from a corpus in response to a query. Although the most common formulation of text ranking is search, instances of the task can also be found in many natural language processing (NLP) applications.This book provides an overview of text ranking with neural network architectures known as transformers, of which BERT (Bidirectional Encoder Representations from Transformers) is the best-known example. The combination of transformers and self-supervised pretraining has been responsible for a paradigm shift in NLP, information retrieval (IR), and beyond. This book provides a synthesis of existing work as a single point of entry for practitioners who wish to gain a better understanding of how to apply transformers to text ranking problems and researchers who wish to pursue work in this area. It covers a wide range of modern techniques, grouped into two high-level categories: transformer models that perform reranking inmulti-stage architectures and dense retrieval techniques that perform ranking directly. Two themes pervade the book: techniques for handling long documents, beyond typical sentence-by-sentence processing in NLP, and techniques for addressing the tradeoff between effectiveness (i.e., result quality) and efficiency (e.g., query latency, model and index size). Although transformer architectures and pretraining techniques are recent innovations, many aspects of how they are applied to text ranking are relatively well understood and represent mature techniques. However, there remain many open research questions, and thus in addition to laying out the foundations of pretrained transformers for text ranking, this book also attempts to prognosticate where the field is heading.