ارزیابی کیفیت برای ترجمه ماشینی ۲۰۲۲
Quality Estimation for Machine Translation 2022

بسیاری از کاربردها در پردازش زبان طبیعی شامل انجام تبدیلات متن به متن می‌شوند؛ به این معنا که سیستم‌ها باید با دریافت یک متن به زبان طبیعی به عنوان ورودی، نسخه‌ای از این متن (مثلاً یک ترجمه) را نیز به زبان طبیعی به عنوان خروجی تولید کنند. ارزیابی خودکار خروجی این سیستم‌ها، یک جزء مهم در توسعه‌ی برنامه‌های کاربردی متن به متن است. دو رویکرد برای این مسئله پیشنهاد شده است: (۱) مقایسه‌ی خروجی‌های سیستم با یک یا چند خروجی مرجع با استفاده از معیارهای ارزیابی مبتنی بر تطبیق رشته و (۲) ساخت مدل‌هایی بر اساس بازخورد انسانی برای پیش‌بینی کیفیت خروجی‌های سیستم بدون متون مرجع. با وجود محبوبیت آن‌ها، معیارهای ارزیابی مبتنی بر مرجع با این چالش مواجه هستند که خروجی‌های با کیفیت (و بی‌کیفیت) متعددی می‌توانند توسط رویکردهای متن به متن برای یک ورودی یکسان تولید شوند. این تنوع، حتی با متون مرجع متعدد، به سختی قابل ثبت است. علاوه بر این، معیارهای مبتنی بر مرجع را نمی‌توان در تولید (به عنوان مثال، سیستم‌های ترجمه ماشینی آنلاین) استفاده کرد، زمانی که انتظار می‌رود سیستم‌ها برای هر ورودی دیده‌نشده، خروجی تولید کنند.

در این کتاب، ما بر مجموعه‌ی دوم معیارها، موسوم به معیارهای تخمین کیفیت (QE) تمرکز می‌کنیم، که هدف آن ارائه‌ی تخمینی از میزان خوب یا قابل اعتماد بودن متون تولید شده توسط یک برنامه کاربردی بدون دسترسی به خروجی‌های استاندارد طلایی است. QE انواع مختلفی از ارزیابی را امکان‌پذیر می‌سازد که می‌تواند انواع مختلف کاربران و برنامه‌های کاربردی را هدف قرار دهد. از تکنیک‌های یادگیری ماشین برای ساخت مدل‌های QE با انواع مختلف برچسب‌های کیفیت و ویژگی‌های صریح یا بازنمایی‌های آموخته‌شده استفاده می‌شود، که سپس می‌توانند کیفیت خروجی‌های سیستم دیده‌نشده را پیش‌بینی کنند.

این کتاب به شرح موضوع QE برای برنامه‌های کاربردی متن به متن می‌پردازد و برچسب‌های کیفیت، ویژگی‌ها، الگوریتم‌ها، ارزیابی، کاربردها و رویکردهای پیشرفته را پوشش می‌دهد. این کتاب بر ترجمه ماشینی به عنوان یک برنامه کاربردی تمرکز دارد، زیرا این موضوع، بیشترین کار انجام شده در زمینه QE تا به امروز را نشان می‌دهد. همچنین به طور خلاصه به QE برای چندین برنامه کاربردی دیگر، از جمله ساده‌سازی متن، خلاصه‌سازی متن، تصحیح خطاهای گرامری و تولید زبان طبیعی می‌پردازد.

Many applications within natural language processing involve performing text-to-text transformations, i.e., given a text in natural language as input, systems are required to produce a version of this text (e.g., a translation), also in natural language, as output. Automatically evaluating the output of such systems is an important component in developing text-to-text applications. Two approaches have been proposed for this problem: (i) to compare the system outputs against one or more reference outputs using string matching-based evaluation metrics and (ii) to build models based on human feedback to predict the quality of system outputs without reference texts. Despite their popularity, reference-based evaluation metrics are faced with the challenge that multiple good (and bad) quality outputs can be produced by text-to-text approaches for the same input. This variation is very hard to capture, even with multiple reference texts. In addition, reference-based metrics cannot be used inproduction (e.g., online machine translation systems), when systems are expected to produce outputs for any unseen input. In this book, we focus on the second set of metrics, so-called Quality Estimation (QE) metrics, where the goal is to provide an estimate on how good or reliable the texts produced by an application are without access to gold-standard outputs. QE enables different types of evaluation that can target different types of users and applications. Machine learning techniques are used to build QE models with various types of quality labels and explicit features or learnt representations, which can then predict the quality of unseen system outputs. This book describes the topic of QE for text-to-text applications, covering quality labels, features, algorithms, evaluation, uses, and state-of-the-art approaches. It focuses on machine translation as application, since this represents most of the QE work done to date. It also briefly describes QE for several other applications,including text simplification, text summarization, grammatical error correction, and natural language generation.