رویکردهای یادگیری عمیق در تولید متن ۲۰۲۲
Deep Learning Approaches to Text Production 2022

تولید متن کاربردهای فراوانی دارد. برای مثال، از آن برای تولید نوبت‌های گفتگو از حرکاتِ گفتگویی، بیان کلامی محتوای پایگاه‌های دانش، یا تولید جملات انگلیسی از بازنمایی‌های زبانی غنی، مانند درخت‌های وابستگی یا بازنمایی‌های معنایی انتزاعی، استفاده می‌شود. تولید متن همچنین در تبدیل‌های متن به متن مانند فشرده‌سازی جمله، ادغام جمله، بازنویسی، ساده‌سازی جمله (یا متن) و خلاصه‌سازی متن نیز کاربرد دارد. این کتاب مروری بر مبانی مدل‌های عصبی برای تولید متن ارائه می‌دهد. به‌طور خاص، ما به بررسی سه جنبه‌ی اصلی رویکردهای عصبی به تولید متن می‌پردازیم: چگونگی یادگیری رمزگشاهای ترتیبی برای تولید متن مناسب، چگونگی یادگیری رمزگذارها برای تولید بازنمایی‌های ورودی بهتر، و چگونگی در نظر گرفتن اهداف خاصِ وظیفه توسط مولدهای عصبی. در واقع، هر وظیفه‌ی تولید متن، چالش کمی متفاوتی را مطرح می‌کند (به عنوان مثال، چگونگی در نظر گرفتن بافت گفتگو هنگام تولید نوبتِ گفتگو، چگونگی تشخیص و ادغام اطلاعات مرتبط هنگام خلاصه‌سازی یک متن، یا چگونگی تولید یک متن خوش‌ساخت که به درستی اطلاعات موجود در برخی داده‌های ورودی را در مورد تولید داده به متن، ثبت کند). ما محدودیت‌های خاص برخی از این وظایف را مشخص کرده و بررسی می‌کنیم که چگونه مدل‌های عصبی موجود، آنها را در نظر می‌گیرند. به طور کلی، این کتاب تبدیل‌های متن به متن، معنی به متن و داده به متن را در نظر می‌گیرد. هدف آن ارائه دانش پایه در مورد رویکردهای عصبی به تولید متن و یک نقشه راه برای شروع کار با آثار مرتبط به مخاطبان است. این کتاب عمدتاً برای محققان، دانشجویان تحصیلات تکمیلی و صنعتگرانی که به تولید متن از اشکال مختلف ورودی علاقه مند هستند، در نظر گرفته شده است.

Text production has many applications. It is used, for instance, to generate dialogue turns from dialogue moves, verbalise the content of knowledge bases, or generate English sentences from rich linguistic representations, such as dependency trees or abstract meaning representations. Text production is also at work in text-to-text transformations such as sentence compression, sentence fusion, paraphrasing, sentence (or text) simplification, and text summarisation. This book offers an overview of the fundamentals of neural models for text production. In particular, we elaborate on three main aspects of neural approaches to text production: how sequential decoders learn to generate adequate text, how encoders learn to produce better input representations, and how neural generators account for task-specific objectives. Indeed, each text-production task raises a slightly different challenge (e.g, how to take the dialogue context into account when producing a dialogue turn, how to detect and merge relevant information when summarising a text, or how to produce a well-formed text that correctly captures the information contained in some input data in the case of data-to-text generation). We outline the constraints specific to some of these tasks and examine how existing neural models account for them. More generally, this book considers text-to-text, meaning-to-text, and data-to-text transformations. It aims to provide the audience with a basic knowledge of neural approaches to text production and a roadmap to get them started with the related work. The book is mainly targeted at researchers, graduate students, and industrials interested in text production from different forms of inputs.