پردازش متن داده‌محور با MapReduce ۲۰۲۲
Data-Intensive Text Processing with MapReduce 2022

دنیای ما دستخوش تحولی عظیم بر اثر روش‌های داده‌محور است: دسترسی به حجم وسیعی از داده‌ها، بینش‌های جدیدی را به وجود آورده و فرصت‌های هیجان‌انگیزی را در تجارت، علم و کاربردهای محاسباتی گشوده است. پردازش مقادیر عظیمی از داده‌ها که برای این پیشرفت‌ها ضروری است، نیازمند خوشه‌های بزرگ محاسباتی است که پارادایم‌های رایانش توزیع‌شده را بیش از هر زمان دیگری حیاتی می‌سازد.

MapReduce یک مدل برنامه‌نویسی برای بیان محاسبات توزیع‌شده روی مجموعه داده‌های بزرگ و یک چارچوب اجرایی برای پردازش داده‌ها در مقیاس بزرگ بر روی خوشه‌های سرورهای معمولی است. این مدل برنامه‌نویسی یک انتزاع قابل فهم برای طراحی الگوریتم‌های مقیاس‌پذیر ارائه می‌دهد، در حالی که چارچوب اجرایی به‌طور شفاف بسیاری از جزئیات سطح سیستم، از زمان‌بندی گرفته تا همگام‌سازی و تحمل خطا را مدیریت می‌کند.

این کتاب بر طراحی الگوریتم MapReduce با تأکید بر الگوریتم‌های پردازش متن که در پردازش زبان طبیعی، بازیابی اطلاعات و یادگیری ماشین رایج هستند، تمرکز دارد. ما مفهوم الگوهای طراحی MapReduce را معرفی می‌کنیم که نشان‌دهنده راه‌حل‌های عمومی و قابل استفاده مجدد برای مسائل رایج در حوزه‌های مختلف هستند. این کتاب نه‌تنها به خواننده کمک می‌کند تا “در چارچوب MapReduce فکر کند”، بلکه محدودیت‌های مدل برنامه‌نویسی را نیز مورد بحث قرار می‌دهد.

فهرست مطالب: مقدمه / مبانی MapReduce / طراحی الگوریتم MapReduce / نمایه سازی معکوس برای بازیابی متن / الگوریتم های گراف / الگوریتم های EM برای پردازش متن / سخن پایانی

Our world is being revolutionized by data-driven methods: access to large amounts of data has generated new insights and opened exciting new opportunities in commerce, science, and computing applications. Processing the enormous quantities of data necessary for these advances requires large clusters, making distributed computing paradigms more crucial than ever. MapReduce is a programming model for expressing distributed computations on massive datasets and an execution framework for large-scale data processing on clusters of commodity servers. The programming model provides an easy-to-understand abstraction for designing scalable algorithms, while the execution framework transparently handles many system-level details, ranging from scheduling to synchronization to fault tolerance. This book focuses on MapReduce algorithm design, with an emphasis on text processing algorithms common in natural language processing, information retrieval, and machine learning. We introduce the notion ofMapReduce design patterns, which represent general reusable solutions to commonly occurring problems across a variety of problem domains. This book not only intends to help the reader “think in MapReduce”, but also discusses limitations of the programming model as well. Table of Contents: Introduction / MapReduce Basics / MapReduce Algorithm Design / Inverted Indexing for Text Retrieval / Graph Algorithms / EM Algorithms for Text Processing / Closing Remarks