مرزهای دانش در پژوهش‌های چندرسانه‌ای ۲۰۱۸
Frontiers of Multimedia Research 2018

حوزه چندرسانه‌ای (مالتی‌مدیا) در ارائه یک بستر غنی و پویا برای همکاری محققان از زمینه‌های “سنتی” و توسعه راهکارها و دانش جدیدی که از مرزهای رشته‌های منفرد فراتر می‌رود، منحصر به فرد است. با وجود فعالیت‌ها و دستاوردهای پربار تحقیقاتی، تلاش‌های اندکی برای تدوین کتاب‌هایی صورت گرفته که به عنوان مقدمه‌ای بر طیف گسترده موضوعات تحت پوشش این حوزه وسیع باشند. کتاب‌های معدودی در دسترس هستند که یا بر زیرشاخه‌های خاص یا پیش‌زمینه‌های اساسی در چندرسانه‌ای تمرکز دارند. در حال حاضر، مطالب آموزشی به سبک آموزشگاهی که موضوعات فعال مورد پیگیری محققان برجسته در مرزهای این حوزه را پوشش دهند، وجود ندارند.

در سال ۲۰۱۵، گروه ویژه ACM SIGMM در زمینه چندرسانه‌ای، ابتکار جدیدی را برای رفع این خلأ آغاز کرد. در این راستا، ۱۲ سخنران ستاره در حال ظهور از زیرشاخه‌های مختلف تحقیقات چندرسانه‌ای انتخاب و دعوت شدند تا در کنفرانس ACM Multimedia سال ۲۰۱۵، سخنرانی‌های آموزشی به سبک آموزشگاهی ارائه دهند. هر سخنران به بررسی چالش‌ها و آخرین دستاوردهای حوزه‌های تحقیقاتی خود به صورت کلی و برای جامعه وسیع پرداخت. موضوعات پوشش داده شده جامع بودند و شامل درک محتوای چندرسانه‌ای، تعاملات چندوجهی انسان-انسان و انسان-کامپیوتر، رسانه‌های اجتماعی چندرسانه‌ای، و معماری و استقرار سیستم چندرسانه‌ای می‌شدند.

پس از دریافت بازخوردهای بسیار مثبت نسبت به این سخنرانی‌ها، از سخنرانان دعوت شد تا محتوای ارائه شده در سخنرانی‌های خود را به فصل‌هایی گسترش دهند که بتوان از آن‌ها به عنوان مرجع برای محققان، دانشجویان و متخصصان استفاده کرد. هر فصل به بررسی مسائل، چالش‌های فنی، رویکردها و عملکردهای پیشرفته، مسائل باز و مسیرهای امیدوارکننده برای کار آینده می‌پردازد. در مجموع، این فصل‌ها نمونه‌گیری بسیار خوبی از موضوعات اصلی مورد توجه جامعه ارائه می‌دهند. این کتاب که برخی از نتایج این تلاش‌ها را در خود جای داده است، در موقعیت خوبی قرار دارد تا نیازهای ذکر شده در ارائه مطالب مرجع به سبک آموزشگاهی برای موضوعات مرزی در چندرسانه‌ای را برآورده سازد.

همزمان، سرعت و پیچیدگی مورد نیاز برای پردازش داده‌ها افزایش یافته است. علاوه بر پرس و جوهای ساده، الگوریتم‌های پیچیده‌ای مانند یادگیری ماشین و تحلیل گراف به امری رایج تبدیل شده‌اند. و علاوه بر پردازش دسته‌ای، تجزیه و تحلیل جریانی داده‌های بی‌درنگ (real-time) مورد نیاز است تا سازمان‌ها بتوانند به موقع اقدام کنند. پلتفرم‌های محاسباتی آینده نه تنها باید حجم کاری سنتی را افزایش دهند، بلکه از این برنامه‌های جدید نیز پشتیبانی کنند.

این کتاب، نسخه‌ای بازبینی شده از پایان‌نامه برنده جایزه ACM Dissertation Award در سال ۲۰۱۴، معماری برای سیستم‌های محاسبات خوشه‌ای (cluster computing) پیشنهاد می‌کند که می‌تواند با حجم بالای داده‌ها و حجم کاری نوظهور پردازش داده‌ها مقابله کند. در حالی که سیستم‌های محاسبات خوشه‌ای اولیه، مانند MapReduce، پردازش دسته‌ای را انجام می‌دادند، معماری ما، ضمن حفظ مقیاس‌پذیری و تحمل خطای MapReduce، پرس و جوهای جریانی و تعاملی را نیز امکان‌پذیر می‌کند. و در حالی که بیشتر سیستم‌های مستقر شده فقط از محاسبات ساده یک‌باره (مانند پرس و جوهای SQL) پشتیبانی می‌کنند، سیستم ما به الگوریتم‌های چندباره مورد نیاز برای تجزیه و تحلیل‌های پیچیده مانند یادگیری ماشین نیز گسترش می‌یابد. در نهایت، برخلاف سیستم‌های تخصصی پیشنهادی برای برخی از این حجم‌های کاری، معماری ما امکان ترکیب این محاسبات را فراهم می‌کند و برنامه‌های جدید غنی را امکان‌پذیر می‌کند که برای مثال، پردازش جریانی و دسته‌ای را با هم ترکیب می‌کنند.

ما به این نتایج از طریق یک توسعه ساده برای MapReduce دست می‌یابیم که ابتدایی‌هایی را برای اشتراک‌گذاری داده‌ها، به نام مجموعه‌داده‌های توزیع‌شده تاب‌آور (Resilient Distributed Datasets (RDDs)) اضافه می‌کند. ما نشان می‌دهیم که این برای ثبت طیف گسترده‌ای از حجم‌های کاری کافی است. ما RDDها را در سیستم متن‌باز Spark پیاده‌سازی می‌کنیم، که آن را با استفاده از حجم‌های کاری مصنوعی و واقعی ارزیابی می‌کنیم. Spark در بسیاری از دامنه‌ها با سیستم‌های تخصصی مطابقت دارد یا از آن‌ها فراتر می‌رود، در حالی که ویژگی‌های تحمل خطای قوی‌تری را ارائه می‌دهد و امکان ترکیب این حجم‌های کاری را فراهم می‌کند. در نهایت، ما تعمیم‌پذیری RDDها را هم از منظر مدل‌سازی نظری و هم از منظر سیستم بررسی می‌کنیم.

این نسخه از پایان‌نامه، اصلاحاتی را در سراسر متن انجام می‌دهد و بخش جدیدی را در مورد تکامل Apache Spark در صنعت از سال ۲۰۱۴ اضافه می‌کند. علاوه بر این، ویرایش، قالب‌بندی و پیوندهایی برای مراجع اضافه شده است.

The field of multimedia is unique in offering a rich and dynamic forum for researchers from “traditional” fields to collaborate and develop new solutions and knowledge that transcend the boundaries of individual disciplines. Despite the prolific research activities and outcomes, however, few efforts have been made to develop books that serve as an introduction to the rich spectrum of topics covered by this broad field. A few books are available that either focus on specific subfields or basic background in multimedia. Tutorial-style materials covering the active topics being pursued by the leading researchers at frontiers of the field are currently lacking.

In 2015, ACM SIGMM, the special interest group on multimedia, launched a new initiative to address this void by selecting and inviting 12 rising-star speakers from different subfields of multimedia research to deliver plenary tutorial-style talks at the ACM Multimedia conference for 2015. Each speaker discussed the challenges and state-of-the-art developments of their prospective research areas in a general manner to the broad community. The covered topics were comprehensive, including multimedia content understanding, multimodal human-human and human-computer interaction, multimedia social media, and multimedia system architecture and deployment.

Following the very positive responses to these talks, the speakers were invited to expand the content covered in their talks into chapters that can be used as reference material for researchers, students, and practitioners. Each chapter discusses the problems, technical challenges, state-of-the-art approaches and performances, open issues, and promising direction for future work. Collectively, the chapters provide an excellent sampling of major topics addressed by the community as a whole. This book, capturing some of the outcomes of such efforts, is well positioned to fill the aforementioned needs in providing tutorial-style reference materials for frontier topics in multimedia.

At the same time, the speed and sophistication required of data processing have grown. In addition to simple queries, complex algorithms like machine learning and graph analysis are becoming common. And in addition to batch processing, streaming analysis of real-time data is required to let organizations take timely action. Future computing platforms will need to not only scale out traditional workloads, but support these new applications too.

This book, a revised version of the 2014 ACM Dissertation Award winning dissertation, proposes an architecture for cluster computing systems that can tackle emerging data processing workloads at scale. Whereas early cluster computing systems, like MapReduce, handled batch processing, our architecture also enables streaming and interactive queries, while keeping MapReduce’s scalability and fault tolerance. And whereas most deployed systems only support simple one-pass computations (e.g., SQL queries), ours also extends to the multi-pass algorithms required for complex analytics like machine learning. Finally, unlike the specialized systems proposed for some of these workloads, our architecture allows these computations to be combined, enabling rich new applications that intermix, for example, streaming and batch processing.

We achieve these results through a simple extension to MapReduce that adds primitives for data sharing, called Resilient Distributed Datasets (RDDs). We show that this is enough to capture a wide range of workloads. We implement RDDs in the open source Spark system, which we evaluate using synthetic and real workloads. Spark matches or exceeds the performance of specialized systems in many domains, while offering stronger fault tolerance properties and allowing these workloads to be combined. Finally, we examine the generality of RDDs from both a theoretical modeling perspective and a systems perspective.

This version of the dissertation makes corrections throughout the text and adds a new section on the evolution of Apache Spark in industry since 2014. In addition, editing, formatting, and links for the references have been added.