مدیریت گردش کار داده-محور ۲۰۲۲
Data-Intensive Workflow Management 2022

جریان‌های کاری را می‌توان به‌عنوان انتزاع‌هایی تعریف کرد که برای مدل‌سازی جریان منسجم فعالیت‌ها در بستر یک آزمایش علمی شبیه‌سازی‌شده به کار می‌روند. این جریان‌ها در بسیاری از حوزه‌های علمی مانند بیوانفورماتیک، نجوم و مهندسی مورد استفاده قرار می‌گیرند. چنین جریان‌های کاری معمولاً تعداد قابل توجهی فعالیت و فعال‌سازی (یعنی وظایف مرتبط با فعالیت‌ها) دارند و ممکن است برای اجرا به زمان زیادی نیاز داشته باشند. با توجه به نیاز مستمر به ذخیره و پردازش کارآمد داده‌ها (که آن‌ها را به جریان‌های کاری داده‌محور تبدیل می‌کند)، از محیط‌های محاسباتی با کارایی بالا همراه با تکنیک‌های موازی‌سازی برای اجرای این جریان‌های کاری استفاده می‌شود. در آغاز دهه 2010، فناوری‌های ابری به‌عنوان محیطی امیدوارکننده برای اجرای جریان‌های کاری علمی ظهور کردند. با استفاده از ابرها، دانشمندان از رایانه‌های موازی منفرد به صدها یا حتی هزاران ماشین مجازی گسترش یافته‌اند.

اخیراً، چارچوب‌ها و محیط‌های محاسبات مقیاس‌پذیر داده‌محور (DISC) (مانند Apache Spark و Hadoop) ظهور کرده‌اند و برای اجرای جریان‌های کاری داده‌محور مورد استفاده قرار می‌گیرند. محیط‌های DISC از پردازنده‌ها و دیسک‌ها در خوشه‌های محاسباتی بزرگ و تجاری تشکیل شده‌اند که با استفاده از سوئیچ‌ها و شبکه‌های ارتباطی پرسرعت به هم متصل شده‌اند. مزیت اصلی چارچوب‌های DISC این است که از مدیریت کارآمد داده‌ها در حافظه برای برنامه‌های کاربردی در مقیاس بزرگ، مانند جریان‌های کاری داده‌محور، پشتیبانی می‌کنند و آن را تضمین می‌کنند. با این حال، اجرای جریان‌های کاری در محیط‌های ابری و DISC چالش‌های بسیاری را ایجاد می‌کند، مانند زمان‌بندی فعالیت‌ها و فعال‌سازی‌های جریان کاری، مدیریت داده‌های تولید شده، جمع‌آوری داده‌های تبارشناسی و غیره.

چندین رویکرد موجود به چالش‌های ذکر شده در بالا می‌پردازند. به این ترتیب، نیاز واقعی به درک نحوه مدیریت این جریان‌های کاری و پلتفرم‌های مختلف کلان داده که توسعه و معرفی شده‌اند، وجود دارد. به این ترتیب، این کتاب می‌تواند به محققان کمک کند تا درک کنند که چگونه پیوند مدیریت جریان کاری با محاسبات مقیاس‌پذیر داده‌محور می‌تواند به درک و تجزیه و تحلیل کلان داده‌های علمی کمک کند.

در این کتاب، هدف ما شناسایی و استخراج بدنه کار در زمینه مدیریت جریان کاری در ابرها و محیط‌های DISC است. ما با بحث در مورد اصول اساسی جریان‌های کاری علمی داده‌محور شروع می‌کنیم. در ادامه، دو جریان کاری را ارائه می‌دهیم که در یک سایت واحد و ابرهای چند سایتی با بهره‌گیری از تبارشناسی اجرا می‌شوند. پس از آن، به سمت مدیریت جریان کاری در محیط‌های DISC می‌رویم و راه‌حل‌هایی را به تفصیل ارائه می‌دهیم که اجرای بهینه جریان کاری را با استفاده از چارچوب‌هایی مانند Apache Spark و افزونه‌های آن امکان‌پذیر می‌کنند.

Workflows may be defined as abstractions used to model the coherent flow of activities in the context of an in silico scientific experiment. They are employed in many domains of science such as bioinformatics, astronomy, and engineering. Such workflows usually present a considerable number of activities and activations (i.e., tasks associated with activities) and may need a long time for execution. Due to the continuous need to store and process data efficiently (making them data-intensive workflows), high-performance computing environments allied to parallelization techniques are used to run these workflows. At the beginning of the 2010s, cloud technologies emerged as a promising environment to run scientific workflows. By using clouds, scientists have expanded beyond single parallel computers to hundreds or even thousands of virtual machines.

More recently, Data-Intensive Scalable Computing (DISC) frameworks (e.g., Apache Spark and Hadoop) and environments emerged and are being used to execute data-intensive workflows. DISC environments are composed of processors and disks in large-commodity computing clusters connected using high-speed communications switches and networks. The main advantage of DISC frameworks is that they support and grant efficient in-memory data management for large-scale applications, such as data-intensive workflows. However, the execution of workflows in cloud and DISC environments raise many challenges such as scheduling workflow activities and activations, managing produced data, collecting provenance data, etc.

Several existing approaches deal with the challenges mentioned earlier. This way, there is a real need for understanding how to manage these workflows and various big data platforms that have been developed and introduced. As such, this book can help researchers understand how linking workflow management with Data-Intensive Scalable Computing can help in understanding and analyzing scientific big data.

In this book, we aim to identify and distill the body of work on workflow management in clouds and DISC environments. We start by discussing the basic principles of data-intensive scientific workflows. Next, we present two workflows that are executed in a single site and multi-site clouds taking advantage of provenance. Afterward, we go towards workflow management in DISC environments, and we present, in detail, solutions that enable the optimized execution of the workflow using frameworks such as Apache Spark and its extensions.