محاسبات موازی و высокопроизводительные ۲۰۲۱
Parallel and High Performance Computing 2021

خلاصه

محاسبات پیچیده، مانند آموزش مدل‌های یادگیری عمیق یا اجرای شبیه‌سازی‌های بزرگ، می‌تواند زمان بسیار زیادی طول بکشد. برنامه‌نویسی موازی کارآمد می‌تواند ساعت‌ها—یا حتی روزها—در زمان محاسباتی صرفه‌جویی کند. محاسبات موازی و پربازده به شما نشان می‌دهد که چگونه با تسلط بر تکنیک‌های موازی برای پردازنده‌های چند هسته‌ای و سخت‌افزار GPU، سرعت اجرای بالاتر، مقیاس‌پذیری بیشتر و بهره‌وری انرژی بیشتری را برای برنامه‌های خود به ارمغان بیاورید.

درباره‌ی فناوری

برنامه‌های سریع، قدرتمند و کم‌مصرف انرژی بنویسید که برای مقابله با حجم عظیمی از داده‌ها مقیاس‌پذیر باشند. با استفاده از برنامه‌نویسی موازی، کد شما وظایف پردازش داده را در چندین CPU پخش می‌کند تا عملکردی به طور چشمگیری بهتر داشته باشید. با کمی کمک، می‌توانید نرم‌افزاری ایجاد کنید که هم سرعت و هم کارایی را به حداکثر برساند.

درباره‌ی کتاب

محاسبات موازی و پربازده تکنیک‌هایی را ارائه می‌دهد که تضمین شده اثربخشی کد شما را افزایش می‌دهد. شما یاد خواهید گرفت که معماری‌های سخت‌افزاری را ارزیابی کنید و با ابزارهای استاندارد صنعتی مانند OpenMP و MPI کار کنید. شما بر ساختارهای داده و الگوریتم‌هایی که برای محاسبات پربازده مناسب‌تر هستند، مسلط خواهید شد و تکنیک‌هایی را یاد خواهید گرفت که در دستگاه‌های دستی در مصرف انرژی صرفه‌جویی می‌کنند. شما حتی یک شبیه‌سازی عظیم سونامی را در میان مجموعه‌ای از GPUها اجرا خواهید کرد.

مطالب داخل کتاب

* برنامه‌ریزی یک پروژه‌ی موازی جدید
* درک تفاوت‌های معماری CPU و GPU
* رسیدگی به هسته‌ها و حلقه‌های کم‌بازده
* مدیریت برنامه‌ها با زمان‌بندی دسته‌ای

درباره‌ی خواننده

برای برنامه‌نویسان باتجربه که در یک زبان محاسباتی پربازده مانند C، C++ یا Fortran مهارت دارند.

درباره‌ی نویسنده

رابرت روبی در آزمایشگاه ملی لس آلاموس کار می‌کند و بیش از 30 سال است که در زمینه‌ی محاسبات موازی فعال است. یولیانا زامورا در حال حاضر دانشجوی دکترا و Siebel Scholar در دانشگاه شیکاگو است و در کنفرانس‌های ملی متعددی در مورد برنامه‌نویسی سخت‌افزار مدرن سخنرانی کرده است.

فهرست مطالب

بخش 1: مقدمه‌ای بر محاسبات موازی
1 چرا محاسبات موازی؟
2 برنامه‌ریزی برای موازی‌سازی
3 محدودیت‌های عملکرد و پروفایلینگ
4 طراحی داده و مدل‌های عملکرد
5 الگوریتم‌ها و الگوهای موازی
بخش 2: CPU: اسب بارکش موازی
6 برداری‌سازی: FLOPs رایگان
7 OpenMP که عملکرد دارد
8 MPI: ستون فقرات موازی
بخش 3: GPUها: ساخته شده برای تسریع
9 معماری‌ها و مفاهیم GPU
10 مدل برنامه‌نویسی GPU
11 برنامه‌نویسی GPU مبتنی بر دستورالعمل
12 زبان‌های GPU: ورود به مبانی
13 پروفایلینگ و ابزارهای GPU
بخش 4: اکوسیستم‌های محاسباتی پربازده
14 Affinity: آتش‌بس با هسته
15 زمان‌بندی‌کننده‌های دسته‌ای: نظم بخشیدن به هرج و مرج
16 عملیات فایل برای یک دنیای موازی
17 ابزارها و منابع برای کد بهتر

Summary
Complex calculations, like training deep learning models or running large-scale simulations, can take an extremely long time. Efficient parallel programming can save hours—or even days—of computing time. Parallel and High Performance Computing shows you how to deliver faster run-times, greater scalability, and increased energy efficiency to your programs by mastering parallel techniques for multicore processor and GPU hardware.

About the technology
Write fast, powerful, energy efficient programs that scale to tackle huge volumes of data. Using parallel programming, your code spreads data processing tasks across multiple CPUs for radically better performance. With a little help, you can create software that maximizes both speed and efficiency.

About the book
Parallel and High Performance Computing offers techniques guaranteed to boost your code’s effectiveness. You’ll learn to evaluate hardware architectures and work with industry standard tools such as OpenMP and MPI. You’ll master the data structures and algorithms best suited for high performance computing and learn techniques that save energy on handheld devices. You’ll even run a massive tsunami simulation across a bank of GPUs.

What’s inside

Planning a new parallel project
Understanding differences in CPU and GPU architecture
Addressing underperforming kernels and loops
Managing applications with batch scheduling

About the reader
For experienced programmers proficient with a high-performance computing language like C, C++, or Fortran.

About the author
Robert Robey works at Los Alamos National Laboratory and has been active in the field of parallel computing for over 30 years. Yuliana Zamora is currently a PhD student and Siebel Scholar at the University of Chicago, and has lectured on programming modern hardware at numerous national conferences.

Table of Contents
PART 1 INTRODUCTION TO PARALLEL COMPUTING
1 Why parallel computing?
2 Planning for parallelization
3 Performance limits and profiling
4 Data design and performance models
5 Parallel algorithms and patterns
PART 2 CPU: THE PARALLEL WORKHORSE
6 Vectorization: FLOPs for free
7 OpenMP that performs
8 MPI: The parallel backbone
PART 3 GPUS: BUILT TO ACCELERATE
9 GPU architectures and concepts
10 GPU programming model
11 Directive-based GPU programming
12 GPU languages: Getting down to basics
13 GPU profiling and tools
PART 4 HIGH PERFORMANCE COMPUTING ECOSYSTEMS
14 Affinity: Truce with the kernel
15 Batch schedulers: Bringing order to chaos
16 File operations for a parallel world
17 Tools and resources for better code