تحلیل نهایی داده‌های بزرگ با آپاچی هدوپ: تسلط بر تحلیل داده‌های بزرگ با آپاچی هدوپ، با استفاده از آپاچی اسپارک، هایو و پایتون ۲۰۲۴
Ultimate Big Data Analytics with Apache Hadoop: Master Big Data Analytics with Apache Hadoop Using Apache Spark, Hive, and Python 2024

بر اکوسیستم Hadoop مسلط شوید و سیستم‌های تحلیلی مقیاس‌پذیر بسازید

ویژگی‌های کلیدی
● شرح Hadoop، YARN، MapReduce و Tez برای درک پردازش داده توزیع‌شده و مدیریت منابع.
● بررسی عمیق نقش Apache Hive و Apache Spark در انبار داده، پردازش بی‌درنگ و تحلیل‌های پیشرفته.
● ارائه راهنمایی عملی برای استفاده از Python با Hadoop برای هوش تجاری و تحلیل داده.

توضیحات کتاب
در بازار کار داده‌های حجیم که به سرعت در حال تحول است و پیش‌بینی می‌شود تا سال ۲۰۲۶، ۲۸ درصد رشد داشته باشد و حقوق‌ها تا ۱۵۰۰۰۰ دلار در سال برسد، تسلط بر تحلیل داده‌های حجیم با اکوسیستم Hadoop، پرطرفدارترین عامل برای پیشرفت شغلی است. کتاب “تحلیل نهایی داده‌های حجیم با Apache Hadoop” یک همراه ضروری است که دانش عمیق و مهارت‌های عملی مورد نیاز برای برتری در چشم‌انداز داده‌محور امروزی را ارائه می‌دهد.

این کتاب با ایجاد یک پایه قوی با مروری بر دریاچه‌های داده، انبارهای داده و مفاهیم مرتبط آغاز می‌شود. سپس به اجزای اصلی Hadoop مانند HDFS، YARN، MapReduce و Apache Tez می‌پردازد و ترکیبی از تئوری و تمرین‌های عملی را ارائه می‌دهد.

شما تجربه عملی با موتورهای پرس‌وجو مانند Apache Hive و Apache Spark و همچنین فرمت‌های فایل و جدول مانند ORC، Parquet، Avro، Iceberg، Hudi و Delta به دست خواهید آورد. دستورالعمل‌های مفصلی در مورد نصب و پیکربندی خوشه‌ها با Docker گنجانده شده است، به همراه تجسم داده‌های حجیم و تحلیل آماری با استفاده از Python.

با توجه به اهمیت روزافزون خطوط لوله داده مقیاس‌پذیر، این کتاب مهندسان داده، تحلیلگران و متخصصان داده‌های حجیم را به مهارت‌های عملی برای راه‌اندازی، مدیریت و بهینه‌سازی خطوط لوله داده و استفاده موثر از تکنیک‌های یادگیری ماشین مجهز می‌کند.

فرصت تبدیل شدن به یک رهبر در زمینه داده‌های حجیم را از دست ندهید تا پتانسیل کامل تحلیل داده‌های حجیم با Hadoop را آزاد کنید.

آنچه خواهید آموخت
● کسب تخصص در ساخت و مدیریت خطوط لوله داده در مقیاس بزرگ با Hadoop، YARN و MapReduce.
● تسلط بر تحلیل بی‌درنگ و پردازش داده با ویژگی‌های قدرتمند Apache Spark.
● توسعه مهارت‌ها در استفاده از Apache Hive برای انبار داده کارآمد و پرس‌وجوهای پیچیده.
● ادغام Python برای تحلیل داده پیشرفته، تجسم و هوش تجاری در اکوسیستم Hadoop.
● یادگیری نحوه بهبود ذخیره‌سازی داده و عملکرد پردازش با استفاده از فرمت‌هایی مانند ORC، Parquet و Delta.
● کسب تجربه عملی در استقرار و مدیریت خوشه‌های Hadoop با Docker و Kubernetes.
● ساخت و استقرار مدل‌های یادگیری ماشین با ابزارهای یکپارچه شده در اکوسیستم Hadoop.

فهرست مطالب
۱. مقدمه ای بر Hadoop و ASF
۲. مروری بر تحلیل داده‌های حجیم
۳. Hadoop و YARN MapReduce و Tez
۴. موتورهای پرس‌وجوی توزیع‌شده: Apache Hive
۵. موتورهای پرس‌وجوی توزیع‌شده: Apache Spark
۶. فرمت‌های فایل و فرمت‌های جدول (Apache Ice-berg، Hudi و Delta)
۷. Python و اکوسیستم Hadoop برای تحلیل داده‌های حجیم – BI
۸. علم داده و یادگیری ماشین با اکوسیستم Hadoop
۹. مقدمه‌ای بر رایانش ابری و سایر پروژه‌های Apache
نمایه

Master the Hadoop Ecosystem and Build Scalable Analytics Systems
Key Features● Explains Hadoop, YARN, MapReduce, and Tez for understanding distributed data processing and resource management.
● Delves into Apache Hive and Apache Spark for their roles in data warehousing, real-time processing, and advanced analytics.
● Provides hands-on guidance for using Python with Hadoop for business intelligence and data analytics.

Book Description
In a rapidly evolving Big Data job market projected to grow by 28% through 2026 and with salaries reaching up to $150,000 annually—mastering big data analytics with the Hadoop ecosystem is most sought after for career advancement. The Ultimate Big Data Analytics with Apache Hadoop is an indispensable companion offering in-depth knowledge and practical skills needed to excel in today’s data-driven landscape.

The book begins laying a strong foundation with an overview of data lakes, data warehouses, and related concepts. It then delves into core Hadoop components such as HDFS, YARN, MapReduce, and Apache Tez, offering a blend of theory and practical exercises.

You will gain hands-on experience with query engines like Apache Hive and Apache Spark, as well as file and table formats such as ORC, Parquet, Avro, Iceberg, Hudi, and Delta. Detailed instructions on installing and configuring clusters with Docker are included, along with big data visualization and statistical analysis using Python.

Given the growing importance of scalable data pipelines, this book equips data engineers, analysts, and big data professionals with practical skills to set up, manage, and optimize data pipelines, and to apply machine learning techniques effectively.

Don’t miss out on the opportunity to become a leader in the big data field to unlock the full potential of big data analytics with Hadoop.

What you will learn
● Gain expertise in building and managing large-scale data pipelines with Hadoop, YARN, and MapReduce.
● Master real-time analytics and data processing with Apache Spark’s powerful features.
● Develop skills in using Apache Hive for efficient data warehousing and complex queries.
● Integrate Python for advanced data analysis, visualization, and business intelligence in the Hadoop ecosystem.
● Learn to enhance data storage and processing performance using formats like ORC, Parquet, and Delta.
● Acquire hands-on experience in deploying and managing Hadoop clusters with Docker and Kubernetes.
● Build and deploy machine learning models with tools integrated into the Hadoop ecosystem.

Table of Contents
1. Introduction to Hadoop and ASF
2. Overview of Big Data Analytics
3. Hadoop and YARN MapReduce and Tez
4. Distributed Query Engines: Apache Hive
5. Distributed Query Engines: Apache Spark
6. File Formats and Table Formats (Apache Ice-berg, Hudi, and Delta)
7. Python and the Hadoop Ecosystem for Big Data Analytics – BI
8. Data Science and Machine Learning with Hadoop Ecosystem
9. Introduction to Cloud Computing and Other Apache Projects
Index