پردازش جریان داده‌ی بلادرنگ با Apache Kafka، Spark و Storm ۲۰۲۱
Real-Time Streaming with Apache Kafka, Spark, and Storm 2021

پلتفرمی با استفاده از Apache Kafka، Spark و Storm بسازید تا بینش‌های داده‌ای را در لحظه ایجاد کرده و از طریق داشبوردها مشاهده کنید.

ویژگی‌های کلیدی

● نمایش عملی گسترده مفاهیم Apache Kafka، شامل مثال‌هایی از تولیدکننده و مصرف‌کننده.

● شامل مثال‌های گرافیکی و توضیحاتی در مورد پیاده‌سازی دستورات و متدهای Kafka Producer و Kafka Consumer.

● پوشش یکپارچه‌سازی و پیاده‌سازی معماری‌های Spark-Kafka و Kafka-Storm.

توضیحات

“پردازش جریانی بلادرنگ با Apache Kafka، Spark و Storm” کتابی است که مروری بر مفاهیم و معماری‌های پردازش جریانی بلادرنگ Apache Kafka، Storm و Spark ارائه می‌دهد. خوانندگان یاد خواهند گرفت که چگونه سیستم‌هایی بسازند که بتوانند جریان‌های داده را با استفاده از این فناوری‌ها در لحظه پردازش کنند. آن‌ها قادر خواهند بود حجم زیادی از داده‌های بلادرنگ را پردازش کرده و در نتیجه آن، تجزیه و تحلیل انجام دهند یا بینش‌هایی تولید کنند.

معماری Kafka و اجزای مختلف آن به تفصیل شرح داده شده است. نصب و پیکربندی یک کلاستر Kafka نمایش داده خواهد شد. سیستم ناشر-مشترک Kafka با استفاده از خط فرمان و جاوا در Eclipse IDE پیاده‌سازی خواهد شد. کتاب به معماری Apache Storm، مفاهیم Spout و Bolt و همچنین کاربردهای آن‌ها در یک سیستم هشدار تراکنش می‌پردازد. همچنین مفاهیم اصلی Spark، برنامه‌های کاربردی و استفاده از Spark برای پیاده‌سازی یک میکروسرویس را شرح می‌دهد. برای آشنایی با فرآیند ادغام Kafka و Storm، دو رویکرد برای ادغام Spark و Kafka مورد بحث قرار خواهند گرفت.

این کتاب با ارائه دانش پردازش داده‌های بزرگ و معماری‌های Kafka، Storm و Spark Streaming، به یک مهندس نرم‌افزار کمک می‌کند تا به یک مهندس داده‌های بزرگ و معمار داده‌های بزرگ تبدیل شود.

آنچه خواهید آموخت

● ایجاد تولیدکنندگان، مصرف‌کنندگان و کارگزاران Kafka با استفاده از خط فرمان.

● پیاده‌سازی سرتاسری سیستم پیام‌رسانی Kafka با Java در Eclipse.

● انجام نصب و ایجاد یک کلاستر Storm و اجرای دستورات مدیریت Storm.

● پیاده‌سازی Spoutها، Boltها و یک توپولوژی در Storm برای سیستم کاربردی هشدار تراکنش.

● انجام پیاده‌سازی یک میکروسرویس با استفاده از Spark در Scala IDE.

● آشنایی با رویکردهای مختلف ادغام Kafka و Spark.

● انجام ادغام Kafka و Storm با استفاده از Java در Eclipse IDE.

این کتاب برای چه کسانی است

این کتاب برای توسعه‌دهندگان نرم‌افزار، دانشمندان داده و معماران داده‌های بزرگ است که می‌خواهند سیستم‌های نرم‌افزاری برای پردازش جریان‌های داده در لحظه بسازند. برای درک مفاهیم این کتاب، دانش هر زبان برنامه‌نویسی مانند Java، Python و غیره مورد نیاز است.

فهرست مطالب

1. مقدمه‌ای بر Kafka
2. نصب Kafka
3. پیام‌رسانی Kafka
4. تولیدکنندگان Kafka
5. مصرف‌کنندگان Kafka
6. مقدمه‌ای بر Storm
7. نصب و پیکربندی
8. Spoutها و Boltها
9. مقدمه‌ای بر Spark
10. Spark Streaming
11. ادغام Kafka با Storm
12. ادغام Kafka با Spark

Build a platform using Apache Kafka, Spark, and Storm to generate real-time data insights and view them through Dashboards.

 

KEY FEATURES  

● Extensive practical demonstration of Apache Kafka concepts, including producer and consumer examples.

● Includes graphical examples and explanations of implementing Kafka Producer and Kafka Consumer commands and methods.

● Covers integration and implementation of Spark-Kafka and Kafka-Storm architectures.

 

DESCRIPTION 

Real-Time Streaming with Apache Kafka, Spark, and Storm is a book that provides an overview of the real-time streaming concepts and architectures of Apache Kafka, Storm, and Spark. The readers will learn how to build systems that can process data streams in real time using these technologies. They will be able to process a large amount of real-time data and perform analytics or generate insights as a result of this.

The architecture of Kafka and its various components are described in detail. A Kafka Cluster installation and configuration will be demonstrated. The Kafka publisher-subscriber system will be implemented in the Eclipse IDE using the Command Line and Java. The book discusses the architecture of Apache Storm, the concepts of Spout and Bolt, as well as their applications in a Transaction Alert System. It also describes Spark’s core concepts, applications, and the use of Spark to implement a microservice. To learn about the process of integrating Kafka and Storm, two approaches to Spark and Kafka integration will be discussed.

This book will assist a software engineer to transition to a Big Data engineer and Big Data architect by providing knowledge of big data processing and the architectures of Kafka, Storm, and Spark Streaming.

 

WHAT YOU WILL LEARN

● Creation of Kafka producers, consumers, and brokers using command line.

● End-to-end implementation of Kafka messaging system with Java in Eclipse.

● Perform installation and creation of a Storm Cluster and execute Storm Management commands.

● Implement Spouts, Bolts and a Topology in Storm for Transaction alert application system.

● Perform the implementation of a microservice using Spark in Scala IDE.

● Learn about the various approaches of integrating Kafka and Spark.

● Perform integration of Kafka and Storm using Java in the Eclipse IDE.

WHO THIS BOOK IS FOR  

This book is intended for Software Developers, Data Scientists, and Big Data Architects who want to build software systems to process data streams in real time. To understand the concepts in this book, knowledge of any programming language such as Java, Python, etc. is needed.

 

TABLE OF CONTENTS

1. Introduction to Kafka

2. Installing Kafka

3. Kafka Messaging

4. Kafka Producers

5. Kafka Consumers

6. Introduction to Storm

7. Installation and Configuration

8. Spouts and Bolts

9. Introduction to Spark

10. Spark Streaming

11. Kafka Integration with Storm

12. Kafka Integration with Spark