کتاب آشپزی پلتفرم لیک‌هاوس دیتابریکس ۲۰۲۳
Databricks Lakehouse Platform Cookbook 2023

تجزیه و تحلیل، معماری و نوآوری با Databricks Lakehouse

ویژگی‌های کلیدی

● ایجاد یک Lakehouse با استفاده از Databricks، شامل دریافت داده از منبع تا لایه Bronze.
● پالایش آیتم‌های Bronze به آیتم‌های Silver آماده برای کسب‌وکار، با استفاده از روش‌های افزایشی.
● ساخت آیتم‌های Gold برای پاسخگویی به نیازهای مختلف کسب‌وکار.

توضیحات

Databricks Lakehouse یک فناوری پیشگامانه است که ذخیره‌سازی، پردازش و تجزیه و تحلیل داده‌ها را ساده می‌کند. این کتاب راهنما، یک راهنمای واضح و عملی برای ساخت و بهینه‌سازی Lakehouse شما ارائه می‌دهد تا تصمیمات مبتنی بر داده بگیرید و نتایج چشمگیری را رقم بزنید.

این راهنمای جامع، شما را در کل مسیر Lakehouse، از راه‌اندازی محیط و اتصال به فضای ذخیره‌سازی، تا ایجاد جداول Delta، ساخت مدل‌های داده، و دریافت و تبدیل داده‌ها، همراهی می‌کند. ما با بحث در مورد نحوه دریافت داده‌ها به لایه Bronze شروع می‌کنیم و سپس آن را پالایش می‌کنیم تا لایه Silver را تولید کنیم. در ادامه، نحوه ایجاد جداول Gold و تکنیک‌های مختلف مدل‌سازی داده که اغلب در لایه Gold انجام می‌شوند را بررسی می‌کنیم. شما یاد خواهید گرفت که چگونه از Spark SQL و PySpark برای دستکاری کارآمد داده‌ها استفاده کنید، Delta Live Tables را برای پردازش داده‌های بلادرنگ به کار ببرید و گردش‌های کاری Machine Learning و Data Science را با MLflow، Feature Store و AutoML پیاده‌سازی کنید. این کتاب همچنین به موضوعات پیشرفته‌ای مانند تحلیل گراف، حاکمیت داده و مصورسازی می‌پردازد و شما را با دانش لازم برای حل چالش‌های پیچیده داده تجهیز می‌کند.

در پایان این کتاب راهنما، شما به یک متخصص Lakehouse تبدیل خواهید شد که قادر به طراحی، ساخت و مدیریت راه‌حل‌های قوی مبتنی بر داده است.

آنچه خواهید آموخت

● طراحی و ساخت یک محیط Databricks Lakehouse قوی.
● ایجاد و مدیریت جداول Delta با تبدیلات پیشرفته.
● تجزیه و تحلیل و تبدیل داده‌ها با استفاده از SQL و Python.
● ساخت و استقرار مدل‌های یادگیری ماشین برای بینش‌های عملی.
● پیاده‌سازی بهترین شیوه‌ها برای حاکمیت و امنیت داده.

این کتاب برای چه کسانی است

این کتاب برای مهندسان داده، تحلیلگران داده، دانشمندان داده، متخصصان هوش تجاری و معمارانی که می‌خواهند با استفاده از پلتفرم Databricks برای ساخت Lakehouseها، به سطح بعدی مهندسی داده بروند، مناسب است.

فهرست مطالب

1. مقدمه‌ای بر Databricks Lakehouse
2. راه‌اندازی یک فضای کاری Databricks
3. اتصال به فضای ذخیره‌سازی
4. ایجاد جداول Delta
5. پروفایل‌سازی و مدل‌سازی داده در Lakehouse
6. استخراج از منبع و بارگذاری در Bronze
7. تبدیل برای ایجاد Silver
8. تبدیل برای ایجاد Gold برای اهداف تجاری
9. یادگیری ماشین و علم داده
10. تجزیه و تحلیل SQL
11. تحلیل گراف
12. مصورسازی‌ها
13. حاکمیت
14. عملیات
15. نکات، ترفندها، عیب‌یابی و بهترین شیوه‌ها

Analyze, Architect, and Innovate with Databricks Lakehouse

KEY FEATURES  

● Create a Lakehouse using Databricks, including ingestion from source to Bronze.

● Refinement of Bronze items to business-ready Silver items using incremental methods.

● Construct Gold items to service the needs of various business requirements.

DESCRIPTION 

The Databricks Lakehouse is groundbreaking technology that simplifies data storage, processing, and analysis. This cookbook offers a clear and practical guide to building and optimizing your Lakehouse to make data-driven decisions and drive impactful results.

This definitive guide walks you through the entire Lakehouse journey, from setting up your environment, and connecting to storage, to creating Delta tables, building data models, and ingesting and transforming data. We start off by discussing how to ingest data to Bronze, then refine it to produce Silver. Next, we discuss how to create Gold tables and various data modeling techniques often performed in the Gold layer. You will learn how to leverage Spark SQL and PySpark for efficient data manipulation, apply Delta Live Tables for real-time data processing, and implement Machine Learning and Data Science workflows with MLflow, Feature Store, and AutoML. The book also delves into advanced topics like graph analysis, data governance, and visualization, equipping you with the necessary knowledge to solve complex data challenges.

By the end of this cookbook, you will be a confident Lakehouse expert, capable of designing, building, and managing robust data-driven solutions.

WHAT YOU WILL LEARN

● Design and build a robust Databricks Lakehouse environment.

● Create and manage Delta tables with advanced transformations.

● Analyze and transform data using SQL and Python.

● Build and deploy machine learning models for actionable insights.

● Implement best practices for data governance and security.

WHO THIS BOOK IS FOR

This book is meant for Data Engineers, Data Analysts, Data Scientists, Business intelligence professionals, and Architects who want to go to the next level of Data Engineering using the Databricks platform to construct Lakehouses.

TABLE OF CONTENTS

1. Introduction to Databricks Lakehouse

2. Setting Up a Databricks Workspace 

3. Connecting to Storage

4. Creating Delta Tables

5. Data Profiling and Modeling in the Lakehouse 

6. Extracting from Source and Loading to Bronze

7. Transforming to Create Silver

8. Transforming to Create Gold for Business Purposes

9. Machine Learning and Data Science

10. SQL Analysis

11. Graph Analysis

12. Visualizations

13. Governance

14. Operations

15. Tips, Tricks, Troubleshooting, and Best Practices