تسلط بر پلتفرم لیک‌هاوس دیتابریکس ۲۰۲۲
Mastering Databricks Lakehouse Platform 2022

توانمندسازی داده و پردازش‌های هوش مصنوعی با امنیت و مقیاس‌پذیری مطلق

ویژگی‌های کلیدی

● دستورالعمل‌های گام‌به‌گام و دقیق برای تمامی متخصصان داده که کار خود را در حوزه‌ی مهندسی داده آغاز می‌کنند.
● دسترسی به DevOps، یادگیری ماشین و تجزیه‌وتحلیل در یک پلتفرم واحد و یکپارچه.
● شامل ملاحظات طراحی و بهترین شیوه‌های امنیتی برای استفاده‌ی بهینه از پلتفرم Databricks.

توضیحات

این کتاب با شروع از مبانی پلتفرم Databricks Lakehouse، به خوانندگان نحوه‌ی مدیریت عملیات مختلف داده، از جمله یادگیری ماشین، DevOps، انبار داده و BI را در یک پلتفرم واحد آموزش می‌دهد.

فصل‌های بعدی به بررسی کار با پایپ‌لاین‌های داده با استفاده از پلتفرم Databricks Lakehouse همراه با پردازش داده و چارچوب ممیزی کیفیت می‌پردازند. این کتاب نحوه‌ی استفاده از پلتفرم Databricks Lakehouse را برای توسعه‌ی جداول زنده‌ی دلتا (delta live tables)، ساده‌سازی عملیات ETL/ELT و مدیریت اشتراک‌گذاری و سازماندهی داده آموزش می‌دهد. همچنین بررسی می‌کند که چگونه وظایف را از طریق رابط کاربری نوت‌بوک Databricks و Jobs API زمان‌بندی و مدیریت کنید. کتاب حاضر به پیاده‌سازی روش‌های DevOps در پلتفرم Databricks Lakehouse برای پردازش‌های داده و هوش مصنوعی می‌پردازد و به خوانندگان کمک می‌کند تا داده‌ها را آماده و پردازش کرده و کل چرخه‌ی حیات ML را، از آزمایش تا تولید، استانداردسازی کنند.

این کتاب فقط به اینجا ختم نمی‌شود؛ بلکه نحوه‌ی کوئری مستقیم از data lake را با ابزارهای BI مورد علاقه‌ی شما مانند Power BI، Tableau یا Qlik آموزش می‌دهد. در پایان کتاب نیز برخی از بهترین شیوه‌های صنعت در ساخت راهکارهای مهندسی داده به نمایش گذاشته شده است.

آنچه خواهید آموخت

● کسب توانایی برای مدیریت سرتاسری پلتفرم Databricks Lakehouse.
● استفاده از Flow برای استقرار و نظارت بر راهکارهای یادگیری ماشین.
● کسب تجربه‌ی عملی با SQL Analytics و اتصال Tableau، Power BI و Qlik.
● پیکربندی کلاسترها و خودکارسازی استقرار CI/CD.
● نحوه‌ی استفاده از Airflow، Data Factory، Delta Live Tables، رابط کاربری نوت‌بوک Databricks و Jobs API را بیاموزید.

این کتاب برای چه کسانی است؟

این کتاب برای هر متخصص داده، از جمله مهندسان داده، توسعه‌دهندگان ETL، مدیران پایگاه داده، دانشمندان داده، توسعه‌دهندگان SQL و متخصصان BI مناسب است. شما به هیچ تخصص قبلی در این پلتفرم نیاز ندارید، زیرا کتاب تمام مبانی را پوشش می‌دهد.

فهرست مطالب

1. شروع به کار با پلتفرم Databricks
2. مدیریت پلتفرم Databricks
3. Spark، Databricks و ساخت یک چارچوب کیفیت داده
4. اشتراک‌گذاری و سازماندهی داده با Databricks
5. ETL ساده‌شده با Delta Live Tables
6. پیاده‌سازی SCD Type 2 با Delta Lake
7. مدیریت مدل یادگیری ماشین با Databricks
8. ادغام و تحویل مداوم با Databricks
9. تصویرسازی با Databricks
10. بهترین شیوه‌های امنیتی و انطباق Databricks

Enable data and AI workloads with absolute security and scalability

 

KEY FEATURES  

● Detailed, step-by-step instructions for every data professional starting a career with data engineering.

● Access to DevOps, Machine Learning, and Analytics wirthin a single unified platform.

● Includes design considerations and security best practices for efficient utilization of Databricks platform.

 

DESCRIPTION 

Starting with the fundamentals of the databricks lakehouse platform, the book teaches readers on administering various data operations, including Machine Learning, DevOps, Data Warehousing, and BI on the single platform.

The subsequent chapters discuss working around data pipelines utilizing the databricks lakehouse platform with data processing and audit quality framework. The book teaches to leverage the Databricks Lakehouse platform to develop delta live tables, streamline ETL/ELT operations, and administer data sharing and orchestration. The book explores how to schedule and manage jobs through the Databricks notebook UI and the Jobs API. The book discusses how to implement DevOps methods on the Databricks Lakehouse platform for data and AI workloads. The book helps readers prepare and process data and standardizes the entire ML lifecycle, right from experimentation to production. 

The book doesn’t just stop here; instead, it teaches how to directly query data lake with your favourite BI tools like Power BI, Tableau, or Qlik. Some of the best industry practices on building data engineering solutions are also demonstrated towards the end of the book.

WHAT YOU WILL LEARN

● Acquire capabilities to administer end-to-end Databricks Lakehouse Platform.

● Utilize Flow to deploy and monitor machine learning solutions.

● Gain practical experience with SQL Analytics and connect Tableau, Power BI, and Qlik.

● Configure clusters and automate CI/CD deployment.

● Learn how to use Airflow, Data Factory, Delta Live Tables, Databricks notebook UI, and the Jobs API.

WHO THIS BOOK IS FOR

This book is for every data professional, including data engineers, ETL developers, DB administrators, Data Scientists, SQL Developers, and BI specialists. You don’t need any prior expertise with this platform because the book covers all the basics.

 

TABLE OF CONTENTS

1. Getting started with Databricks Platform

2. Management of Databricks Platform

3. Spark, Databricks, and Building a Data Quality Framework

4. Data Sharing and Orchestration with Databricks

5. Simplified ETL with Delta Live Tables

6. SCD Type 2 Implementation with Delta Lake

7. Machine Learning Model Management with Databricks

8. Continuous Integration and Delivery with Databricks

9. Visualization with Databricks

10. Best Security and Compliance Practices of Databricks