یکپارچه‌سازی داده‌های بزرگ ۲۰۲۲
Big Data Integration 2022

عصر داده‌های بزرگ فرا رسیده است: داده‌ها با مقیاسی بی‌سابقه تولید، تحلیل و استفاده می‌شوند، و تصمیم‌گیری مبتنی بر داده، تمام جنبه‌های جامعه را فراگرفته است. از آنجا که ارزش داده‌ها وقتی با سایر داده‌ها پیوند داده و ترکیب شوند، به شدت افزایش می‌یابد، پرداختن به چالش «یکپارچه‌سازی داده‌های بزرگ» (BDI) برای تحقق وعده‌های داده‌های بزرگ، حیاتی است. یکپارچه‌سازی داده‌های بزرگ، از نظر حجم، سرعت، تنوع و درستی، با یکپارچه‌سازی داده‌های سنتی تفاوت دارد. اول اینکه، نه‌تنها منابع داده می‌توانند حجم عظیمی از داده را در خود جای دهند، بلکه تعداد منابع داده نیز اکنون به میلیون‌ها رسیده است. دوم، به دلیل سرعتی که داده‌های تازه جمع‌آوری‌شده در دسترس قرار می‌گیرند، بسیاری از منابع داده بسیار پویا هستند و تعداد منابع داده نیز به سرعت در حال افزایش است. سوم، منابع داده از نظر ساختار و محتوا بسیار ناهمگون هستند و حتی برای موجودیت‌های اساساً مشابه، تنوع قابل توجهی را نشان می‌دهند. چهارم، منابع داده از کیفیت‌های بسیار متفاوتی برخوردارند و تفاوت‌های قابل توجهی در پوشش، دقت و به‌روز بودن داده‌های ارائه شده وجود دارد. این کتاب به بررسی پیشرفت‌هایی می‌پردازد که توسط متخصصان یکپارچه‌سازی داده در زمینه‌های هم‌ترازی طرحواره، مرتبط‌سازی رکوردها و ادغام داده‌ها در جهت پاسخگویی به این چالش‌های جدید پیش روی یکپارچه‌سازی داده‌های بزرگ، حاصل شده است. هر یک از این موضوعات به صورت سیستماتیک پوشش داده شده است: ابتدا با یک مرور سریع از موضوع در زمینه یکپارچه‌سازی داده‌های سنتی شروع می‌شود، و به دنبال آن، شرح مفصل و مثال‌محور از تکنیک‌های نوآورانه اخیر که برای پاسخگویی به چالش‌های حجم، سرعت، تنوع و درستی در یکپارچه‌سازی داده‌های بزرگ پیشنهاد شده‌اند، ارائه می‌گردد. در نهایت، موضوعات و فرصت‌های نوظهوری که مختص یکپارچه‌سازی داده‌های بزرگ هستند را ارائه می‌کند و مسیرهای امیدوارکننده‌ای را برای متخصصان یکپارچه‌سازی داده مشخص می‌نماید.

The big data era is upon us: data are being generated, analyzed, and used at an unprecedented scale, and data-driven decision making is sweeping through all aspects of society. Since the value of data explodes when it can be linked and fused with other data, addressing the big data integration (BDI) challenge is critical to realizing the promise of big data. BDI differs from traditional data integration along the dimensions of volume, velocity, variety, and veracity. First, not only can data sources contain a huge volume of data, but also the number of data sources is now in the millions. Second, because of the rate at which newly collected data are made available, many of the data sources are very dynamic, and the number of data sources is also rapidly exploding. Third, data sources are extremely heterogeneous in their structure and content, exhibiting considerable variety even for substantially similar entities. Fourth, the data sources are of widely differing qualities, with significant differences in the coverage, accuracy and timeliness of data provided. This book explores the progress that has been made by the data integration community on the topics of schema alignment, record linkage and data fusion in addressing these novel challenges faced by big data integration. Each of these topics is covered in a systematic way: first starting with a quick tour of the topic in the context of traditional data integration, followed by a detailed, example-driven exposition of recent innovative techniques that have been proposed to address the BDI challenges of volume, velocity, variety, and veracity. Finally, it presents merging topics and opportunities that are specific to BDI, identifying promising directions for the data integration community.