پروفایل‌سازی داده ۲۰۲۲
Data Profiling 2022

پروفایل‌سازی داده به فعالیت جمع‌آوری اطلاعات در مورد داده‌ها، یعنی فراداده، اشاره دارد. بیشتر متخصصان فناوری اطلاعات و محققانی که با داده‌ها سروکار دارند، حداقل به‌طور غیررسمی، در پروفایل‌سازی داده شرکت کرده‌اند تا یک مجموعه داده ناآشنا را درک و بررسی کنند یا تعیین کنند که آیا یک مجموعه داده جدید برای یک کار خاص مناسب است یا خیر. نتایج پروفایل‌سازی داده در موقعیت‌های گوناگون دیگری از جمله بهینه‌سازی پرس‌وجو، یکپارچه‌سازی داده و پاکسازی داده نیز اهمیت دارد. فراداده‌های ساده شامل آمار، مانند تعداد سطرها و ستون‌ها، اطلاعات طرح‌واره و نوع داده، تعداد مقادیر متمایز، توزیع‌های آماری مقادیر و تعداد مقادیر تهی یا خالی در هر ستون هستند. انواع پیچیده‌تر فراداده، اظهاراتی درباره چند ستون و همبستگی آن‌ها، مانند کلیدهای کاندید، وابستگی‌های تابعی و انواع دیگر وابستگی‌ها هستند.

این کتاب به طبقه‌بندی انواع مختلف فراداده‌های قابل پروفایل‌سازی می‌پردازد، وظایف پرطرفدار پروفایل‌سازی داده را مورد بحث قرار می‌دهد و الگوریتم‌های پروفایل‌سازی پیشرفته را بررسی می‌کند. در حالی که بیشتر مطالب کتاب بر وظایف و الگوریتم‌های پروفایل‌سازی داده‌های رابطه‌ای متمرکز است، ما همچنین به طور خلاصه سیستم‌ها و تکنیک‌های پروفایل‌سازی داده‌های غیررابطه‌ای مانند نمودارها و متن را مورد بحث قرار می‌دهیم. در پایان، به بحث درباره چالش‌های پروفایل‌سازی داده و مسیرهای تحقیقات آتی در این زمینه می‌پردازیم.

Data profiling refers to the activity of collecting data about data, {i.e.}, metadata. Most IT professionals and researchers who work with data have engaged in data profiling, at least informally, to understand and explore an unfamiliar dataset or to determine whether a new dataset is appropriate for a particular task at hand. Data profiling results are also important in a variety of other situations, including query optimization, data integration, and data cleaning. Simple metadata are statistics, such as the number of rows and columns, schema and datatype information, the number of distinct values, statistical value distributions, and the number of null or empty values in each column. More complex types of metadata are statements about multiple columns and their correlation, such as candidate keys, functional dependencies, and other types of dependencies.

This book provides a classification of the various types of profilable metadata, discusses popular data profiling tasks,and surveys state-of-the-art profiling algorithms. While most of the book focuses on tasks and algorithms for relational data profiling, we also briefly discuss systems and techniques for profiling non-relational data such as graphs and text. We conclude with a discussion of data profiling challenges and directions for future work in this area.