اعتبار، پایایی و اهمیت ۲۰۲۲
Validity, Reliability, and Significance 2022

روش‌های تجربی ابزاری هستند برای پاسخ دادن به پرسش‌های روش‌شناختی علوم تجربی از طریق فنون آماری. پرسش‌های روش‌شناختی که در این کتاب به آن‌ها پرداخته می‌شود شامل مسائل روایی (Validity)، پایایی (Reliability) و معناداری (Significance) است. در مورد یادگیری ماشین، این موارد به ترتیب معادل این پرسش‌ها هستند که آیا یک مدل، آن چیزی را که ادعا می‌کند پیش‌بینی می‌کند، آیا عملکرد یک مدل در تکرارهای مختلف سازگار است و آیا تفاوت عملکرد بین دو مدل ناشی از شانس است یا خیر. هدف این کتاب پاسخ دادن به این پرسش‌ها از طریق آزمون‌های آماری مشخصی است که می‌توان از آن‌ها برای ارزیابی روایی، پایایی و معناداری حاشیه‌نویسی داده‌ها و پیش‌بینی یادگیری ماشین در زمینه‌های پردازش زبان طبیعی (NLP) و علم داده استفاده کرد. تمرکز ما بر روش‌های تجربی مبتنی بر مدل است، جایی که حاشیه‌نویسی‌های داده و پیش‌بینی‌های مدل به عنوان داده‌های آموزشی برای مدل‌های احتمالی قابل تفسیر از خانواده‌های شناخته‌شده‌ی مدل‌های جمع‌پذیر تعمیم‌یافته (GAMs) و مدل‌های اثرات ترکیبی خطی (LMEMs) در نظر گرفته می‌شوند. بر اساس پارامترهای قابل تفسیر GAMها یا LMEMهای آموزش‌دیده، کتاب آزمون‌های آماری مبتنی بر مدل را ارائه می‌دهد، مانند آزمون روایی که امکان شناسایی ویژگی‌های چرخشی را فراهم می‌کند که از یادگیری جلوگیری می‌کنند. علاوه بر این، کتاب ضریب پایایی را با استفاده از تجزیه واریانس بر اساس پارامترهای اثر تصادفی LMEMها مورد بحث قرار می‌دهد. در نهایت، یک آزمون معناداری بر اساس نسبت درست‌نمایی LMEMهای تودرتو که بر روی امتیازات عملکرد دو مدل یادگیری ماشین آموزش داده شده‌اند، نشان داده می‌شود که به طور طبیعی امکان گنجاندن تغییرات در تنظیمات فرامترها را در آزمون فرضیه فراهم می‌کند و در نتیجه مقایسه‌ی سیستم پالایش‌شده‌ای را مشروط به ویژگی‌های داده‌های ورودی تسهیل می‌کند. این کتاب می‌تواند به عنوان مقدمه‌ای بر روش‌های تجربی برای یادگیری ماشین به طور کلی، با تمرکز ویژه بر کاربردها در پردازش زبان طبیعی و علم داده استفاده شود. کتاب خودکفا است و دارای پیوستی در مورد مبانی ریاضی GAMها و LMEMها، و همچنین یک صفحه وب همراه شامل کد R برای تکرار آزمایش‌های ارائه شده در کتاب است.

Empirical methods are means to answering methodological questions of empirical sciences by statistical techniques. The methodological questions addressed in this book include the problems of validity, reliability, and significance. In the case of machine learning, these correspond to the questions of whether a model predicts what it purports to predict, whether a model’s performance is consistent across replications, and whether a performance difference between two models is due to chance, respectively. The goal of this book is to answer these questions by concrete statistical tests that can be applied to assess validity, reliability, and significance of data annotation and machine learning prediction in the fields of NLP and data science. Our focus is on model-based empirical methods where data annotations and model predictions are treated as training data for interpretable probabilistic models from the well-understood families of generalized additive models (GAMs) and linear mixed effects models (LMEMs). Based on the interpretable parameters of the trained GAMs or LMEMs, the book presents model-based statistical tests such as a validity test that allows detecting circular features that circumvent learning. Furthermore, the book discusses a reliability coefficient using variance decomposition based on random effect parameters of LMEMs. Last, a significance test based on the likelihood ratio of nested LMEMs trained on the performance scores of two machine learning models is shown to naturally allow the inclusion of variations in meta-parameter settings into hypothesis testing, and further facilitates a refined system comparison conditional on properties of input data. This book can be used as an introduction to empirical methods for machine learning in general, with a special focus on applications in NLP and data science. The book is self-contained, with an appendix on the mathematical background on GAMs and LMEMs, and with an accompanying webpage including R code to replicate experiments presented in the book.