ارزیابی بازیابی اطلاعات ۲۰۲۲
Information Retrieval Evaluation 2022

ارزیابی همواره نقش مهمی در بازیابی اطلاعات ایفا کرده است، به‌طوری که پیشگامانی همچون سیریل کلوردون و جرارد سالتون، بنیان‌های اغلب روش‌های ارزیابی مورد استفاده امروزی را بنا نهاده‌اند. جامعه بازیابی اطلاعات بسیار خوش‌شانس بوده که در دوره‌ای که بیشتر فناوری‌های زبان انسانی در حال توسعه بودند، از یک الگوی ارزیابی مستحکم برخوردار بوده است. هدف از این درس‌گفتار، توضیح این است که این روش‌های ارزیابی از کجا آمده‌اند و چگونه به انطباق خود با محیط به‌شدت تغییریافته دنیای موتورهای جستجو در دنیای امروز ادامه داده‌اند.

این درس‌گفتار با بحث در مورد ارزیابی اولیه سیستم‌های بازیابی اطلاعات آغاز می‌شود، با آزمایش کرنفیلد در اوایل دهه 1960 شروع شده، با مطالعه “کاربر” لنکستر برای MEDLARS ادامه یافته و ارزیابی‌های مختلف مجموعه آزمایشی توسط پروژه SMART و گروه‌هایی در بریتانیا ارائه می‌شود. تاکید در این فصل بر چگونگی و چرایی روش‌های مختلف توسعه‌یافته است.

فصل دوم به ارزیابی‌های “دسته‌ای” جدیدتر می‌پردازد و روش‌های مورد استفاده در کمپین‌های مختلف ارزیابی باز مانند TREC، NTCIR (با تاکید بر زبان‌های آسیایی)، CLEF (با تاکید بر زبان‌های اروپایی)، INEX (با تاکید بر داده‌های نیمه‌ساخت‌یافته) و غیره را بررسی می‌کند. در اینجا نیز تمرکز بر چگونگی و چرایی است، و به‌ویژه بر تکامل روش‌های ارزیابی قدیمی‌تر برای رسیدگی به تکنیک‌های جدید دسترسی به اطلاعات. این شامل نحوه اصلاح تکنیک‌های مجموعه آزمایشی و نحوه تغییر معیارها برای انعکاس بهتر محیط‌های عملیاتی است.

فصل‌های پایانی به مسائل ارزیابی در مطالعات کاربری می‌پردازند — بخش تعاملی بازیابی اطلاعات، از جمله نگاهی به مطالعات گزارش جستجو که عمدتاً توسط موتورهای جستجوی تجاری انجام می‌شود. در اینجا هدف این است که از طریق مطالعات موردی، نشان داده شود که چگونه مسائل سطح بالای طراحی آزمایش بر ارزیابی‌های نهایی تأثیر می‌گذارند.

فهرست مطالب: مقدمه و تاریخچه اولیه / ارزیابی “دسته‌ای” از سال 1992 / ارزیابی تعاملی / نتیجه‌گیری

Evaluation has always played a major role in information retrieval, with the early pioneers such as Cyril Cleverdon and Gerard Salton laying the foundations for most of the evaluation methodologies in use today. The retrieval community has been extremely fortunate to have such a well-grounded evaluation paradigm during a period when most of the human language technologies were just developing. This lecture has the goal of explaining where these evaluation methodologies came from and how they have continued to adapt to the vastly changed environment in the search engine world today. The lecture starts with a discussion of the early evaluation of information retrieval systems, starting with the Cranfield testing in the early 1960s, continuing with the Lancaster “user” study for MEDLARS, and presenting the various test collection investigations by the SMART project and by groups in Britain. The emphasis in this chapter is on the how and the why of the various methodologies developed. Thesecond chapter covers the more recent “batch” evaluations, examining the methodologies used in the various open evaluation campaigns such as TREC, NTCIR (emphasis on Asian languages), CLEF (emphasis on European languages), INEX (emphasis on semi-structured data), etc. Here again the focus is on the how and why, and in particular on the evolving of the older evaluation methodologies to handle new information access techniques. This includes how the test collection techniques were modified and how the metrics were changed to better reflect operational environments. The final chapters look at evaluation issues in user studies — the interactive part of information retrieval, including a look at the search log studies mainly done by the commercial search engines. Here the goal is to show, via case studies, how the high-level issues of experimental design affect the final evaluations. Table of Contents: Introduction and Early History / “Batch” Evaluation Since 1992 / Interactive Evaluation/ Conclusion