راهنمای ارزیابی خودکار مقاله ۲۰۱۳
Handbook of Automated Essay Evaluation 2013

این راهنمای جامع و بین‌رشته‌ای، به بررسی جدیدترین روش‌ها و فناوری‌های به‌کاررفته در ارزیابی خودکار مقالات (AEE) می‌پردازد. مهم‌ترین نکات برجسته شامل آخرین دستاوردها در ارزیابی سنجش‌های نگارشی مبتنی بر عملکرد و پیشرفت‌های اخیر در آموزش نگارش، سنجش زبان، روانشناسی شناختی و زبان‌شناسی محاسباتی است. این اثر که به‌طور چشمگیری گسترش‌یافته و دنباله‌ای بر کتاب *نمره‌دهی خودکار مقالات* است، منعکس‌کننده‌ی پیشرفت‌های متعدد در این زمینه از سال 2003، از جمله نمره‌دهی خودکار مقالات و بازخورد تشخیصی است. هر فصل دارای ساختاری مشترک شامل مقدمه و نتیجه‌گیری است. ایده‌هایی برای بازخورد تشخیصی و ارزیابی در سراسر کتاب پراکنده شده‌اند.

نکات برجسته‌ی پوشش مطالب کتاب عبارتند از:

* آخرین تحقیقات در مورد ارزیابی خودکار مقالات.

* توصیفات موتورهای اصلی نمره‌دهی، از جمله E-rater®، Intelligent Essay Assessor، IntellimetricTM Engine، c-raterTM و LightSIDE.

* کاربردهای استفاده از این فناوری، از جمله یک سیستم بزرگ مقیاس که در ویرجینیای غربی استفاده می‌شود.

* یک چارچوب سیستماتیک برای ارزیابی تحقیقات و نتایج فن‌آوری.

* توصیف روش‌های AEE که می‌توان برای زبان‌های غیر از انگلیسی تکرار کرد، همانطور که در نمونه‌ای از چین مشاهده می‌شود.

* فصل‌هایی از محققان برجسته در این زمینه.

کتاب با مقدمه‌ای بر AEEها و بررسی “بهترین روش‌ها” در آموزش نگارش به همراه نکاتی در مورد استفاده از تجزیه و تحلیل خودکار در کلاس درس آغاز می‌شود. در ادامه، کتاب قابلیت‌ها و کاربردهای چندین موتور نمره‌دهی از جمله E-rater®، Intelligent Essay Assessor، IntellimetricTM engine، c-raterTM و LightSIDE را برجسته می‌کند. در اینجا، خوانندگان یک کاربرد واقعی از استفاده از AEE در ویرجینیای غربی، مسائل روان‌سنجی مربوط به AEEها مانند اعتبار، پایایی و مقیاس‌بندی و استفاده از نمره‌دهی خودکار برای تشخیص رانش داور، خطاهای گرامری، کیفیت انسجام گفتمان و تأثیر رتبه‌بندی انسانی بر AEEها را خواهند یافت. مروری بر مبانی شناختی زیربنای روش‌های مورد استفاده در AEE نیز ارائه شده است. کتاب با مقایسه‌ی سیستم‌های مختلف AEE و گمانه‌زنی در مورد آینده‌ی این حوزه در پرتو سیاست‌های آموزشی کنونی به پایان می‌رسد.

این کتاب که برای مربیان، متخصصان، متخصصان برنامه درسی و مدیرانی که مسئول توسعه‌ی برنامه‌های نگارش یا برنامه‌های درسی آموزش از راه دور هستند، کسانی که با استفاده از فناوری‌های AEE تدریس می‌کنند، سیاست‌گذاران و محققان در زمینه‌های آموزش، نگارش، روان‌سنجی، روانشناسی شناختی و زبان‌شناسی محاسباتی ایده‌آل است، همچنین به عنوان مرجعی برای دوره‌های تحصیلات تکمیلی در مورد ارزیابی خودکار مقالات که در رشته‌های آموزش، علوم کامپیوتر، زبان، زبان‌شناسی و روانشناسی شناختی تدریس می‌شود، مورد استفاده قرار می‌گیرد.

This comprehensive, interdisciplinary handbook reviews the latest methods and technologies used in automated essay evaluation (AEE) methods and technologies. Highlights include the latest in the evaluation of performance-based writing assessments and recent advances in the teaching of writing, language testing, cognitive psychology, and computational linguistics. This greatly expanded follow-up to Automated Essay Scoring reflects the numerous advances that have taken place in the field since 2003 including automated essay scoring and diagnostic feedback. Each chapter features a common structure including an introduction and a conclusion. Ideas for diagnostic and evaluative feedback are sprinkled throughout the book.

Highlights of the book’s coverage include:

• The latest research on automated essay evaluation.
• Descriptions of the major scoring engines including the E-rater®, the Intelligent Essay Assessor, the IntellimetricTM Engine, c-raterTM, and LightSIDE.
• Applications of the uses of the technology including a large scale system used in West Virginia.
• A systematic framework for evaluating research and technological results.
• Descriptions of AEE methods that can be replicated for languages other than English as seen in the example from China.
• Chapters from key researchers in the field.

The book opens with an introduction to AEEs and a review of the “best practices” of teaching writing along with tips on the use of automated analysis in the classroom. Next the book highlights the capabilities and applications of several scoring engines including the E-rater®, the Intelligent Essay Assessor, the IntellimetricTM engine, c-raterTM, and LightSIDE. Here readers will find an actual application of the use of an AEE in West Virginia, psychometric issues related to AEEs such as validity, reliability, and scaling, and the use of automated scoring to detect reader drift, grammatical errors, discourse coherence quality, and the impact of human rating on AEEs. A review of the cognitive foundations underlying methods used in AEE is also provided. The book concludes with a comparison of the various AEE systems and speculation about the future of the field in light of current educational policy.

Ideal for educators, professionals, curriculum specialists, and administrators responsible for developing writing programs or distance learning curricula, those who teach using AEE technologies, policy makers, and researchers in education, writing, psychometrics, cognitive psychology, and computational linguistics, this book also serves as a reference for graduate courses on automated essay evaluation taught in education, computer science, language, linguistics, and cognitive psychology.