مدیریت و تحلیل داده‌های متنی ۲۰۱۶
Text Data Management and Analysis 2016

در سال‌های اخیر، شاهد رشد چشمگیری در داده‌های متنیِ زبان طبیعی بوده‌ایم؛ از جمله صفحات وب، مقالات خبری، متون علمی، ایمیل‌ها، اسناد سازمانی و رسانه‌های اجتماعی مانند مقالات وبلاگ‌ها، پست‌های انجمن‌ها، نظرات کاربران درباره محصولات و توییت‌ها. این امر منجر به افزایش تقاضا برای ابزارهای نرم‌افزاری قدرتمند شده است تا به افراد در تحلیل و مدیریت مؤثر و کارآمد حجم وسیعی از داده‌های متنی کمک کند. برخلاف داده‌هایی که توسط یک سیستم کامپیوتری یا حسگرها تولید می‌شوند، داده‌های متنی معمولاً مستقیماً توسط انسان‌ها تولید می‌شوند و محتوای غنیِ معنایی را به همراه دارند. به این ترتیب، داده‌های متنی به‌ویژه برای کشف دانش در مورد نظرات و ترجیحات انسانی، علاوه بر بسیاری از انواع دیگر دانشی که ما در متن رمزگذاری می‌کنیم، ارزشمند هستند. برخلاف داده‌های ساخت‌یافته، که از طرح‌واره‌های خوش‌تعریف پیروی می‌کنند (و از این رو نسبتاً برای رایانه‌ها آسان است)، متن ساختار صریح کمتری دارد و برای درک محتوای رمزگذاری‌شده در متن، نیاز به پردازش کامپیوتری دارد. فناوری فعلی پردازش زبان طبیعی هنوز به نقطه‌ای نرسیده است که رایانه بتواند متن زبان طبیعی را به طور دقیق درک کند، اما طی چند دهه گذشته، طیف گسترده‌ای از رویکردهای آماری و ابتکاری برای تجزیه و تحلیل و مدیریت داده‌های متنی توسعه یافته است. این رویکردها معمولاً بسیار قوی هستند و می‌توان از آنها برای تجزیه و تحلیل و مدیریت داده‌های متنی به هر زبان طبیعی و در مورد هر موضوعی استفاده کرد.

این کتاب یک معرفی سیستماتیک برای همه این رویکردها ارائه می‌دهد، با تأکید بر پوشش مفیدترین دانش و مهارت‌های مورد نیاز برای ساخت انواع سیستم‌های اطلاعات متنیِ کاربردی. تمرکز بر برنامه‌های کاربردی داده‌کاوی متن است که می‌توانند به کاربران در تجزیه و تحلیل الگوها در داده‌های متنی کمک کنند تا دانش مفیدی را استخراج و آشکار کنند. سیستم‌های بازیابی اطلاعات، از جمله موتورهای جستجو و سیستم‌های پیشنهادگر، نیز به عنوان فناوری پشتیبانی برای برنامه‌های کاربردی داده‌کاوی متن پوشش داده می‌شوند. این کتاب مفاهیم، ​​تکنیک‌ها و ایده‌های اصلی در داده‌کاوی متن و بازیابی اطلاعات را از دیدگاه عملی پوشش می‌دهد و شامل بسیاری از تمرین‌های عملی است که با یک جعبه ابزار نرم‌افزاری همراه (یعنی MeTA) طراحی شده‌اند تا به خوانندگان کمک کند تا یاد بگیرند چگونه از تکنیک‌های داده‌کاوی متن و بازیابی اطلاعات در داده‌های متنیِ دنیای واقعی استفاده کنند و چگونه برخی از الگوریتم‌ها را برای کارهای جالب برنامه کاربردی آزمایش و بهبود بخشند. این کتاب می‌تواند به عنوان کتاب درسی برای یک دوره کارشناسی علوم کامپیوتر یا یک کتاب مرجع برای متخصصانی که روی مسائل مربوط به تجزیه و تحلیل و مدیریت داده‌های متنی کار می‌کنند، استفاده شود.

Recent years have seen a dramatic growth of natural language text data, including web pages, news articles, scientific literature, emails, enterprise documents, and social media such as blog articles, forum posts, product reviews, and tweets. This has led to an increasing demand for powerful software tools to help people analyze and manage vast amounts of text data effectively and efficiently. Unlike data generated by a computer system or sensors, text data are usually generated directly by humans, and are accompanied by semantically rich content. As such, text data are especially valuable for discovering knowledge about human opinions and preferences, in addition to many other kinds of knowledge that we encode in text. In contrast to structured data, which conform to well-defined schemas (thus are relatively easy for computers to handle), text has less explicit structure, requiring computer processing toward understanding of the content encoded in text. The current technology of natural language processing has not yet reached a point to enable a computer to precisely understand natural language text, but a wide range of statistical and heuristic approaches to analysis and management of text data have been developed over the past few decades. They are usually very robust and can be applied to analyze and manage text data in any natural language, and about any topic.

This book provides a systematic introduction to all these approaches, with an emphasis on covering the most useful knowledge and skills required to build a variety of practically useful text information systems. The focus is on text mining applications that can help users analyze patterns in text data to extract and reveal useful knowledge. Information retrieval systems, including search engines and recommender systems, are also covered as supporting technology for text mining applications. The book covers the major concepts, techniques, and ideas in text data mining and information retrieval from a practical viewpoint, and includes many hands-on exercises designed with a companion software toolkit (i.e., MeTA) to help readers learn how to apply techniques of text mining and information retrieval to real-world text data and how to experiment with and improve some of the algorithms for interesting application tasks. The book can be used as a textbook for a computer science undergraduate course or a reference book for practitioners working on relevant problems in analyzing and managing text data.