آزمایشگری برای مهندسان ۲۰۲۳
Experimentation for Engineers 2023

در کتاب آزمایش برای مهندسان: از تست A/B تا بهینه‌سازی بیزی، خواهید آموخت که چگونه:

* یک تست A/B را طراحی، اجرا و تجزیه و تحلیل کنید.
* “حلقه‌های بازخورد” ناشی از بازآموزی دوره‌ای مدل‌های ML را بشکنید.
* نرخ آزمایش را با راهزنان چندبازویی افزایش دهید.
* پارامترهای متعدد را به صورت تجربی با بهینه‌سازی بیزی تنظیم کنید.
* معیارهای تجاری مورد استفاده برای تصمیم‌گیری را به وضوح تعریف کنید.
* اشتباهات رایج در آزمایش را شناسایی و از آنها اجتناب کنید.

آزمایش برای مهندسان: از تست A/B تا بهینه‌سازی بیزی مجموعه‌ای از تکنیک‌ها برای ارزیابی ویژگی‌های جدید و تنظیم دقیق پارامترها است. شما با یک غواصی عمیق در روش‌هایی مانند تست A/B شروع می‌کنید و سپس به تکنیک‌های پیشرفته مورد استفاده برای اندازه‌گیری عملکرد در صنایعی مانند امور مالی و رسانه‌های اجتماعی می‌رسید. بیاموزید که چگونه تغییراتی را که در سیستم خود ایجاد می‌کنید ارزیابی کنید و اطمینان حاصل کنید که آزمایش شما باعث تضعیف درآمد یا سایر معیارهای تجاری نمی‌شود. تا زمانی که کارتان تمام شود، می‌توانید آزمایش‌ها را به طور یکپارچه در تولید مستقر کنید و در عین حال از اشتباهات رایج اجتناب کنید.

درباره‌ی فناوری
آیا نرم‌افزار من واقعاً کار می‌کند؟ آیا تغییرات من اوضاع را بهتر یا بدتر کرده است؟ آیا باید ویژگی‌ها را با عملکرد معاوضه کنم؟ آزمایش تنها راه پاسخ دادن به سوالاتی از این قبیل است. این کتاب منحصربه‌فرد، شیوه‌های آزمایش پیچیده‌ای را آشکار می‌کند که در رقابتی‌ترین صنایع جهان توسعه یافته و اثبات شده‌اند و به شما کمک می‌کنند سیستم‌های یادگیری ماشین، برنامه‌های نرم‌افزاری و راهکارهای معاملاتی کمی خود را ارتقا دهید.

درباره‌ی کتاب
آزمایش برای مهندسان: از تست A/B تا بهینه‌سازی بیزی مجموعه‌ای از فرآیندها را برای بهینه‌سازی سیستم‌های نرم‌افزاری ارائه می‌دهد. شما با یادگیری محدودیت‌های تست A/B شروع می‌کنید و سپس به استراتژی‌های پیشرفته آزمایش که از یادگیری ماشین و روش‌های احتمالی استفاده می‌کنند، می‌رسید. مهارت‌هایی که در این راهنمای عملی به دست خواهید آورد به شما کمک می‌کند تا هزینه‌های آزمایش را به حداقل برسانید و به سرعت آشکار کنید که کدام رویکردها و ویژگی‌ها بهترین نتایج تجاری را ارائه می‌دهند.

آنچه در داخل خواهید یافت

* یک تست A/B را طراحی، اجرا و تجزیه و تحلیل کنید.
* “حلقه‌های بازخورد” ناشی از بازآموزی دوره‌ای مدل‌های ML را بشکنید.
* نرخ آزمایش را با راهزنان چندبازویی افزایش دهید.
* پارامترهای متعدد را به صورت تجربی با بهینه‌سازی بیزی تنظیم کنید.

درباره‌ی خواننده
برای مهندسان ML و نرم‌افزار که به دنبال استخراج بیشترین ارزش از سیستم‌های خود هستند. مثال‌ها در پایتون و NumPy.

درباره‌ی نویسنده
دیوید سوییت به عنوان معامله‌گر کمی در GETCO و مهندس یادگیری ماشین در اینستاگرام کار کرده است. او در برنامه‌های کارشناسی ارشد هوش مصنوعی و علم داده در دانشگاه یشیوا تدریس می‌کند.

فهرست مطالب
1 بهینه‌سازی سیستم‌ها از طریق آزمایش
2 تست A/B: ارزیابی یک تغییر در سیستم خود
3 راهزنان چندبازویی: به حداکثر رساندن معیارهای تجاری در حین آزمایش
4 روش‌شناسی سطح پاسخ: بهینه‌سازی پارامترهای پیوسته
5 راهزنان زمینه‌ای: تصمیم‌گیری هدفمند
6 بهینه‌سازی بیزی: خودکارسازی بهینه‌سازی تجربی
7 مدیریت معیارهای تجاری
8 ملاحظات عملی

In Experimentation for Engineers: From A/B testing to Bayesian optimization you will learn how to:

Design, run, and analyze an A/B test
Break the “feedback loops” caused by periodic retraining of ML models
Increase experimentation rate with multi-armed bandits
Tune multiple parameters experimentally with Bayesian optimization
Clearly define business metrics used for decision-making
Identify and avoid the common pitfalls of experimentation

Experimentation for Engineers: From A/B testing to Bayesian optimization is a toolbox of techniques for evaluating new features and fine-tuning parameters. You’ll start with a deep dive into methods like A/B testing, and then graduate to advanced techniques used to measure performance in industries such as finance and social media. Learn how to evaluate the changes you make to your system and ensure that your testing doesn’t undermine revenue or other business metrics. By the time you’re done, you’ll be able to seamlessly deploy experiments in production while avoiding common pitfalls.

About the technology
Does my software really work? Did my changes make things better or worse? Should I trade features for performance? Experimentation is the only way to answer questions like these. This unique book reveals sophisticated experimentation practices developed and proven in the world’s most competitive industries that will help you enhance machine learning systems, software applications, and quantitative trading solutions.

About the book
Experimentation for Engineers: From A/B testing to Bayesian optimization delivers a toolbox of processes for optimizing software systems. You’ll start by learning the limits of A/B testing, and then graduate to advanced experimentation strategies that take advantage of machine learning and probabilistic methods. The skills you’ll master in this practical guide will help you minimize the costs of experimentation and quickly reveal which approaches and features deliver the best business results.

What’s inside

Design, run, and analyze an A/B test
Break the “feedback loops” caused by periodic retraining of ML models
Increase experimentation rate with multi-armed bandits
Tune multiple parameters experimentally with Bayesian optimization

About the reader
For ML and software engineers looking to extract the most value from their systems. Examples in Python and NumPy.

About the author
David Sweet has worked as a quantitative trader at GETCO and a machine learning engineer at Instagram. He teaches in the AI and Data Science master’s programs at Yeshiva University.

Table of Contents
1 Optimizing systems by experiment
2 A/B testing: Evaluating a modification to your system
3 Multi-armed bandits: Maximizing business metrics while experimenting
4 Response surface methodology: Optimizing continuous parameters
5 Contextual bandits: Making targeted decisions
6 Bayesian optimization: Automating experimental optimization
7 Managing business metrics
8 Practical considerations