اعتبار کمپین را از اثر اضافی جدا کنید
مشتری کمپین را می‌بیند و بعد خرید می‌کند. انتساب طبق قاعدهٔ گزارش، مثل پنجرهٔ کلیک، اعتبار تخصیص می‌دهد. سنجش اثر افزایشی پرسش دیگری دارد: بدون کمپین، نتیجه چه تفاوتی می‌کرد؟ ممکن است اعتبار خرید به کمپین برسد، درحالی‌که مشتری بدون آن هم خرید می‌کرد.
مستند Conversion Lift گوگل این تفاوت را صریح بیان می‌کند. اجرای آن محصول، شرایط و روش‌شناسی خودش را دارد؛ نکتهٔ عمومی برای تیم CRM این است که پیش از انتخاب گزارش، پرسشِ وضعیت بدون مداخله را روشن کند. گروه کنترل تصادفیِ درست‌تعریف‌شده می‌تواند مقایسه‌ای عملی فراهم کند.
ابتدا قرارداد آزمایش را بنویسید
جامعهٔ واجد شرایط، واحد تخصیص تصادفی، مداخلهٔ پیشنهادی و تجربهٔ کنترل را مشخص کنید. یک نتیجهٔ اصلی، پنجرهٔ مشاهده، معیارهای هزینه و شاخص‌های کنترلی مثل شکایت و مرجوعی تعریف کنید. حداقل اثری را که تصمیم کسب‌وکار را تغییر می‌دهد بنویسید و نمونه و مدت را با آن هماهنگ کنید.
برای آزمون خرید دوم، واحد می‌تواند مشتری با هویت تطبیق‌یافته و نتیجهٔ اصلی، سفارش دوم معتبر در سی روز پس از تخصیص باشد. هر دو گروه باید پیام‌های خدماتی ضروری را دریافت کنند. چیزی که نگه داشته می‌شود کمپین مورد آزمون است، نه خبر ضروری تحویل یا پشتیبانی.
پیش از فعال‌سازی تصادفی تخصیص دهید و آن را حفظ کنید
واحدهای واجد شرایط را تصادفی تخصیص دهید و تخصیص را پایدار نگه دارید. واحد باید با تصمیم هماهنگ باشد؛ حساب مشترک، خانوار یا سازمان ممکن است طراحی‌ای بخواهد که اثر یک واحد به دیگری سرایت نکند. توضیح NIST دربارهٔ طرح‌های تصادفی، اصل تخصیص تصادفی سطح مداخله به واحد آزمایش را بیان می‌کند.
زمان تخصیص، تعریف صلاحیت، نسخهٔ آزمایش و اقدام مورد نظر را نگه دارید. اندازهٔ گروه‌ها و ویژگی‌های پیش از مداخله را برای خطاهای آشکار اجرا بررسی کنید. افراد را به دلیل تعامل یا خرید، بین گروه‌ها جابه‌جا نکنید. رفتار بعدی بخشی از نتیجه است.
نرخ‌های قابل‌مقایسه و مخرج پایدار داشته باشید
عددهای زیر فرضی‌اند. فرض کنید ده هزار مشتری به کمپین و ده هزار نفر به کنترل تخصیص می‌یابند. در پنجرهٔ یکسان، هزار و دویست نفر در گروه کمپین و هزار نفر در کنترل خرید واجد شرایط دارند. نرخ‌ها دوازده و ده درصد است. اختلاف مطلق مشاهده‌شده دو واحد درصد و رشد نسبی بیست درصد است.
با اعمال اختلاف نرخ به ده هزار مشتری گروه کمپین، برآورد خریدکنندگان اضافی دویست نفر است. این به معنای ناشی‌بودن همهٔ هزار و دویست خرید از کمپین نیست و مشخص نمی‌کند کدام خرید فردی افزایشی بوده است. برای گروه‌های نابرابر، نرخ‌ها را مقایسه و انتظار کنترل را متناسب با جمعیت مداخله مقیاس کنید.
| گروه یا معیار | مشتریان تخصیص‌یافته | خریدکنندگان | نرخ خرید |
|---|---|---|---|
| کمپین | ۱۰٬۰۰۰ | ۱٬۲۰۰ | ۱۲٪ |
| کنترل | ۱۰٬۰۰۰ | ۱٬۰۰۰ | ۱۰٪ |
| اختلاف مشاهده‌شده | — | برآورد ۲۰۰ خریدکنندهٔ اضافی | ۲ واحد درصد |
عدم‌قطعیت را کنار برآورد گزارش کنید
با تقریب نرمال سادهٔ دو نسبت مستقل، فاصلهٔ اطمینان نودوپنج‌درصدیِ اختلاف نرخ در مثال فرضی حدود یک‌ممیزسیزده تا دو‌ممیزهشتادوهفت واحد درصد است. این محاسبه به استقلال واحدها و کافی‌بودن نمونه وابسته است. تخصیص خوشه‌ای یا طراحی پیچیده‌تر به تحلیل متناسب با همان ساختار نیاز دارد.
فاصلهٔ اطمینان، عدم‌قطعیت روش برآورد را توصیف می‌کند و تضمین تکرار نتیجه در کمپین بعدی نیست. وقتی فاصله صفر را در بر می‌گیرد، داده ممکن است با زیان و سود هر دو سازگار باشد. نتیجهٔ نامطمئن با اثبات بی‌اثر بودن کمپین فرق دارد.
روش تحلیل و قاعدهٔ توقف را پیش از شروع انتخاب کنید. نگاه مکرر و توقف در اولین عدد جذاب، ویژگی خطای آزمون معمول با پایان ثابت را تغییر می‌دهد. از پایان ازپیش‌تعیین‌شده یا روش ترتیبیِ درست‌طراحی‌شده استفاده کنید و در صورت لزوم تعدد مقایسه‌ها را لحاظ کنید.
هنگام اجرا از اعتبار مقایسه محافظت کنید
اگر مشتری کنترل همان پیشنهاد را از سفری دیگر بگیرد، تفاوت دو گروه تضعیف می‌شود. مواجهه در کانال‌ها را ثبت کنید، ادامهٔ کمپین‌های دیگر را تعریف کنید و آلودگی گروه‌ها را زیر نظر بگیرید. تغییر هویت و تخصیص تکراری هم مقایسه را خراب می‌کند. تا حد امکان هویت پایدار آزمایش داشته باشید.
در مقایسهٔ اصلی بر مبنای تخصیص اولیه، همه را در گروه اولشان نگه دارید؛ حتی تحویل ناموفق و پیام بازنشده را. مقایسهٔ فقط بازکنندگان، پرسشی دیگر دربارهٔ جمعیتی انتخاب‌شده است. کیفیت تحویل را جدا گزارش کنید تا تیم خطای اجرا را از ضعف سیاست تشخیص دهد.
اثر را به تصمیم تبدیل کنید
خرید اضافی بخشی از ارزش است. حاشیهٔ خالص به ازای مشتری تخصیص‌یافته را پس از هزینهٔ کالا، مرجوعی، مشوق و هزینهٔ متغیر مرتبط ارسال مقایسه کنید. سودآورترین سیاست لزوماً بیشترین رشد نرخ خرید را ندارد. تعریف حسابداری دو گروه را یکسان بگیرید و در صورت نیاز، شاخص‌های بلندمدت را هم نگه دارید.
در بین‌وبان، تعریف مشتری، مخاطب، رویداد و تحلیل بخش‌هایی از زمینهٔ اجرا را فراهم می‌کنند. پیش از اجرای طراحی، قابلیت تخصیص، اعمال کنترل و گزارش موجود در استقرار را تأیید کنید. محاسبات این مقاله مثال توضیحی‌اند، نه تصویر یا ادعای وجود گزارش خودکار بومیِ اثر افزایشی.
نتیجهٔ قابل‌بازبینی شامل جامعهٔ واجد شرایط، قاعدهٔ تخصیص، تعریف نتیجه، پنجرهٔ مشاهده، تعداد گروه‌ها، نرخ‌ها، اختلاف برآوردشده، عدم‌قطعیت و تفسیر هزینه است. این مجموعه به کسب‌وکار اجازه می‌دهد با درک روشن از شواهد، سیاست را گسترش دهد، اصلاح کند یا متوقف سازد.
مطالعهٔ بیشتر
گام بعدی