ניסויים ו־A/B Testing בגוגל אדס: מתכנון להחלטה

״נשנה את הטופס״ אינו ניסוי שלם. ניסוח שימושי הוא: ״הוספת שאלה על אזור השירות תקטין פניות מחוץ לאזור בלי לפגוע יותר מדי במספר הפניות הכשירות״. הגדירו מה משתנה, מה נשאר קבוע, איזה מדד מוביל את ההחלטה ומהו מחיר הטעות. בחרו כלי ניסוי שתומך בשינוי ובסוג הקמפיין.

1. מוודאים שמדידת ההמרות יציבה ושאותה הגדרה חלה על שתי הקבוצות.
2. שומרים את הגדרות הבסיס ומתחילים בניסוי נתמך בחשבון.
3. בודקים תקינות בתחילת הניסוי, בלי לבחור מנצח אחרי יום מוצלח.
4. מתעדים מבצעים, תקלות ושינויי מלאי או מענה שהתרחשו במקביל.
5. לאחר הסיום מאפשרים להמרות להבשיל ובודקים אי־ודאות לצד התוצאה.
6. מפרסמים מסקנה שמבדילה בין תצפית, השערה וממצא מבוסס.

דוגמה להמחשה: אם קבוצה אחת יצרה 12 המרות והשנייה 10, הפער יכול לנבוע משונות מקרית, חשיפה שונה או לקוחות שטרם סגרו. צריך להסתכל על מספר האינטראקציות, ההוצאה, שיעור ההמרה וטווחי אי־הוודאות. אין מספר המרות או משך קבוע שמבטיחים מסקנה תקפה לכל ניסוי.

בודקים שינוי אחד בעל משמעות עסקית, מצמצמים את מספר ההשוואות ומאריכים את האיסוף ככל שהנסיבות מאפשרות. השוואת לפני ואחרי יכולה לעזור לתפעול, אך מושפעת גם מעונתיות ותחרות. תעדו אותה כתצפית. אפשר להשתמש בספריית תוכניות הניסוי ובמדריך שיעור ההמרה להגדרת המדדים.