בשנה האחרונה יצא לי להכיר המון יזמי איקומרס. רובם אנשים מאוד אנליטיים וכחלק מזה ישנה תופעה שאני קוראת לה בשם הזמני והעוד לא קליט: AB Testing על כל אפצ'י.

בעקבות סיטואציה שהייתה לי ביומיים האחרונים עם לקוחות שלי, שהרבה ממנה סבב סביב AB Testing שבוצע בצורה לא נכונה, החלטתי לכתוב על זה בלוג.

אז קבלו אותו: למה יזמי איקומרס צריכים להפסיק לעשות AB Testing?

הכותרת היא כמובן מכלילה וקצת מוגזמת, אבל אציג במאמר הזה למה רוב יזמי האיקומרס עושים AB Testing לא נכון, מתי כן כדאי לעשות AB Testing וכמובן איך עושים את זה נכון.

רגע אחד של רקע. במונחי איקומרס, AB Testing היא בדיקה שבה שולחים חצי מהלקוחות לעמוד אחד, חצי מהלקוחות לעמוד אחר, כאשר העמודים זהים לרוב מלבד אלמנט אחד בהם. השיטה היא לבדוק למי מהעמודים יש אחוזי המרה יותר גבוהים, ואז לשלוח את כל הקהל אל ה"עמוד המנצח".

על פניו, אושר גדול. "הקהל ידבר ברגליים", מה שנקרא. אבל הנה הסיבות לכך שרוב היזמים לא רואים שה-AB Testing דווקא פוגע במותג שלהם ובמטרות שלו:

1. מובהקות סטטיסטית - חברות כמו Meta יכולות להרשות לעצמן לעשות AB Testing על בסיס שבועי, פשוט בגלל שיש להם מיליארדי משתמשים. בואו נודה באמת, לרוב יזמי האיקומרס אין אפילו אחוז אחד מהמספרים האלה. לכן, כשעושים בדיקות סטטיסטיות, לרוב המותגים כמות האנשים שנבדקים היא קטנה מדי בכדי להניח ממנה מסקנות סטטיסטיות.

והנה דוגמא מספרית. שלחתי חצי מהאנשים ביום אחד לדף מוצר X וחצי מהאנשים לדף מוצר Y. הבדיקה הראתה לי שדף המוצר X הביא ל-2.1% המרה, בעוד שדף Y הביא ל-2% המרה. כביכול, מדהים, בכמה כפתורים קטנים הגדלתי לעצמי את ההמרות באתר ב-105%. אבל אם נצלול לרגע למספרים, נגלה ששלחתי סך הכל 10 אנשים לכל דף. הכמות הזו כמובן לא מספיקה בכדי לקבל החלטות כי הבדיקה לא עונה על מובהקות סטטיסטית.

2. המטרות שלנו – AB Testing נותן לנו תמונת מצב רק על נתון אחד: אחוזי המרה. עכשיו תראו, אני האחרונה שאזלזל באחוזי המרה, אבל הניסיון שלי והעבודה שלי עם מותגי איקומרס וותיקים וגם מותגים מצליחים מאוד מראים שאחוז המרה הוא נתון אחד, מתוך שלל נתונים שחשובים לא פחות. לדוגמא, כל התחום של ה-Dark UX הוא תחום שידוע שמגדיל משמעותית את אחוזי ההמרה, אבל בו זמנית, הוא פוגע משמעותית באחוז הלקוחות החוזרים ועוד יותר פחות בכמות הלקוחות שממליצים על המותג.

דוגמא לכך היא מותג שיש לו מדיניות החזרות קצרה וברורה, אבל שהוא בחר "להחביא" את הפרט שאומר שניתן להחזיר רק מוצרים באריזה שלא נפתחה. בטווח הקצר אחוזי ההמרה יהיו גבוהים יותר. בטווח הארוך יהיו יותר לקוחות מופתעים ומאוכזבים כשירצו להחזיר פריט ויגלו שהם לא יכולים. לקוחות מאוכזבים הם לקוחות שלא חוזרים, שנותנים ביקורת שלילית, ושלא ממליצים לחברים שלהם. ושלושת הדברים האלה הם דברים חשובים לא פחות מאחוזי המרה.

3. הקהל הופך למקבל ההחלטות - לעשות על כל דבר AB Testing זה נותן לקהל שלנו לקבל החלטות, לפעמים מהותיות מאוד, על המותג שלנו. כלומר, במקום שאנחנו נקבל החלטות אסטרטגיות לגבי המותג (כמו לדוגמא, תיאור של מוצר בעמוד מוצר), ב- AB Testing אנחנו נותנים לקהל שלנו להחליט. האם הקהל שלנו מודע לכל סט השיקולים הרחב שלנו? האם אנחנו רוצים להעניק לקהל שלנו, שלא מכיר את המותג כמונו, לקבל כאלה החלטות גורליות?

לדוגמא, אם אתם מותג שכחלק מהעקרונות שלו, אתם מוכרים מוצרים שלא נוסו על בעלי חיים. עשיתם דף מוצר שבאחד ציינתם שאתם לא עושים ניסויים על בעלי חיים, ודף מוצר שני שבו כתבתם שאתם כן עושים ניסויים, אבל את המינימום ההכרחי כדי להבטיח את טיב המוצר. ב- AB Testing שעשיתם גיליתם שלדף השני יש אחוזי המרה יותר גבוהים. במקרה הזה, להחליף לדף המוצר הזה זאת תהיה טעות אסטרטגית חמורה, גם אם "הקהל הצביע ברגליים".

4. הקהל שלנו – מותגי איקומרס עובדים כל הזמן על דיוק הקהל שלהם. יש נושא שהוא די רגיש אז נמנעתי מלדבר עליו במאמרים שלי עד כה, אבל הגיע הזמן להציף אותו. יש קשר סטטיסטי חזק בין מנת משכל נמוכה מהממוצע, כישורים אורייניים נמוכים (קריאה וכתיבה) ובין מצב סוציו אקונומי נמוך. כשאנחנו עושים AB Testing, ובודקים דף אחד שיש בו אלמנט עם יותר טקסט לעומת דף שני שיש בו אלמנט עם פחות טקסט, יש סיכוי גבוה שהבדיקה תראה אחוזי המרה גבוהים יותר לדף עם הפחות טקסט.

ואם אכן נבחר ללכת לפי הקו הזה באתר, של פחות טקסט, של טקסט פחות מתוחכם, ושל מסרים פשוטים יותר, אנחנו נמשוך אלינו לאתר קהל ממצב סוציו אקונומי נמוך. עכשיו יש כאלה שיגידו – "מה אכפת לי מה המצב הסוציו אקונומי של הקהל שלי? העיקר שהם קונים ובכמויות". אז אני אגיד לכם ככה, אכפת לכם מאוד מה המצב הסוציו אקונומי של הקהל שלכם, ולא סתם לפרסם בפייסבוק לקהלים ממצב סוציו אקונומי גבוה עולה יותר, הרבה יותר. כשיש לכם קהל ממצב סוציו אקונומי נמוך הוא גם לא קונה הרבה (כלומר סל קניות נמוך יותר), הוא גם קהל שחוזר הרבה פחות לקניות חוזרות (כי אין לו כסף), והוא גם קהל שברגע שתרצו להעלות מחירים (וזה שלב טבעי בבניית מותג), הוא ינטוש אתכם.

כלומר, אחוזי ההמרה אכן עולים בפנייה למכנה המשותף הנמוך ביותר, אבל המכנה הזה יביא לכם הרבה קהל ממצב סוציו אקונומי נמוך.

5. מהלך מיתוגי – כשעושים שינוי גדול במותג, צריך להחיל את כל שינוי המיתוג בבת אחת, ואי אפשר לפרק אותו למיקרו צעדים ולעשות AB Testing. סיפור מותג, קופירייטינג, תמונות ועיצוב – הכל הולך ביחד ונועד לתמוך אחד בשני. כמו כן, גם לקהל שלכם לוקח זמן לעכל את השינוי המיתוגי ולהעלות בעיניו את ערך המותג, וגם לוקח זמן לקהל החדש (והטוב יותר) להגיע. מיתוג מחדש אי אפשר למדוד ב- AB Testing, פשוט אי אפשר.

תארו לעצמכם שאתם משאירים את כל האתר כמו שהוא, אבל פתאום מכניסים משפטים מהקופירייטינג, שבנוי על מסרים אחרים לגמרי. ברור שה- AB Testing יראה עדיפות לקופי הקודם, פשוט כי מסרים צריכים לבוא בהלימה. אבל זה לא אומר שהמסרים החדשים הם פחות מוצלחים, זה פשוט אומר שהקהל מבולבל שהוא פגש קו מסרים אחד במהלך הרכישה, ופתאום מקבל מסר אחר לגמרי. וכשמדברים על שינוי של עיצובים זה בכלל בלתי אפשרי למדידה, כי אם הקהל שלכם פתאום בהפתעה יגיע לעמוד עם עיצוב אחר, הוא פשוט יחשוב ששלחתם אותו לאתר חדש או לאתר פישינג, וינטוש.

ועכשיו בואו נדבר על איך כן. מתי נכון לעשות AB Testing ואיך עושים אותו נכון?

1. שתי האפשרויות שאתם מציעים ב- AB Testing צריכות להתכתב עם ערכי המותג, המסרים שלו והסיפור שלו. המסרים שאתם מנסים להעביר תמיד יהיו במקום הראשון וההתלבטות תהיה בין שני ניואנסים שלהם. כלומר, ההבדל יכול להיות לכתוב בעמוד מוצר שאתם לא עושים ניסויים בבעלי חיים, לעומת לשים את האייקון שמייצג את זה, בלי טקסט.

מסרים שיווקיים בונים ומתכננים כחלק מתוכנית אסטרטגית, שמבוססת על ניתוח קהל יעד, ניתוח נישה וניתוח התחרות. מסרים שיווקיים לא בודקים ב- AB Testing.

2. מובהקות סטטיסטית - אז נחזור לרגע לשיעור מבוא לשיטות מחקר כמותניות. כדי שמסקנות של AB Testing יהיו נכונות, צריך להביא מספיק קהל, להביא קהל כמה שיותר הטרוגני אבל שהוא עדיין קהל היעד שלכם, והכי חשוב, להציב את כל הנתונים בנוסחא פשוטה כדי לבדוק אם ההבדל הוא משמעותי, קרי, מובהקות סטטיסטית. שזה אומר במילים אחרות שההבדל שיצא בין כל דף ב- AB Testing הוא הבדל משמעותי שאפשר להסתמך עליו מבחינה סטטיסטית.

3. להשוות תפוחים לתפוחים - AB Testing נכון עושים על הבדלים מינוריים בין דפים. הבדלים מינוריים יכולים להיות מיקרו קופי על כפתורים, תמונה אחרת או במקרים קיצוניים גם ניסוח של פסקה. אבל פה זה המקסימום. אי אפשר לבנות דפים אחרים בתכלית, לעשות AB Testing ולהסתמך על זה. הסיבה היא שב- AB Testing אנחנו לא רק רוצים להבין בצורה שטחית שדף אחד עובד יותר, אלא רוצים ליישם את זה בצורה חכמה על כל האתר. לדוגמא, אם אני אבדוק שני דפים זהים שההבדל היחידי ביניהם זה שהניסוח על הכפתור הוא "הוסיפו לסל" לעומת "הוספה לסל", בעקבות התוצאות אני אוכל לדעת באיזה גוף לנסח את כל הכפתורים באתר. לעומת זאת, אם אבדוק שני דפים שונים בתכלית, לא אוכל להסיק מה- AB Testing מסקנות כלליות, וזה ישמור אותי לנצח במעגל של AB Testing כי אצטרך למדוד הכל כל הזמן.

4. החלטה על מדדים – מחליטים מראש מה המדדים החשובים לנו. יכול להיות שאם אנחנו מותג חדש שהוקם לפני חודש, כן נחליט שהמדד החשוב ביותר עבורנו לרבעון הקרוב הוא אחוזי ההמרה. אבל כל החלטה כזו צריכה להיות מודעת ויותר חשוב מכך, היא צריכה להיות מושכלת. כל מותג צריך לדעת בדיוק מה המטרות שלו לרבעון הקרוב ולשנה הקרובה, ולפי זה לגזור את הKPIים שלו. וכן, יכול להיות שהמדד החשוב יותר יהיה הגדלה של הקהילה, הגדלה של לקוחות חוזרים, הפחתה בעלויות הפרסום, ואפילו יכול להיות שה-KPIים שלנו יהיו הגדלה של אחוז הפתיחה של המיילים.

5. שלוות נפש וביטחון – וואלה, אני לא כותבת הרבה על מיינדסט כי זה לא תחום העיסוק שלי, אבל זה מתבקש. יזמי איקומרס הם לרוב לא חברות גדולות. יזמי איקומרס הם אנשים שמסכנים את הכסף האישי שלהם, וגם אם מדובר בחברות קטנות, הן לרוב לא חברות שיכולה להרשות לעצמן להפסיד המון כסף. כל תהליך של שינוי במותג הוא תהליך מפחיד, ויש לנו נטייה לרצות למדוד הכל בכאן ובעכשיו.

אז אני לא אומרת שלא לשאול שאלות, והדבר שאני הכי שונאת בעולם העסקי זה לשמוע על יזמים וחברות ששמו את מיטב כספם על אנשי שיווק שאמרו להם את המשפט שמחריד אותי "שיווק לוקח זמן", וכך איבדו גם חודשים רבים וגם כסף רב. לשאול שאלות זה חשוב, להסתכל בביקורתיות זה חשוב, אבל גם צריך אמונה והתמדה בצעדים שאתם יודעים שנכונים עבור המותג שלכם.

------------
דורית סינגר היא הבעלים של ״דורית סינגר״, חברה שבונה אסטרטגיות שיווקיות למותגי איקומרס ועושה אפיון וקופירייטינג לאתרי איקומרס.