בקצרה: 5 עקרונות לשיפר את ה-A\B Testing שלכם

Product TV, פודקאסט המוצר של סטארט-אפ פור סטארט-אפ. שלום לכולם, אני רן ארז, ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן, ומה השיעורים שהם למדו בדרך. והיום, פרק בקצרה. בתם את הפורמט, ואנחנו חוזרים אליכם עם עוד דוגמה. איך להפוך את ה-AB-TEST הבא שלכם לממש מוצלח. אז נתחיל רגע מהקדמה. כולנו אוהבים לעשות AB-TESTים, כולנו מבינים כמה זה חשוב למדוד ולהראות את האימפקט שלנו גם בדאטה ולא רק בשיחות עם משתמשים, אבל מהרגע שבו אנחנו מחליטים לעשות AB-TEST ועד שב ת עשינו את זה וראינו את האימפקט, אנחנו עושים המון המון המון טעויות. והפרק של היום יעזור לכם לוודא שאת ה-AB-TEST הבא שלכם תצליחו לעשות בצורה הכי טובה שאפשר. אז בואו נדבר רגע על העיקרון הראשון. העיקרון הראשון שאני ממש ממליץ לכם לעשות זה להכין את הדשבורד של ה-AB-TEST לפני שבכלל בניתם את הפיצ'ר. הרבה פעמים אני לוקח פאורפוינט הכי פשוט, הכי בסיסי, ומייצר ביחד עם האנליסט שלי את הגרפים שהיינו רוצים למדוד ולראות עוד לפני שבכלל פיתחנו את הפיצ'ר. הדבר הזה מבטיח שיהיה לנו את המדידה של האיוונטים הנכונים ולא כמו שהרבה פעמים קורה, אנחנו מוסיפים את האיוונטים רק בסוף ואז זה כבר כמעט בלתי אפשרי למדוד וזה הבסיס לבסיס. לפני שאנחנו עושים את זה יהיה לנו מאוד קשה בכלל למדוד את ההצלחה של הפיצ'ר הבא שלנו. אז אחרי שעשינו את זה, העיקרון הבא הוא כשאנחנו כבר באים לתכנן את ה-ABT. אנחנו עובדים היום עם בעצם עץ מצבים. מה זה עץ מצבים? אנחנו מנתחים מראש מה יקרה אם הטסט ייקשל ומה יקרה אם הטסט יצליח. איך עושים את זה? תדמיינו ממש בצורה מאוד מאוד פשוטה מטריצה שבה אתם כותבים מה המטריקה המרכזית שאתם מנסים להזיז בטסט ומה המטריקות המשניות שאתם מנסים להזיז או רוצים לוודא שלא ייפגעו. ואני רוצה שבכל קוביה כזאתי, אם המטריקה הראשית עולה אבל המטריקה המשנית יורדת, אם המטריקה הראשית עולה וגם המטריקה המשנית עולה, מה אתם עושים? אז בכל קוביה כזאתי זה מצב בעולם. בואו נגיד ניקח לדוגמה, נגיד שאנחנו רוצים להגדיל את האקטיביישן של פיצ'ר מסוים ב-10 אחוזים, אבל אנחנו רוצים לוודא שהרטנצ'ן שלנו לא נפגע. אז המטריקה הראשית שלנו היא אקטיביישן והמטריקה המשנית היא רטנצ'ן. במקרה שבו עשינו כבר את הטסט והאקטיביישן עלה ב ת ב-10 אחוזים כמו שרצינו, אבל הרטנצ'ן נפגע, מה אנחנו עושים? אז את המצבים האלה אנחנו יכולים לסתמלץ כבר מראש ולחשוב מה אנחנו נעשה במצב כזה. דוגמה לפתרון אפשרי, נעשה טסט חדש עם פיצ'ר אחר. דוגמה לפתרון אחר, נעשה רולבק. אבל היכולת שלנו לבוא ולהגדיר את המצבים האלה עוד לפני שיצאנו לטסט, מבטיחה שלא יקרה לנו מה שקורה הרבה פעמים ב-A-B טסטים, שהתוצאות יוצאות קצת אפורות, חלק טוב, חלק לא טוב, ואנחנו עכשיו מתחילים את מלאכת הפרשנות ולנסות להסביר לעצמנו למה בעצם זה היה תוצ טובה. וזו טעות מאוד מאוד מאוד גדולה שאנחנו רואים חוזרת פעם אחרי פעם. אז איך נמנעים מזה? ממש עושים את מטריצת המצבים הזאת עוד מראש, ומבדים שאנחנו קיבלנו החלטה עוד לפני שהפיצ'ר הזה יצא לעולם. הדבר השלישי, שאחרי שעשינו את הדבר הזה לפעמים אנחנו טועים, ואנחנו בכלל לא בודקים האם אפשר למדוד את האפקט. לפעמים אנחנו רוצים לצאת עם איזשהו פיצ'ר ואיזשהו שיפור משמעותי, אבל כמות המשתמשים שלנו פשוט לא מספיקה כדי לראות שב ת יש פה משמעות סטטיסטית יתית לשינוי. יכול להיות שמה שאנחנו רואים, השיפור הזה או הירידה, זה סתם טעות וזה לא ב ת אומר משהו על העולם ה יתי. אז עוד לפני שבכלל התחלנו את ההרצ של הטסט, אנחנו נרצה לעשות סימולציה ביחד עם האנליסט שלנו, כדי לוודא שב ת יש לנו מספיק טראפיק כדי למדוד את זה. אתם יכולים להשתמש במחשבונים מהאינטרנט כמו המחשבון הנהדר של אבן מילר, נשים לינק בתגובות, שמאפשר לכם לוודא כמה סמפל סייז אתם צריכים כדי לראות את האפקט. אז אם אנחנו רוצים לעשות עכשיו שיפור של 10 אחוזים ולראות את השיפור הזה תוך שלושה שבועות, יש מספר שאנחנו נצטרך לדעת, מספר יוזרים שהצטרכו להיחשף לפיצ'ר. אפשר לעשות את זה מראש ולא לצאת לטסט ולגלות, בעצם אין לנו מספיק אנשים לחשוף אליהם את הפיצ'ר, הטסט לא התכנס וחבל על כל הזמן שבזבזנו. אז העיקרון השלישי זה לראות שאפשר ב ת למדוד את האפקט שרצינו לפני שיצאנו לדרך. הדבר הבא, וזו טעות שאני רו הרבה, זה שאנחנו עושים את הפיצ'ר אבל אנחנו יוצאים ל-A-B טסט אבל אי אפשר לחזור לאחור. מה זה אומר? אנחנו חייבים לוודא שכשאנחנו יוצאים ל-A-B טסט, אם הטסט נכשל, אם הפיצ'ר לא יצא טוב, אנחנו יכולים לחזור אחורה למצב הקודם. מתי זה לא קורה? כשנגיד פיתחנו תשתית טכנית חדשה, איזושהי ארכיטקטורה חדשה וגם שינינו את ה-UI. אז אם הטסט של ה-UI נכשל, יכול להיות שאנחנו בבעיה כי כבר בעצם שינינו את הארכיטקטורה. אז חשוב מאוד מאוד מאוד לעשות הפרדה. אם יש לכם שינוי טכני שאתם רוצים לעשות, לדוגמה לשדרג את התשתית, תעשו אותה לפני הטסט או תעשו אותה כטסט נפרד ותוודאו שאין לכם גם שינוי UI וגם שינוי טכני, כי אם אתם מגיעים למצב שבו אתם…

אם הטסט נכשל, אתם מתקיים במצב שבו אתם צריכים לתמוך בשתי תשתיות, וזה לא יכול להחזיק, זה יגרום לכם לשחרר פיצ'רים שהפסידו בטסט ויעשו אימפקט שלילי, כי כבר עשיתם את המתקדמות הטכנולוגית, ויכול להיות שאתם כבר בונים על הפיצ'רים הבאים עם ההתקדמות הטכנולוגית שעשיתם. אז העיקרון הרביעי זה לוודא שאתם יכולים לחזור לאחור אם הטסט נכשל. והעיקרון החמישי, וזה הדבר הכי בסיסי, אבל תעשו טסט לטסט. תתחילו עם קבוצה קטנה ובכלל תראו שיש לכם את האיבנטים, תראו שאתם מסוגלים למדוד את המטריקות המרכזיות, עוד לפני שעכשיו יצאתם ופתחתם את זה ל-50% מהיוזרים שלכם. כי ברגע שאתם יוצאים לטסט, כל עצירה כזאת מתחילה ללכלך לכם את הדאטה, ויהיה לכם מאוד מאוד מאוד קשה לדעת מתי התחלתם ומתי הפסקתם. אז המלצה שלנו היא לעשות טסט לטסט כדי לוודא שמה שרציתם למדוד ב ת אפשר למדוד. אז בואו רגע נחזור על העקרונות שדיברנו עליהם. הדבר הראשון זה לצייר את הדשבורד לפני שבכלל התחלנו. מה זה עוזר לנו? זה עוזר לנו להבין שנצליח למדוד את מה שבכלל רצינו למדוד מלכתחילה עוד לפני שכתבנו שורת קוד אחת. העיקרון השני זה עץ המצבים או להחליט מה עושים לפני שיצאנו לטסט ולשים את כל המצבים ההיפותטיים שיכולים להיות. המטריקה עלתה אבל המטריקה השנייה ירדה. מה אנחנו עושים בכל מצב ולקבל את ההחלטה לפני. כי אם לא נעשה את זה אז נגיע למצב של פרשנות אחרי שהטסט יצא ונעשה לעצמנו את השכנוע המנטלי ללמה הטסט בעצם ניצח למרות שתכלס הוא הפסיד. הדבר השלישי זה בכלל לראות שאפשר למדוד את האפקט. לכו ותחשבו לפני שיצאתם לטסט שיש לכם מספיק יוזרים כדי לראות אפקט משמעותי אחרת אתם סתם מבזבזים את הזמן. העיקרון הרביעי זה לזכור שאפשר תמיד לחזור לאחור לוודא שהפיצ'ר שלכם הטסט לא בונה כבר להתקדמות טכנולוגית שלא תאפשר לכם לחזור לאחורה זה יקטע אתכם בצורה מאוד משמעותית. והדבר האחרון לא לזכור לעשות טסט לטסט כדי לוודא שאתם ב ת יכולים למדוד את מה שתכננתם למדוד מבלי לבזבז את זה על כל היוזרים שלכם. אז זה היה הפרק בקצרה על איך אתם יכולים לוודא שה-AB טסט הבא שלכם יצליח. אנחנו מאחלים לכם בהצלחה ואם אתם רוצים לשמוע כל פעם שיוצא פרק חדש בתוכנית שלנו אנחנו מזמינים אתכם לעקוב בכל אחת מהאפליקציות. שיהיה לכם המון המון בהצלחה ותודה שהזנתם. תודה.