A/B Testing מפצחים

Startup For Startup

 

ליאור:            היי ערן.

ערן:               היי ליאור.

ליאור:            היי כולם. הגעתם ל-Startup for Startup, הפודקאסט שבו אנחנו חולקים מהניסיון, מהידע ומהתובנות שלנו כאן בMONDAY.COM – וגם מחברות אחרות, והוא מיועד לכל מי שסטארט-אפ מדבר אליו, לא משנה באיזה כיסא הוא יושב ברגעים אלו.   אז היום אנחנו נדבר על A/B testing. שהוא כלי מרכזי בעבודה שלנו בחברה בכלל ובפרט בעבודה של צוות ה-growth. צוות ה-growth זה צוות שהוקם לפני קרוב לשנה. מונה היום שישה חביר צוות. ראש צוות, שני פתחים, product, BI ומעצבת. ואנחנו נארח את אבירם, שהוא מפתח בצוות. אבירם, איזה כיף שאתה איתנו, תגיד שלום.

ערן:               מה קורה אבירם?

אבירם:           אהלן, שלום לכולם. כבוד גדול להיות מרואיין ראשון.

ליאור:            תודה שבאת. אז מה זה A/B test?

אבירם:           או, או.

ערן:               טוב ששאלת, ליאור. [צוחק].

אבירם:           טוב ששאלת. A/B test זה בעצם כלי שיש לנו לבדוק שתי גרסאות של המוצר, אוקיי? ובעצם לראות איך כל גרסה, למדוד איך כל גרסה משפיעה על היוזר. לדוגמה, נניח יש לנו אתר, ובאתר יש כפתור בצבע אדום, ואנחנו רוצים לראות מה יקרה… אנחנו רוצים לגרום לכמה שיותר אנשים ללחוץ על הכפתור לצורך העניין-

ערן:               נגיד כפתור הרשמה לצורך העניין.

אבירם:           כן. כפתור הרשמה. ואנחנו רוצים לבדוק מה תהיה ההשפעה, לייצר בעצם טסט, לראות מה ההשפעה על היוזרים שלנו אם נהפוך את הכפתור לכפתור בצבע כחול. אז אנחנו יוצרים שתי גרסאות של האתר, באחת מהן הכפתור הוא אדום, בשנייה הכפתור הוא כחול. וכל יוזר שנכנס מקבל או את הגרסה הראשונה, את A, או את הגרסה השנייה, את B. ואנחנו מודדים כמה לחיצות היו, איפה היו יותר לחיצות. ב-A או ב-B. וזה בעצם A/B test.

ליאור:            עד כאן נשמע די פשוט. למה זה מאתגר?

אבירם:           זה מאתגר כי זה לא נגמר בצבע של כפתור. והאמת, החלקים המאתגרים זה בכלל להבין שצבע של כפתור זה משהו שיכול להשפיע על ההתנהגות של היוזר. זה לא נכון בכל מקום, זה לא נכון בכל מצב. המציאת הזדמנויות הזאת זה חלק מהאתגר הכי גדול שיש לנו כשעושים A/B testing בעצם.

ליאור:            אז בוא תספר לנו קצת באמת איך אתם עובדים, איך אתם ניגשים לזה. איך אתה מגיע למסקנה שצבע של כפתור יכול בכלל להשפיע על היוזרים.

אבירם:           אוקיי, אז באמת, לפני שעושים את, מייצרים בעצם את הטסט, יש עבודת הכנה מאוד מאוד גדולה. בעיקר של ה-BI אצלנו ושל ה-product. הם אוספים המון המון מידע על היוזרים, על איך שהם מתנהגים. על איפה הם לוחצים, איפה הם לא לוחצים. ומשם אנחנו מוצאים הזדמנויות, אנחנו קוראים לזה הזדמנויות – בעצם, לשיפור. אם למשל אנחנו מזהים שיש drop מאוד גדול באיזה שהוא step מסוים במוצר, שבהרשמה יש drop מאוד רציני, אז אנחנו רואים את זה בתור הזדמנות. אם אנחנו רואים שיוזרים לא לוחצים על כפתור שהוא מאוד מאוד חשוב והאקוטי במוצר, אז אם אנחנו רוצים להעלות את כמות הלחיצות עליו, זאת הזדמנות. וכל זה נעשה בעצם מדידה של data, של יוזרים, בהתנהגויות של היוזרים, ניתוח של ההתנהגויות של היוזרים שלנו.

ליאור:            כן, ערן?

ערן:               מה? נראה כאילו יש לי שאלה?

ליאור:            כן [צוחקת]. אתה מהנהן פה בראש ו-

ערן:               אני מסכים עם אבירם. לא, אבל אני חושב שמה שהוא נגע בו זה מאוד חשוב, שתאורטית זה מאוד מאוד חשוב איפה עושים, לא תאורטית, בפועל, זה מאוד חשוב איפה עושים את ה-A/B test, כי אפשר על כל דבר לעשות A/B test. אנחנו באמת מסתכלים, עוקבים אחרי היוזרים – בממוצע, כן? לא על כל אחד אינדיווידואלי,  מסתכלים על מאסות של יוזרים. רואים את תהליך ההרשמה שלהם, רואים את מה שהם עושים בהתחלה בתוך המוצר, ואז מזהים, עושים מאין funnel.

[4:00]            זאת אומרת, עושים כמה אחוז מהמשתמשים ממשיכים לשלב הבא. בעצם בתוך המוצר. ואיפה שאנחנו מזהים drop גדול, כאילו, שמעט מאוד ממשיכים יחסית לשלבים האחרים, אז אנחנו מבינים אוקיי, יש לנו בעיה. סתם לצורך העניין, נגיד ליוזרים מאוד מאוד קל ללחוץ על הכפתור של ההרשמה. ואז מגיעים לטופס שיש בו, הם צריכים למלא בו טלפון. וראינו שבטופס שיש בו טלפון הרבה יוזרים אומרים אוקיי, אני לא מרגיש בנוח לשתף את הפרטים, וראינו שיש שם drop גדול. ואז יש כזאתי השערה שאומרת אולי אם אנחנו לא נבקש מהם את הטלפון, או נבקש מהם את הטלפון יותר מאוחר בתוך המוצר, אז זה ישפר בעצם את כמות היוזרים שממשיכים לשלב הבא ובאופן כללי ישפר את המספרים. אז באמת הלזהות איפה זה יותר חשוב נראה לי אפילו מלעשות את הטסט עצמו. כי זה ניצול הזדמנויות.

ליאור:            ואת ההזדמנויות האלה אתם מזהים לבד בתוך הצוות, אתם משתפים בזה עוד אנשים בחברה? איך עובד התהליך הזה?

אבירם:           אז את ההזדמנויות האלה אנחנו  קודם-כל, משתפים אותן בתוך הצוות. אבל תמיד משתפים הכול בתוך החברה, כי יש המון המון צוותים אחרים שמסתמכים על הניתוחים שלנו. וגם הם משתמשים בזה בשביל לנסות לתקוף את אותן הזדמנויות מהצד שלהם. לא רק growth עושים testing, כל הצוותים בחברה עושים testing, A/B testing, ובעצם כל-

ערן:               אתם עושים יותר. [צוחק]

אבירם:           אנחנו עושים הכי הרבה, by far. אבל כל אחד יש לו את הזווית ואת התאוריה שלו לגבי ההזדמנות הזאת בעצם. שהוא יכול לקחת אותה לכיוון שלו.

ליאור:            ואיך בוחרים? אמרתם קודם גם אתה וגם ערן שעל-פניו אפשר לעשות טסט על כל דבר באתר. מן הסתם תצריך לתעדף ויש דברים שיותר חשובים מאחרים. איך מזהים מה יותר חשוב?

אבירם:           אוקיי. אז באמת אחרי שאנחנו מזהים הזדמנויות אנחנו מפתחים בעצם משהו שנקרא היפותזה או תאוריה לגבי מה יכול לשפר את האזור הזה. ובתהליך הזה, של היצירה של התאוריה, אלנו זה פשוט נקרא “היפותזה”, אז אני אגיד היפותזה מעכשיו.

ליאור:            סגור.

אבירם:           יותר נוח לי. בתהליך הזה של היצירה של ההיפותזה, אנחנו גם מנסים לכמת מה תהיה ההשפעה אם נשפר את האזור הזה. כי יכול להיות שיש כפתור, שמעט מאוד לוחצים עליו, אבל הוא לא כל-כך רלוונטי מבחינתנו או הוא… אנחנו לא חושבים שהוא יעשה אימפקט גדול על המספרים של החברה. אז גם אם נשפר אותו זה לא יזיז את המחט, וגם אם נגרום להמון אנשים ללחוץ עליו זה לא יזיז שום דבר, אז אנחנו לא ניגש לשם בכלל, אנחנו לא ניגש להזדמנות הזאת.

ערן:               אז רגע, אז תסביר שנייה עוד פעם מה זה היפותזה. כי אני לא בטוח ש- אולי תן דוגמה אפילו.

אבירם:           אוקיי. אז דוגמה למשל להיפותזה זה שלמשל יוזרים, אנחנו מרגישים יוזר נכנס למערכת שלנו ואנחנו רואים שהוא חסר אוריינטציה. יש לנו היפותזה כזאת-

ערן:               זה השערה.

אבירם:           זה השערה. סליחה, זה ההזדמנות, אנחנו רואים שהוא חסר-

ליאור:            רגע. מההתחלה.

אבירם:           חדש.

ליאור:            חדש.

אבירם:           אנחנו רואים הזדמנות. אוקיי? שמים לב מניתוח של data שיוזר נכנס למערכת והוא חסר אוריינטציה, הוא לוחץ על דברים שהוא לא אמור ללחוץ עליהם, מתמקד בדברים שהוא לא אמור ללחוץ עליהם. ואז הייתה לנו היפותזה לגבי למה הוא חסר אוריינטציה, כי חשבנו שיש לו המון המון כפתורים מול העיניים, המון המון דברים ללחוץ עליהם שגונבים את הפוקוס-

ליאור:            יש לו הצפה בעצם של גירויים.

אבירם:           הצפה של כל-מיני גירויים, שתופסים ממנו את הפוקוס. זו הייתה ההיפותזה-

ערן:               זאת אומרת זה יכול להיות שזה נכון, זו הייתה איזו שהיא השערה שלכם. יכול לתהיות שזה גם לא נכון.

אבירם:           נכון.

ערן:               אבל זה בעצם איזו שהיא תאוריה או היפותזה שבעצם העליתם ללמה הוא עושה את זה.

אבירם:           נכון.

ליאור:            ואז מה עשיתם כדי לבדוק את זה?

אבירם:           אז מה שעשינו, אחד הדברים שעשינו בשביל לבדוק את זה זה באמת יצרנו A/B test, שבגרסה החדשה של המוצר ניקינו את כל הכפתורים שלא חשבנו שהם רלוונטיים לדקות הראשונות של היוזר במערכת.

ערן:               אוקיי. גרסה רזה כזאתי של האתר.

אבירם:           גרסה רזה של המערכת, כן.

ליאור:            איך היה?

[8:00]

אבירם:           אז ספציפית הטסט הזה, למרות שהייתה לנו היפותזה מאוד חזקה, לא הצליח. לא הזיז את המחט, לא עשה שום דבר. אבל למדנו מזה בעצם, מה שלמדנו מזה, שבעצם זה לא העמוס הקוגניטיבי שצריך להפריע לנו, זה איך אתה מפקס את היוזר, בלי להוריד ממנו פונקציונליות מהמוצר. בזה היינו צריכים להתמקד, זה מה שלמדנו מהטקסט. עשינו אחר-כך follow-up tests שאישרו את היפותזת ההמשך הזאת. אבל זה באמת משהו שלמדנו, כשראינו שהטקסט הזה נכשל אמרנו אוקיי, אז זה לא העומס שמפריע לו, זה חוסר הפוקוס. זה לא ריבוי הכפתורים, זה שהוא לא יודע על מה ללחוץ.

ליאור:            כמה זמן צריך להריץ בעצם טסט כדי להגיע למסקנה כזאת?

אבירם:           זה תלוי טסט, אבל רוב הטסטים האלו רצים בין שבועיים לשלושה. כי אצלנו במערכת יש היום תקופה של ניסיון של שבועיים שהמוצר הוא בחינם. ורק אחרי שבועיים יוזרים חייבים לשלם. אז בעצם בשביל למדוד את ההשפעה של הטסט שלנו, איך זה תורגם ללקוחות משלמים, במקרה שלנו, אז אנחנו צריכים לחכות בין שבועיים לשלושה.

ליאור:            אבל אם אני מבינה נכון זה בגלל שזה טסט שמתמקד בהמרה, ב-conversion של סיינאפים ללקוחות משלמים.

אבירם:           נכון.

ליאור:            זאת אומרת אם תתמקדו בבעיה אחרת באזור אחר במוצר-

אבירם:           נכון.

ליאור:            אולי תצטרכו פרק זמן יותר קצר או יותר ארוך.

אבירם:           נכון. נכון נכון נכון.

ליאור:            האילוץ הזה של השבועיים תקופת ניסיון רלוונטי רק כשאתה מודד את האזורים האלה בעצם.

אבירם:           נכון.

ערן:               כן, יש מוצרים שאין להם את השבועיים ניסיון האלה, אז יכול להיות שאפשר לעשות טסטים יותר מהירים.

אבירם:           נכון.

ערן:               אצלנו ספציפית פשוט נקודת ההחלטה שלהם היא אחרי שבועיים. אז במינימום צריך להמתין שבועיים בשביל לקבל איזה שהוא…

ליאור:            ואיך זה מרגיש להמתין שבועיים?

אבירם:           זה בהרבה מקרים ככה-

ליאור:            בוא, בוא תספר לנו איך עוברים השבועיים האלה [צוחקת].

אבירם:           איך עוברים השבועיים האלה? השבועיים האלה קודם-כל עוברים בזה שאנחנו כבר מתכננים הלאה מה אנחנו עושים בשלבים הבאים, אם הטסט הצליח או אם הוא נכשל. תמיד יש לנו follow-up tests בשביל מה קורה הלאה.

ליאור:            זה מזכיר לי את הספרים האלה, כשהייתם קטנים, אתם זוכרים שהיה ספר כזה שאפשר לבחור את הסוף? כאילו באיזה שהוא שלב בספר אומרים לך-

אבירם:           אה, של צמרמורת.

ליאור:            כן. אם אתה רוצה ללכת לעמוד 200, אז כאילו אבירם-

אבירם:           זה אדיר.

ערן:               אני דבר ראשון הייתי קורא את כל הספר ברצף-

ליאור:            גם אני.

אבירם:           גם אני הייתי עושה את זה, הייתי עובר על כל ה-

ליאור:            אז זה מה שאבירם אומר, שהם כאילו בעצם מחזיקים את שני הסופים ביחד וכבר בונים את המשך העלילה.

ערן:               כן. חבל שהוא חייב לתכנת כל A/B test בדרך.

אבירם:           כן.

ליאור:            זהו, זה נשמע קצת-

אבירם:           אז נכון.

ליאור:            לא יעיל.

אבירם:           אז, זה לא עניין של לא יעיל, אנחנו לא מתכנתים את כל הטסטים. אנחנו קודם-כל מכינים היפותזות, אוקיי? אז בוא נדבר על כל ה-flow רגע.

ערן:               אוקיי.

ליאור:            יאללה.

אבירם:           אז בעצם השלב הראשון שדיברנו עליו זה מציאת הזדמנויות. וברגע שיש לנו הזדמנויות אנחנו ממשיכים לשלב הבא, שזה להרכיב היפותזות ללמה משהו קורה או למה משהו לא קורה. איך מגדירים בעצם היפותזה? אנחנו מגדירים מה אנחנו רוצים… למה אנחנו חושבים שמשהו קרה. אם היא מאוששת אז בעצם אנחנו לומדים שבעצם ההיפותזה שלנו הייתה נכונה, אבל גם חשוב לנו מאוד להגדיר מה קורה, מה למדנו, אם ההיפותזה לא, אם הטסט לא הצליח וההיפותזה שלנו בעצם לא הייתה נכונה.

ליאור:            אם הפרכתם אותה.

ערן:               אוקיי. זאת אומרת לפני שאתה כותב איזו שהיא שורת קוד, אתה דבר ראשון מניח… זאת אומרת, אבל, זה קצת מוזר, כי כאילו אתה מניח שזה יצליח מן הסתם.

אבירם:           מקווה שזה יצליח.

ערן:               אתה מקווה שזה יצליח, אחרת זה…

אבירם:           אתה מקווה שזה יצליח.

ערן:               אבל אתה עדיין מתכונן למה יקרה אם זה מצליח ומה קורה אם זה נכשל.

אבירם:           כן, אז ההגדרה אצלנו ל”מצליח” היא בעצם קצת שונה. כאילו, אנחנו מקווים שזה ישפר את המדדים, אבל זה לא בהכרח ישפר את המדדים. מבחינתנו הצליח או לא הצליח זה אם למדנו מהטסט. זה לא אם זה שיפר את המדדים.

ערן:               אוקיי.

אבירם:           כי בעצם גם טסט שנכשל ולא שיפר ועדיין למדנו ממנו, זה טסט מבחינתנו מוצלח.

ליאור:            תן דוגמה לאיזה טסט כזה.

אבירם:           למשל ה-clean board שדיברנו עליו ממש לפני כמה דקות, הייתה היפותזה מאוד מאוד חזקה שיש עומס קוגניטיבי מאוד רציני על היוזר, שהוא מבולבל מכל הכפתורים

[12:00]          ובעצם הטסט הזה נכשל. ברגע שבדקנו את ההיפותזה בצורה מאוד מאוד מרוכזת ומאוד מאוד ממוקדת, בדקנו רק את ההיפותזה הזאת, גילינו שהיא לא נכונה. ואז בעצם למדנו מזה שאוקיי, העומס הקוגניטיבי זה לא מה שמפריע ליוזר. אז בעצם ניסינו דברים אחרים, לקחנו ככה פנייה אחרת, אמרנו זה לא העומס הקוגניטיבי, זה החוסר פוקוס.

ערן:               זאת אומרת אם אני מתחבר למה שאתה אומר, הטסט הצליח כי ניקיתם את הדבר הזה מהמוח שלכם.

אבירם:           נכון.

ערן:               זאת אומרת, מבחינתכם זה שלמישהו הייתה תאוריה בצוות שיש ליוזר עומס קוגניטיבי זה כבר היום משהו שאתם, מבחינתכם הוא off the table, כאילו-

אבירם:           נכון.

ערן:               הוא לא, זה לא הבעיה, אתם מתמקדים באזורים אחרים. אז התקדמתם.

אבירם:           התקדמנו. בדיוק.

ערן:               הטסט נכשל אבל התקדמתם.

אבירם:           נכון.

ליאור:            כלומר זה בעצם גם עזר לכם להתמקד.

אבירם:           נכון, נכון מאוד, זה עזר לנו להתמקד ולבדוק היפותזות המשך או בכיוונים אחרים, פשוט לא רדפנו-

ליאור:            אבל בשביל שזה יקרה, אם אני מבינה נכון, אז זה קריטי שתגדירו את ההיפותזה ככה שהיא יכולה באמת להיכשל גם. לא רק להצליח.

אבירם:           נכון, זה מאוד מאוד חשוב, זה מאוד מאוד כאילו קריטי, שההיפותזה תהיה בשלה. זה אומר שאנחנו נדע מה זה אומר אם היא ניצחה כמובן, ונדע מה זה אומר אם היא הפסידה. אם ברגע שאנחנו לא יודעים אחד מהכיוונים אנחנו בכלל לא נכתוב טסט שמנסה לאשש את ההיפותזה, כי יש סיכוי שלא נלמד. ואז חבל על הזמן הזה שבזבזנו לחכות שהטסט ירוץ.

ליאור:            אפרופו הזמן המבוזבז, כמפתח, איך זה מרגיש שאתה בעצם כותב קוד שהוא זמני? זמני מאוד. בהגדרה זמני.

אבירם:           זה ערכי יסוד ב-growth, אל תיקשר לקוד שלך, כי אין מה לעשות.

ערן:               מה, מה היחס כאילו? כמה טסטים ממה שאתה כותב, הצוות כותב, נשארים בסוף בתוך המערכת?

אבירם:           אז בגלל שיש עקומת למידה, של האזור, אז בהתחלה 90 אחוז מהטסטים נכשלו בשבועות הראשונים.

ערן:               אשכרה? זאת אומרת, מתוך עשרה קטעי קוד שכתבת והראית ל-production-

אבירם:           כן.

ערן:               מחקת תשעה.

אבירם:           כן.

ערן:               נשמע כייף.

אבירם:           כאילו, במקרה הטוב מחקנו תשעה. [צוחקים ברקע]. ולאט לאט, ככל שאנחנו מבינים יותר ויותר את האזור ויש לנו יותר ויותר היפותזות שאיששנו או הפרכנו, אנחנו יודעים איך לדקור יותר טוב את מה שמפריע ליוזרים שלנו. ובעצם ככה אנחנו, טסטים שאנחנו מעלים הופכים ל, לאט לאט יותר ויותר יש לנו טסטים שמנצחים. ואז בעצם זה הולך ומתאזן. זה לא מגיע ל-50-50, אבל זה מגיע ל-70 אחוז שלא הצליחו, כאילו, 30 אחוז הצלחה, 40 אחוז הצלחה. אבל החלק החשוב פה זה שגם זה לא בהכרח הגודל של הטסט. כאילו, יש לנו טסטים מאוד מאוד גדולים ששינו סדרי עולם במערכת ו-

ערן:               גודל מבחינת קוד אתה מתכוון?

אבירם:           מבחינת קוד ומבחינת חוויה. שלא הזיזו את המחט. ודווקא הדברים הקטנים האלה שכזה בפינצטה דקרו איזו נקודה שכאבה ליוזר, זה הדברים שהטיסו את המדדים למעלה.

ליאור:            ערן, יש לי שאלה אליך.

ערן:               הופה.

ליאור:            הופה. [צוחקת].

ערן:               התקילה אותי.

ליאור:            ככה העיניים נפקחו. זה צוות חדש יחסית, בן פחות משנה. מה היה בחברה לפני זה? על-פניו היום זה כלי וזו דרך עבודה שהיא בלתי נפרדת, וכל החלטה  במוצר עוברת דרך הצוות. אבל מה עשיתם לפני שהיה צוות growth?

ערן:               זו שאלה טובה, כי עכשיו קשה לי לדמיין את החברה בלי הצוות, אבל-

ליאור:            אז בוא תעצום עיניים.

ערן:               הופה [צוחק].

ליאור:            נחזיר אותך לשנת 2015 [צוחקת].

ערן:               וואו, כל-כך רחוק.

ליאור:            2016, 2017.

ערן:               2017 אפילו, כן. אז מה שקרה, אני חושב שמאוד התחדד לנו זה שצריך לעשות צוות growth. כי עד היום… כולם עושים A/B testing, כן? זה לא שהם היחידים שעושים טסטים למערכת. וחס וחלילה שהם היחידים שצריכים לשפר את המדדים. כאילו, הצוות של הפיתוח גם מתעסק בזה המון. אני חושב שמה שקורה שהחברה גדלה, אז יש איזה שהוא מתח כזה של מצד אחד יש לך המון פיצ’רים חדשים שאתה רוצה לפתח, יש לך road map להספיק. ויש לך באגים לתקן וכל מיני דברים של maintenance.

[16:00]          ואני חושב ששמים לב שפתאום לפיתוח יש פחות תשומת לב ל, עכשיו בוא נתחיל להריץ טסטים, וראינו שזה נופל בין הכיסאות. זאת אומרת, זה לא שלא הייתה להם מוטיבציה או רצון לעשות את זה, פשוט ה-capacity שלהם במוח לא הצליח להחזיק כאילו, גם לפתח פיצ’רים חדשים, גם לתקן באגים. וכמו תמיד, אם אתה רוצה לייצר כאילו איזה שהוא, כאילו, כוח עבודה שעובד במקום הזה, אז החלטנו לפצל את הצוות. מה שאני חושב שממש מגניב זה שהצוות של ה-growth, הוא יכול לגעת בכל מקום במערכת. זאת אומרת, זה לא שיש לו מנדט רק לגעת ב-sign up או רק לגעת ב-homepage או רק לגעת ב… הם יכולים לגעת בכל מקום. אנחנו לוקחים חבר’ה שהיו בתוך הפיתוח, מעבירים אותם לצוות growth, הם מכירים את כל המערכת ועובדים ממש בסינרגיה טובה עם הפיתוח. והם פשוט נוגעים across הכול. זאת אומרת ב-pricing, בתמחור, בתוך המוצר, והם נוגעים כאילו across כל החברה בעצם. אבל מה שמגניב שממש ממש מפוקסים על הדבר הזה. וזה פשוט אופי אחר של עבודה, זה אופי אחר של עיצוב, זה אופי אחר של איך שעושים product. ואני חושב שזה היום הגיוני מאוד שזה עובד ככה, ואנחנו רוצים גם להגדיל את הצוות growth. ותשמעי, אני לא יודע אם את מגיעה לזה, אבל הם עשו בחצי שנה האחרונה אימפקט מטורף בחברה, מטורף. כאילו, השינויים שהם עשו, על המספרים שלנו? מטורפים.

ליאור:            תן קצת,

ערן:               ניתן אולי לאבירם לספר, כי-

ליאור:            שהוא ככה, יש פה דף שאבירם הכין מראש.

ערן:               כן, לפני שהתחלנו אני רואה את אבירם רושם לו כל-מיני מספרים על דף, לא הבנתי מה הוא עושה.

אבירם:           כן מה, זה חשוב להיות-

ליאור:            מדויק.

אבירם:           growth זה all about the data, הכול קשור למספרים. אז אנחנו פה-

ליאור:            אז בוא ככה תקריא לנו.

אבירם:           לא, לא נקריא, אבל אתה יודע-

ערן:               ספונטני.

אבירם:           בספונטני, נעיף מבט בדף קצת. אבל  לא, בגדול, נכון, אז היו כמה טסטים מאוד מאוד מוצלחים שממש הזיזו את המדדים. ובאמת, סתם לדוגמה, היה לנו, אחד הטסטים שעשינו, הוא דווקא היה הראשונים, והוא אחד הטסטים שנתנו המון המון אימפקט. זה כשיוזר נכנס למערכת בפעם הראשונה, בהתחלה הוא פשוט נכנס והוא קיבל את המוצר, הוא לא קיבל שום דבר, וראינו שהוא לא מבין כאילו מה לעשות ואיפה ללחוץ. אז הוספנו סרטון וידיאו קטן שמופיע לו והוא יכול, איך שהוא נכנס מופיע לו הסרטון וידיאו הזה, של דקה, שמסביר לו מה הערך של המוצר, מה ה-value של המוצר, מה הוא יכול לעשות, מה הוא יכול זה. ואמרנו אוקיי, נראה לו את ה-value ואז הוא לבד ילך ויחקור. והסרטון הקטן הזה שלקח כמה שעות כאילו להכין ולהכניס לתוך המערכת עשה אימפקט כאילו פסיכי, הוא העלה את אחוז היוזרים המשלמים שלנו ב-25 אחוז. שזה כאילו מטורף. ואת השיפור הזה גם היה אפשר לראות ב-MRR שלנו, בעלייה ב-MRR של 33 אחוז. שזה-

ליאור:            רגע, מה זה MRR?

אבירם:           MRR זה בעצם ה-Monthly Recurring Revenue. זה כמה כסף נכנס כל חודש לחברה. מיוזרים משלמים. אז, סתם בשביל טיפה מספרים להיכנס, אם היום ה-MRR של החברה, כל חודש לחברה נכנס 2.6 מיליון דולר מלקוחות משלמים, אז תחשבו על 33 אחוז on top of that, מעל זה-

ליאור:            וזה היה טסט יוצא דופן או שיש עוד דוגמאות כאלה, בסדרי גודל כאלה?

ערן:               זה מטורף, כאילו, זה אומר-

אבירם:           זה טסט שהיה חריג יחסית. רוב הניצחונות שלנו הם לא כאלו גדולים, הם 6 אחוז, 7 אחוז. היה לנו עוד טסט למשל שהוספנו לוגואים של חברות אחרות שמשלמות, שהן מאוד מאוד מוכרות, כשאתה פותח את ה-Payment form שלנו. זה הדבר הראשון שאתה  תראה. זה נקרא social proof בעצם, אנחנו מראים לך איך לקוחות אחרים, מוכרים, משתמשים בנו. ובעצם זה נותן לך סוג מסוים… ההיפותזה שלנו הייתה שזה ייתן לך ביטחון.

[20:00[

ליאור:            רגע, אבל לפני שאתה ממשיך שנייה לתוצאות. בוא שנייה נישאר בטסט הזה. כלומר, זה נשמע לי פתרון סופר-יצירתי. איך הגעתם בכלל למסכנה שיש סיכוי שאדם כשהוא מגיע ל-payment יעזור לו להרגיש ביטחון גבוה יותר כשהוא יראה לוגואים של חברה אחרת?

ערן:               יותר מזה, הם הוסיפו שלב ל-payment, זאת אומרת-

אבירם:           נכון.

ערן:               זה עוד מסך באמצע.

ליאור:            זה אפילו לא אינטואיטיבי אתה אומר.

ערן:               כן [צוחק].

ליאור:            זה ההיפך מהאינטואיציה. איך מגיעים לטסט כזה, וגם איך מאשרים טסט כזה? על-פניו זה יכול לעשות נזק.

אבירם:           כן, בסדר. כל טסט באופן תאורטי יכול לעשות נזק, ואין עם זה בעיה. אנחנו יכולים גם להוריד אותו אחרי תקופה-

ליאור:            אבל יש טסטים יותר מהמרים ויש טסטים יותר על בטוח.

אבירם:           נכון, לגמרי. אבל איך הגענו לזה שזה יכול להיות טסט? חלק זה הימור שסבב סביב, כאילו, חלק זה באמת היה הימור, אבל חלק מזה היה גם, דיברנו עם לקוחות. דיברנו עם לקוחות שלא הפכו למשלמים, דיברנו עם לקוחות שהפכו למשלמים. ניסינו להבין מה הניע אותם, מה לא הניע אותם. ולמשל, ספציפית בטסט הזה, ראינו שבכלל, לא קשור לזה, ב-homepage שלנו, באתר שלנו, הרבה לקוחות אהבו איזה שהוא דף שהראה איך חברות אחרות משתמשות, היה המון סרטונים של איך חברות אחרות משתמשות בנו  והם אמרו “אה, הם הם יכולים, גם אני יכול”, ואמרנו אוקיי, מגניב, יש פה משהו, בוא ניקח את זה אבל למוצר, ובוא נתרגם את זה למשהו שכולם יכולים להתחבר אליו. והלכנו עם ההיפותזה הזאתי בעצם ש-social proof זה כלי מאוד חזק. והימרנו. ובמקרה הזה זה הצליח. אגב, ניסינו social proof באזורים אחרים במוצר, זה לא עבד. זה כאילו, זה שקול.

ערן:               יש עוד טסט שבי מאוד נגע, שהם עשו. שהוא גם היה לא אינטואיטיבי. אנחנו בעצם, יש לנו drop מאוד גדול בין כמות האנשים ש… אני חושב שכל מוצר הוא ככה. שנרשמים למערכת, וחוזרים אחרי יום. אנחנו ממש רואים drop ענקי. זאת אומרת, הרבה מאוד מנסים, נרשמים, ואז למחרת לא חוזרים.

ליאור:            למרות שהם עדיין בתקופת ניסיון חינמית.

ערן:               כן. כנראה לא הבינו את ה-value, או שכחו, או לא משנה מה. ואני חושב ש, כאילו, זה תמיד כזה משגע אותך, אוקיי, למה הם לא חוזרים? הם השקיעו כל-כך הרבה אנרגיה בלהירשם, אישרו את האימייל שלהם, בואו נחזיר אותם לתוך המערכת. ואני חושב ש, באמת, לאורך כל החיים של החברה, תמיד ניסינו לשנות את ה-On boarding, את החוויה של הכניסה למוצר. אמרנו אולי לא הבינו את הממשק משתמש, אולי הם לא הבינו מה לעשות בתוך המוצר, בוא נעזור להם. ועשינו כל-מיני, באמת, אני זוכר אישית שכתבתי בערך שמונה ניסיונות כאלה. כמעט כל בן אדם שהצטרף לחברה אמרנו תקשיבו, יש לי רעיון אדיר, בוא נוליך את היוזרים ונסביר להם, הנה, פה אתם מוסיפים עוד עמודה, פה מוסיפים עוד תוכן. ובאמת, ניסינו אינסוף אופציות כאלו, ושום דבר לא עזר. פשוט ראינו ששום דבר לא עוזר, ואני לא מבין, כאילו, אנחנו מראים ליוזר מה לעשות בתוך המערכת ואיך הם לא, איך זה לא משפר בעצם את המדדים? אני חושב שהטסט שעשה איזה שהוא שינוי משמעותי שמה היה שהלכנו לכיוון אחר לגמרי. שוב, הוספנו שלב. לא אינטואיטיבי. שבשלב הזה אנחנו מראים ליוזר כל-מיני טמפלטים, של איך אפשר לעבוד עם המוצר שלנו. בעצם מה שמאוד מייחד את המוצר שלנו זה שהוא מאוד ורסטילי, אפשר להשתמש בו להמון שימושים. והראינו להם המון המון טמפלטים. איך אפשר להשתמש בזהב בפיתוח ואיך אפשר להשתמש בזה ל-marketing, ב-HR וכו’.

ליאור:            כדי שנייה לתת מושג לכמה שימושים אפשר לעשות עם המוצר – כמה ורטיקלים אנחנו אומרים שמשתמשים היום?

ערן:               200 ורטיקלים. והקטע הוא שכל ורטיקל בעצם המציא לעצמו את הטמפלטים שלהם. וראינו ש… ובעצם לקחנו את הטמפלטים האלה והכנסנו אותם בתור איזה שהוא דיאלוג, שהיוזר יכול לבחור בעצם איזה טמפלט הוא מתחיל בתור התחלה.

ליאור:            מה זה טמפלט? תסביר קצת איך זה נראה.

ערן:               זה בעצם, החלק המרכזי אצלנו במוצר הוא בורדים, בעצם איזו שהיא טבלה כזאתי. ופשוט הכנו כל-מיני טבלאות שמשקפות תהליכים שונים במחלקות שונות בחברה. כל מיני שימושים שונים שאפשר לעשות בעצם עם המוצר.

[24:00]

ליאור:            אז אם עכשיו אני במחלקת, אם אני עכשיו מתכננת אירועים וזאת הליבה של העשייה שלי אז אני יכולה היום להיכנס למוצר ובעצם למצוא איזה שהוא-

ערן:               כן, אם עשינו טמפלט כזה, כן.

ליאור:            עשיתם [צוחקת].

ערן:               כן. עשינו. בקיצור, אז הדבר הזה שיפר, גם אני חושב אחד השיפורים הכי משמעותיים שהיה לנו בחברה גם ב-20 ומשהו אחוז. ולי נפל אסימון מאוד מאוד גדול בדבר הזה. כי, אני חושב שמה שניסינו לעשות לפני זה, זה, אמרנו אוקיי, היוזר מבין מה לעשות עם המערכת, בוא נוליך אותו, נסביר לו את הממשק. איך, איפה מוסיפים ואיפה משנים. ופה באנו ממקום אחר. אמרנו לו בוא נסביר לו את ה-value, בוא נסביר לו מה הוא יקבל, מה הוא יכול לעשות עם המערכת מעבר אולי להתכווננות הראשונית שהוא הגיע לה למערכת, מה הוא עוד יכול לעשות איתה. וכל מיני דוגמאות של איך לעשות את זה. ואז הבנתי מה ההבדל בין להוליך מישהו ביד דרך השלבים לבין לתת לו מוטיבציה. כי מה שעשינו בעצם, בהתחלה שעשינו את ה-on boarding וניסינו להוליך אותו בממשק, ניסינו להחזיק לו את היד ולהוליך אותו. המוטיבציה שלו עדיין הייתה נמוכה. כי הוא ראה איזו שהיא מודעה או לא יודע מה, או שמע מחבר וניסה להשתמש במוצר. ברגע שהעלינו לו את המוטיבציה, כבר לא היה צריך להסביר לו את ה-UI. כי הוא אמר אוקיי, אני אשקיע בזה יותר מ-5 שניות. את יודעת, לכל אחד יש כל-כך הרבה על הראש, אז כאילו, ברגע שהראינו לו את ה-value, פתאום יש לו מוטיבציה.

ליאור:            וסקרנות ורצון לחקור את זה בעצמו.

ערן:               וסקרנות ורצון, כן. כאילו, אני חושב על עצמי, על כל המוצרים הנוראיים שכאילו רציתי להשתמש בהם, אז התאמצתי בשביל להשתמש בהם. ומה שלא בא לי להשתמש בו, כמה שהוא לא יהיה אינטואיטיבי וכיפי אני פשוט לא אשקיע בו אנרגיה. אז זה כאילו בדיוק ההבדל. בין לעשות מהלך ש, כאילו, מסביר ליוזר את ה-value לבין פשוט להוליך אותו ביד בלי שהוא מבין למה אתה בכלל מוליך אותו.

ליאור:            אבירם, תגיד, טסט מצליח, אוטומטית עכשיו נכנס למוצר? איך עובד התהליך הזה? כל מה שאתם אומרים עליו שהוא עובד אומרים עליו החבר’ה בפיתוח “אמן”?

אבירם:           לא. כאילו, דבר ראשון, זה לא, אנחנו עושים דברים טיפה… בשביל להיות מסוגלים לרוץ מהר, בשביל לבדוק את ההיפותזה שלנו, אנחנו לא תמיד צריכים לבנות את זה כמשהו מאוד refined ומאוד מאוד בשפה של ה-product זה נקרא ו-

ערן:               בקיצור, אתם עושים את זה מכוער. [צוחק].

אבירם:           [צוחק]. שומרים על איזשהם גבולות, אבל אנחנו עושים את זה ככה מהר. ואנחנו רק רוצים כאילו לבדוק את התאוריה שלנו. עושים את המינימום ההכרחי בשביל לבדוק את התאוריה שלנו. וברגע שטסט ניצח, אז לרוב הוא לא מספיק מפונש בשביל להעלות אותו למוצר. צריך לתת עליו עוד קצת ככה עבודה, ולפנש אותו, ורק אחר-כך אנחנו מעלים אותו לכולם. וזה בעצם התהליך.

ליאור:            כן, אז שים רגע בצד את העניין הטכני. אז כבר אפיתם אותו כמו שצריך והוא מוכן להגשה.

אבירם:           כן.

ליאור:            עדיין, אל ככה תתחמק מהשאלה.

אבירם:           [צוחק].

ליאור:            כל מה שאתה אומר אומרים עליו “אמן”?

אבירם:           אה, לא חייבים. אבל זה-

ליאור:            איך זה קורה בפועל?

אבירם:           הכול זה מגובה ב-data. ברגע שיש לך טסט והוא מגובה ב-data, והוא מגובה כאילו ב, אתה מראה את ההיפותזה ואתה מראה מה הוכחת ואתה מראה שההתנהגות השתנתה ואתה מראה את העלייה במדדים, אז למה ש-

ליאור:            אין בכלל שיחה אתה אומר.

אבירם:           כן, אנחנו לא, זה לא עניין של דעות. זה עניין של data, אם ה-data תומך במידע שלך אז כאילו, זה עובדה. זה ניצח. זה… אין פה מקום לדעה. זה משהו שהוא מאוד…

ערן:               אני חושב שאחד הדברים שלמדנו, אני חושב ש-A/B testing מתחיל בתור משהו שהוא קונספט שהרבה אנשים מכירים אותו. לכאורה נשמע פשוט. אבל אני יכול להגיד שאנחנו בתור חברה למדנו כל-כך הרבה, עשינו כל-כך הרבה טעויות לאורך הדרך, שזה פשוט מטורף. אני יכול לתת כמה דוגמאות. כאילו, דבר ראשון אני חושב שהרבה מאוד מהכלים האלה הם מראים מי ניצח בין שתי הווריאציות ברמה סטטיסטית. זאת אומרת, ודאות של 90 אחוז, 95 אחוז. אבל יש גם הרבה מאוד משמעות לסוג המוצר שלך ולכמות הקהל שבעצם נחשף ל-A/B test.

[28:00]

כי הכלים האלה הסטטיסטיים גם עם קהל יחסית קטן יכולים כבר להגיד שאיזה שהוא קהל ניצח. ואני חושב שאנחנו הבנו את זה, כשהתחלנו לעשות טסטים וראינו פתאום שאיזה שהוא טסט נראה מאוד מאוד מבטיח, שהוא שיפר ב-30 אחוז-40 אחוז, וכולם כבר היו בטוחים שהנה, פגענו. ואז אתה מחכה עוד שבוע-שבועיים סתם במקרה ואתה רואה שפתאום התוצאות מתהפכות. ואז אמרנו רגע, החלטנו כבר לקבל החלטה להכניס את הדבר הזה למוצר, מה קורה פה? כאילו, what the fuck. כאילו, אנחנו עושים את ה-A/B test לא טוב. ואני זוכר ממש לפני חצי שנה התחלנו לעשות A/A test. כאילו, לקחנו את המוצר ואת המוצר, אותו דבר, לא עשינו שום שינוי. חילקנו את היוזרים לשתי קבוצות רנדומלית. ורצינו לראות מה כלי ה-A/B test שלנו אומר, אם מישהו מנצח. תאורטית, פרקטית, אין שום סיבה שמשהו ינצח. ואז אנחנו מתחילים ואנחנו רואים שאחרי שבועיים הכלי מדווח לנו שוורסיה A מנצחת, בשיפור של איזה 10 אחוז. אוקיי. ואז חיכינו לראות בזמן מתי הדברים האלה מתייצבים.

ליאור:            מתאזנים, כן.

ערן:               כן. ולמדנו. כאילו, למדנו כמה traffic אנחנו צריכים בשביל לקבל אינדיקציה שהיא נכונה. וזה הפיל לנו אסימון. ואז פתאום התחלתי לחשוב רגע, עשינו בעבר כל-מיני טסטים, שהסתמכו על פחות אנשים. אולי דפקנו משהו. אולי קיבלנו החלטות לא נכונות. וזה בעצם, ממש עשינו פה education מאוד רחב בחברה על כמה יוזרים אנחנו צריכים-

ליאור:            אז מה גילינו בהקשר הזה, כמה יוזרים אנחנו צריכים?

ערן:               אני חושב ש, אתה מכיר את המספרים יותר טוב ממנו.

אבירם:           כן.

ערן:               40 אלף בכל וריאנט?

אבירם:           לא, זה, היום זה עומד על 25 אלף בכל וריאנט.

ערן:               25 אלף אנשים שנרשמים.

אבירם:           נכון. בכל וריאנט. זה תלוי בסוג של הטסט, זה גם יכול להיות 25 אלף אקאונטים שנרשמים, שזה כאילו, גם, זה עוד יותר, זה לא קשור לאנשים. אבל עוד משהו, נקודה חשובה לגבי ה-A/A test, זה באמת שזה גם עזר לנו מאוד להתפקס, כי יש איזה שהוא טווח שאנחנו לא באמת יכולים להיות ודאיים לגבי התוצאות שלו, אלא אם כן נחכה המון המון זמן, שזה משהו שאנחנו לא יכולים להרשות לעצמנו. ואז בעצם הגדרנו, זה עזר לנו מאוד להתפקס. כי טסטים או היפותזות שלא חשבנו שעשו אימפקט יותר מהטווח הזה, אנחנו גם, אנחנו זונחים אותן, אנחנו פשוט לא עוקבים אחריהן, כי אנחנו יודעים שהיום אין לנו את היכולת למדוד את זה. אז זה עוד משהו שאנחנו תמיד יושב לנו בראש. אם זה טסט שאנחנו חושבים שיעשה שיפור מאוד מאוד קטן אנחנו אפילו לא נלך לשם. שזה גם משהו שלא היה בהתחלה של ה-growth, וזה משהו שלמדנו אחר-כך. זה נתן לנו המון המון פוקוס ועזר לנו מאוד להתפקס כאילו ב-

ליאור:            יש איזה שהוא טסט שהצליח בוודאות ובכל זאת החלטתם שלא להטמיע אותו במוצר? אני אסביר לך מאיפה באה השאלה. על-פניו, אנחנו מדברים פה, כמו שערן אמר, על סטטיסטיקה ועל data. וזה פן אחד. אבל בסוף יש לנו שפה עיצובית, יש לנו ערכים למוצר, יש לנו כל-מיני דברים אחרים שמנחים אותנו בסופו של דבר. יש איזה שהוא רגע שבו הסתכלתם על טסט ואמרתם “זה מצליח אבל אנחנו לא מטמיעים”?

אבירם:           כן. היו כמה כאלו.

ליאור:            אתה יכול לתת דוגמה?

אבירם:           אני מנסה לחשוב על דוגמה. היה, רגע.

ערן:               אני יכול לחשוב על דוגמאות של טסטים שלא ניצחו אבל בחרנו אותם.

אבירם:           כן. זה דווקא הפוך.

ליאור:            שזה החלק ההפוך.

אבירם:           כן. אני גם יכול להיזכר בכאלו.

ערן:               כי זה יותר התאים לערכים של המוצר או כל-מיני דברים כאלה.

אבירם:           נכון, נכון, נכון.

ערן:               לא, אני זוכר עכשיו דוגמה. לדוגמה, שעשיתם איזה שהוא טסט שפתחת את המערכת בלי תוכן. זאת אומרת, בבורד לא היה תוכן.

אבירם:           נכון.

ערן:               והוא שיפר. את כמות האנשים שהפכו ללקוחות משלמים. אבל ראינו שהיוזרים מתקשרים פחות אחד עם השני. זאת אומרת, הוא פגע באיזה שהוא מדד אחר, שהוא מאוד מאוד חשוב לנו בתור חברה.

אבירם:           נכון.

ערן:               איזה שהוא ערך מאוד חשוב. ולמרות שהוא שיפר אני חושב ב-6-7 אחוזים, אמר אנחנו לא מוכנים לפגוע בערך של התקשורת בתוך המוצר, אז אנחנו החלטנו לחזור אחורה.

[32:00]

ליאור:            ודוגמה לטסט באמת שלא הצליח מבחינה סטטיסטית אבל החלטנו בכל זאת להטמיע?

ערן:               שלא הצליח? לא יודע, אבל יש לי עוד דוגמה מגניבה. [צוחק].

אבירם:           [צוחק].

ליאור:            יאללה, לך על זה ערן.

ערן:               אני מתחמק מהשאלות של ליאור, אתה רואה?

אבירם:           יפה. אתה עושה את זה הרבה יותר יפה ממני.

ערן:               מה, להתחמק?

אבירם:           כן.

ערן:               כן אחי, אני, יש לי ניסיון איתה. אתה יודע, זה לא הפודקאסט הראשון שלי איתה.

ליאור:            וואי וואי [צוחקת].

ערן:               בקיצור, אז אנחנו לפעמים עושים טסט-

ליאור:            לכל פודקאסט יש אחרי פודקאסט ערן. [צוחקת]

ערן:               הסתבכתי, הסתבכתי. בקיצור, אז אנחנו עושים לפעמים טסטים שהם, אנחנו קוראים להם דפנסיביים. זאת אומרת, אנחנו מעלים טסט על משהו שהוא בכלל לא אמור לשפר. אנחנו פשוט מפחדים שהוא ידפוק. אני יכול לתת דוגמה. אנחנו החלטנו באיזה שהוא שלב לעשות ניסוי, של לשאול בתהליך ההרשמה את הבן אדם האם הוא מנהל או לא מנהל. ככה, זה היה נראה לנו את זה הגיוני. ואמרנו אולי אנחנו ככה נוכל לחזות יותר טוב מי הולך להיות לקוח משלם, אולי-

ליאור:            מי מוסיף את הצוות שלו.

ערן:               כן. כל-מיני סטטיסטיקות. לכאורה השאלה הכי תמימה בעולם. שאלנו are you managing people? בתהליך ה-sign up. כן או לא. ואמרנו טוב, בוא נעלה את זה עם A/B test, just in case. והעלנו את זה, קיבלנו מידע. ופתאום ראינו שהדבר הזה הוריד לנו את אחוז ההמרה ב-10 אחוז. אני כאילו, what the fuck? אז התחלנו להמציא תאוריות, זה גם הקטע שאתה מצליח או מפסיד, אז אתה מעלה תאוריות, כי אתה לא באמת יודע למה, אבל אמרנו אולי אנשים שהם, המוצר שלנו אפשר גם לאמץ אותו ע”י אנשים שהם לא מנהלים. אז אולי אנשים, גם שאלנו “האם אתה מנהל?” אז אולי אנשים שהם לא מנהלים ירגישו שהמוצר הזה לא בשבילם. כאילו, אולי ניסינו לפלטר אותם, או לא יודע מה.

ליאור:            מה דפנסיבי בזה?

ערן:               דפנסיבי בזה שלכאורה יכולנו להגיד בוא פשוט נעלה את השאלה הזאתי. היא לא נוגעת במוצר, היא סתם איזו שאלה שהיא אופציונלית לענות עליה. ראינו שהיא גם לא הורידה את כמות האנשים שהשלימו את תהליך ההרשמה. זה הקטע. שזה לא הוסיף להם friction מה שנקרא, בתהליכי הרשמה, שפחות אנשים נרשמו. אבל פחות אנשים שילמו.

ליאור:            וואו.

ערן:               שזה, כאילו, אנחנו בדקנו שזה לא דופק את תהליך ההרשמה, ובגלל שאנחנו תמיד עושים טסטים שהם מאוד דפנסיביים, בדקנו שזה לא דופק את כמות האנשים שהופכים ללקוחות משלמים, וראינו שזה כן. ואנחנו היום, פיצ’רים שאנחנו מעלים, גם אם הם בצד וגם אם לא אמורה להיות להם השפעה כאילו מיידית על המוצר או על ה, פחות אנשים שהופכים ללקוחות משלמים, אנחנו בודקים אותם. ואנחנו מגלים דברים מאוד מפתיעים עם הדבר הזה.

ליאור:            כמה טסטים אתם מריצים במקביל?

אבירם:           בכל רגע נתון יש, רק ה-growth מריצים בערך שישה-שבעה טסטים. ועוד צוותים אחרים מריצים עוד טסטים, אז זה בערך עשרה טסטים בכל רגע נתון על המערכת.

ליאור:            זו הייתה שאלת ביניים [צוחקת]. אבל, סבבה, חשבתי שתגיד לי יותר מאחד. אבל איך זה עובד? כאילו, איך זה יכול להיות? מה שערן עכשיו תיאר, פתאום הבנתי שצריך לדעת בוודאות מוחלטת שה-conversion ל-payment באמת נפגע מזה שהוספנו שאלה על מנהל-לא מנהל. אם אתה מריץ שישה-שבעה-עשרה טסטים במקביל, איך אתה יודע לשייך את האפקט הזה לטסט אחד או לשני?

אבירם:           אז אחד העקרונות זה באמת שהטסטים אף פעם לא יכולים לרוץ על אותו אזור במוצר. אנחנו מבודדים בעצם את האזורים שעליהם הטסטים רצים, אם הם רוצים לרוץ במקביל הם חייבים להיות על אזורים שונים, בשביל שנדע מה ההשפעה של כל טסט ונוכל לבודד אותה בעצם. ואז באמת כאילו זה לא אפשרי אם יש לך שני טסטים שרצים על אותו אזור, אם יש לך, אם אתה גם משנה את הצבע של הכפתור וגם משנה את הגודל שלו אז אתה לא יודע מה השפיע. אתה יודע שכאילו, אולי זה השפיע ואולי זה השפיע, ו-

ליאור:            כלומר בדוגמה שערן תיאר, אז הדבר היחיד ששיניתם בטופס ההרשמה היה את השאלה הספציפית הזאת, בהכרח.

אבירם:           כן, במסך הספציפי הזה, זה הדבר היחידי ש-

ליאור:            ובמסך, אני שנייה בכל זאת אקשה, במסך אחרי זה? כי הרי אמרנו שבסוף זה כן השפיע על מדד אחר. על מדד לא ישיר על-פניו.

אבירם:           נכון.

ליאור:            איך אנחנו יודעים שמשהו אחר לא השפיע באותו הזמן על אותו המדד?

[36:00]

אבירם:           אז אוקיי, זה עוד פעם עניין של סטטיסטיקה, שבעצם בגלל שהטסטים לא תלויים, אז בעצם כל אחד יכול לקבל איזו שהיא גרסה שונה של המוצר. אחד יקבל למשל עם השאלה החדשה שהצגנו, ולמשל עם ה-step שאחריו שינינו צבע של כפתור, אז עם השינוי צבע של הכפתור. ויוזר אחר יקבל עם השאלה, אבל בלי השינוי צבע של הכפתור. הטסטים לא תלויים אחד בשני, ואז בעצם נוצר, על כל שני טסטים בעצם יש ארבע גרסאות של המוצר שאתה יכול לקבל. אוקיי?

ערן:               אנחנו בעצם מגרילים מחדש את האוכלוסייה עבור כל טסט.

אבירם:           נכון.

ערן:               וצריך להבין שכשאבירם אומר שיש לנו עשרה טסטים במקביל, כל אחד עם שני וריאנטים, זה אומר שבכל רגע נתון, כרגע, יש 2 בחזקת 10, אלף, גרסאות שונות של האתר. זאת אומרת, רק אחד מתוך אלף משתמשים מקבל את אותה גרסה בדיוק של האתר.

ליאור:            אז כשאתם אומרים את זה אני מבינה שזה משפיע בעצם על עוד חלקים בחברה. מה עושים בתמיכה הטכנית כשמתקשר מישהו ואומר “יש לי כפתור צהוב שלא עובד”?

ערן:               כפתור צהוב ענקי, באמצע המסך.

אבירם:           [צוחק]

ליאור:            ויגידו לו בתמיכה הטכנית “וואלה, אצלנו במוצר אין כפתור צהוב.” איך נמנעים מהדבר הזה?

ערן:               אני מקווה שאתה לא עושה כפתורים צהובים אבירם.

אבירם:           כרגע לא. אבל אולי בהמשך, מי יודע. אז נכון, זה אתגר. וזה אתגר שה-customer support שלנו מתמודדים איתו. דווקא מאוד מאוד יפה. אבל בשביל להקל עליהם אז בטסטים שהם מאוד אקוטיים וכבדים ודברים שמאוד מאוד משנים, דברים מאוד מאוד גדולים במוצר ובחוויה של המשתמש, אנחנו מסמנים את הגרסה שהיוזר מקבל אצלם ב-ticket. הם יודעים אם הוא קיבל את הווריאנט הזה או את הווריאנט ה… איזו גרסה הוא קיבל בעצם בשביל לדעת איך לפנות אליו ואיך בעצם לתת לו את הטיפול הכי טוב. אבל זה לא קורה על כל טסט שאנחנו מעלים, זה רק קורה במאוד מאוד כבדים ורציניים.

ליאור:            כאילו העברנו פה איזה 40 דקות באיזה כיף להיות ב-growth team, ואיזה כיף להיות אבירם-

ערן:               לא השתכנעת.

אבירם:           [צוחק].

ליאור:            לא, בא לי ככה להעכיר את האווירה. מתי לא כיף לך? מתי אתה מודאג? איפה בכל זאת אתם מוצאים אתגרים? זה על אמת.

ערן:               איפשהו את תמיד חיובית ליאור, זה… [צוחק].

ליאור:            לא, אנחנו נהפוך את זה לחיובי בסוף, אל תדאג.

ערן:               אה, אוקיי, אוקיי.

ליאור:            אבל שנייה לפני זה.

אבירם:           אז בעיקר בהתחלה, כשאתה לא פוגע בשום דבר בטסטים שלך, זה מתסכל בטירוף.

ליאור:            בהתחלה של הטסט או בהתחלה של העבודה בצוות?

אבירם:           בהתחלה של העבודה על האזור. גם בהתחלה כשהוקם הצוות, הצוות לא הוקם לפני הרבה זמן, אז עשינו המון המון המון טעויות, שבדיעבד כאילו מאוד פגעו בלמידה שלנו והלכנו הרבה פעמים אחורה, לקחנו צעד אחורה, בשביל להתקדם קדימה. וזה היה מאוד מתסכל. אבל גם ברגע שהתחלנו להתמקד באזור ספציפי, אז גם, אנחנו עוד לא מכירים את האזור, אנחנו עוד לא יודעים מה יעבוד. אז בהתחלה כל הטסטים שלנו נכשלים.

ליאור:            קצת כאילו לגשש באפילה כזה.

אבירם:           נכון. עד שאנחנו מצליחים להתפקס ולהבין כאילו מה עובד ומה לא עובד. וזה נורא מתסכל. במיוחד כשאתה יכול לשבת על טסט כאילו כמה ימים טובים ולקודד אותו.  וזה גם החלק של לא להיכשל. כי זה לא קשור לכמות ה-effort, אנחנו לא נשמור טסט כי מישהו שם שם המון effort או… וזה מאוד מתסכל. אבל ההצלחות שוות את זה. כאילו, ההצלחות לגמרי מכסות על זה, ברגע שאתה רואה את האימפקט ואתה רואה כמה השגת, זה נותן לך drive. כאילו, מספיק אחד קטן, הצלחה אחת קטנה, בשביל לתת לך drive לעוד 20 טסטים שנכשלו.

ערן:               אני ממש זוכר, הם עשו לפני ארבעה חודשים. יש לנו כל חמישי company meeting. שכל פעם מביאים איזו שהיא הרצאה אחרת. והצוות של ה-growth עלה וסיכם בעצם שלושה חודשים של עבודה. והם הריצו אני חושב למעלה מ-100 טסטים. אבל הם הראו את הטסטים שבעצם שיפרו. ודיברנו על הווידיאו, דיברנו על הטמפלטים, והיו שם עוד כמה דברים.

[40:00]

ליאור:            המובייל היה שם.

ערן:               היה שם משהו במובייל. ופשוט הראו ככה, טסט, כמה שיפרנו באחוזים, כמה זה משפיע על ה-bottom line של ה-revenue של החברה. זו הייתה ההרצאה שקיבלה הכי הרבה מחיאות כפיים, כאילו ever. כי אנשים הבינו איזה אימפקט אדיר הם עשו על החברה. הם, הצוות הזה, רק במהלכים שהם עשו, הם הוסיפו לנו כמעט 10 מיליון דולר בהכנסות שנתיות בשלושת החודשים האלה. אין יותר אימפקט מהדבר הזה, כאילו, זה היה מרגש ברמות. ועם כל הקשיים שהיה להם, זה היה פשוט מדהים. זה כאילו הצלחה הכי לפנים שאפשר.

ליאור:            הבטחתי לך שנסיים את זה בנימה חיובית, לא? [צוחקת].

ערן:               הופה.

ליאור:            אמרתי לך שנהפוך את זה לאופטימי.

ערן:               בשביל יש אותי, את מורידה, אני מרים.

ליאור:            תגיד, יש משהו שאתם עדיין לא יודעים לעשות? מבחינה מתודית, מבחינת ככה תהליכי העבודה שלכם?

אבירם:           כן. אז באמת אחד הדברים שאנחנו עדיין עובדים עליו מאוד-

ליאור:            אני חייבת להוריד, ערן, על אמת.

ערן:               כן כן, לא, כבר התרגלנו, כן.

אבירם:           שאנחנו עדיין עובדים עליו מאוד קשה, זה בעצם כמו שאמרנו בהתחלה, חשוב מאוד שהקצב של הטסטים יהיה מאוד גבוה, והצוות של ה-growth חייב לעבוד בקצב מאוד מאוד גבוה. וזה מתנגש כרגע עם זה שכל טסט חייב לרוץ זמן מאוד ארוך יחסית. בין שבועיים לשלושה. אז אנחנו מחפשים דרכים לקצר את הזמן שבו אנחנו צריכים להריץ כל טסט. אנחנו בעצם מחפשים איזה שהוא proxy זה נקרא, איזה שהוא מדד, שיאפשר לנו לנבא אם הטסט יצליח או לא יצליח. ואנחנו עוד לא לגמרי כאילו מבינים מה זה המדד הזה. אנחנו חוקרים כל פעם כיוון אחר ומנסים לראות מה יכול לנבא בצורה הכי טובה או הכי מדויקת, בשביל שנוכל לדעת בזמן הכי קצר נגיד, תוך 24 שעות, טסט ניצח? סבבה, ולהמשיך לבא. בלי לחכות לתוצאות, אם יוזרים התקנוורטו ושילמו ו… בלי לחכות לזה. אז זה משהו שהוא מאוד מאוד בפוקוס שלנו ומשהו שעובדים עליו מאוד מאוד קשה. וברגע שנפצח את זה-

ליאור:            נארח אותך שוב ותוכל לספר לנו שפיצחת את זה. [צוחקת].

אבירם:           כן. [צוחק]. אני אהיה עסוק מדי בלכתוב טסטים ברגע ש, כי זה פשוט יהיה קצב מטורף, נוכל לרוץ בקצב אדיר.

ליאור:            אבירם, תודה שהיית איתנו.

אבירם:           היה תענוג.

ערן:               ממש תודה אבירם, היה כיף.

ליאור:            תודה ערן.

ערן:               תודה ליאור.

ליאור:            תודה לכם שהאזנתם [מוזיקה].

 

 

 

 

סוף הקלטה

תמלול ע”י

WETEXT שירותי תמלול ותרגום

 

 

[wp_applaud]