שידור חוזר: 1: מפצחים A/B testing

אבירם גבאי, מפתח בצוות הצמיחה, סיפר לנו איך לבצע טסטים נכון, מה האימפקט של טסט מוצלח על החברה, למה זה בסדר גמור שטסטים נכשלים - כל עוד לומדים מהם משהו, מה עושים כשהדאטה והערכים של החברה מתנגשים, ועל האתגר הכי גדול שהצוות מתמודד איתו היום - איך זזים יותר מהר.

On our podcast's very first episode, we talked about A/B testing. It's a practice that happens at almost every product and company, at least in the SaaS world. Fast forward three years, and in the following weeks, we will release a new episode where we will discuss the lessons we have learned in the past three years and topics that are a bit more advanced in the A/B test world. So, we have decided this week to go back to our first episode and the insights we learned from it towards the new episode.

In the episode, Lior Krengel and Eran Zinman have spoken with Aviram Gabay, then a developer on monday's growth team (today an R&D Team Lead). Aviram told us about running tests correctly, what impact a great test can have on the company, why is it ok when tests fail, and what should you do when data and company values collide?

Episode transcript

Automatically transcribed — it may contain errors.

היי כולם, אני דליה ורטיים והגעתם לסטארט-אפ פור סטארט-אפ, הפודקאסט שבו אנחנו חולקים מהניסיון, מהידע והתובנות שלנו כאן במנדי.com ומיועד לכל מי שסטארט-אפ מדבר עליו, לא משנה באיזה כיסא הוא יושב ברגעים אלו. לפני שלוש שנים, בפרק הראשון של הפודקאסט, דיברנו על A-B טסטינג, פרקטיקה שמלווה כמעט כל מוצר וכל חברה, לפחות בעולמות הסאס. אז לקראת פרק נוסף שהולך להשתחרר בנושא, בוא נדבר על כל מה שלמדנו בשלוש השנים האחרונות על A-B טסטינג וניגע בנושאים קצת יותר מתקדמים, בחרנו לחזור לתובנות מהפרק הראשון. תהנו. סטארט-אפ פור סטארט-אפ. היי אירן. היי ליאור. היי כולם. זהו, אנחנו נדבר על A-B טסטינג, שהוא כלי מרכזי בעבודה שלנו בחברה בכלל ובפרט בעבודה של צוות הגרוף. צוות הגרוף זה צוות שהוקם לפני קרוב לשנה, בוא נעלם שישה חברי צוות, ראש צוות, שני מפתחים, פרודקט, בי-איי ומעצב את, ואנחנו נערך את אבירם שהוא מפתח בצוות. אבירם איזה כיף שאתה איתנו, תגיד שלום. מה קורה אבירם? לן לכולם, כבוד גדול להיות מורהן ראשון. תודה שבאת. אז מה זה A-B טסט? טוב ששאלת ליאור. A-B טסט זה בעצם כלי שיש לנו לבדוק שתי גרסאות של המוצר ובעצם לראות איך כל גרסה משפיעה, למדוד איך כל גרסה משפיעה על היוזר. לדוגמה, נניח יש לנו אתר ובאתר יש כפתור בצבע אדום ואנחנו רוצים לראות מה יקרה, אנחנו רוצים לגרום לכמה שיותר אנשים ללחוץ על הכפתור לצורך העניין. נגיד כפתור הרשמה לצורך העניין. כן, כפתור הרשמה ואנחנו רוצים לבדוק מה תהיה ההשפעה לייצר בעצם טסט, לראות מה ההשפעה על היוזרים שלנו אם נהפוך את הכפתור לכפתור כחול, בצבע כחול. אז אנחנו יוצרים שתי גרסאות של האתר, אחת מהם הכפתור הוא אדום, בשנייה הכפתור הוא כחול וכל יוזר שנכנס מקבל או את הגרסה הראשונה, את A או את הגרסה השנייה, את B ואנחנו מודדים כמה לחיצות היו, איפה היו יותר לחיצות, ב-A או ב-B. וזה בעצם A-B טסט. עד כאן נשמע די פשוט, למה זה מאתגר? זה מאתגר כי זה לא נגמר בצבע של כפתור וה ת החלקים המאתגרים זה בכלל להבין שצבע של כפתור זה משהו שיכול להשפיע על ההתנהגות של היוזר. זה לא נכון בכל מקום, זה לא נכון בכל מצב והמציאת הזדמנויות הזאת זה חלק מהאתגר הכי גדול שיש לנו כשעושים A-B טסטינג בעצם. אז בוא תספר לנו קצת ב ת איך אתם עובדים, איך אתם ניגשים לזה. איך אתה מגיע למסקנה שצבע של כפתור יכול בכלל להשפיע על היוזרים? אוקיי, אז ב ת לפני שעושים את ה… מייצרים בעצם את הטסט יש עבודת הכנה מאוד מאוד גדולה בעיקר של צוותי, של הבי אצלנו ושל הפרודקט. הם אוספים המון המון מידע על היוזרים, על איך שהם מתנהגים, על איפה הם לוחצים, איפה הם לא לוחצים ומשם אנחנו מוצאים הזדמנויות. אנחנו קוראים לזה הזדמנויות בעצם לשיפור. אם למשל אנחנו מזהים שיש דרופ מאוד גדול באיזשהו סטפ מסוים במוצר שברגע שבסטפ בהרשמה יש דרופ מאוד רציני אז אנחנו רואים את זה בתור הזדמנות. אם אנחנו רואים שיוזרים לא לוחצים על כפתור שהוא מאוד מאוד חשוב ועקוטי במוצר אז אנחנו רוצים להעלות את כמות הלחיצות עליו, זאת הזדמנות. וכל זה נעשה בעצם מדידה של דאטה של יוזרים והתנהגויות של היוזרים, ניתוח של ההתנהגויות של היוזרים שלנו. כן, אירן. מה? נר כאילו יש לי שאלה? כן. אתה מנסה כאן פה בראש. לא, אני מסכים עם אווירה. לא, אבל אני חושב שמשהו נגע בו זה מאוד חשוב שתיאורטית זה מאוד מאוד חשוב איפה עושים, לא תיאורטית בפועל זה מאוד חשוב איפה עושים את אי ביטס כי אפשר לכל דבר לעשות אי ביטס אנחנו ב ת משתמשים, עוקבים אחרי היוזרים בממוצר לא על כל אחד אינדיבידואלי, מסתכלים על מאסות של יוזרים רואים את התהליך הרשמה שלהם רואים את מה שהם עושים בהתחלה בתוך המוצר ואז מזהים, עושים מין פאנל זאת אומרת עושים כמה אחוז מהמשתמשים ממשיכים לשלב הבא בעצם בתוך המוצר ואיפה שאנחנו מזהים דרופ גדול כאילו שמעט מאוד ממשיכים יחסית לשלבים האחרים אז אנחנו מבינים אוקיי יש לנו בעיה סתם לצורך העניין נגיד ליוזר הם מאוד מאוד קל ללחוץ על הכפתור של הרשמה ואז הם מגיעים לטופס שיש בו, הם צריכים למלא בו טלפון וראינו שבטופס שיש בו טלפון זה הרבה יוזרים אומרים אוקיי אני לא מרגיש בנוח אשלף את הפרטים וראינו שיש שם דרופ גדול ואז יש כזאת ישרה שאומרת אולי אם אנחנו לא מבקשים להם את הטלפון או מבקשים להם את הטלפון יותר מאוחר בתוך המוצר אז זה ישפר בעצם את כמות היוזר.

כמר שלב הבא ובאופן כללי שלב את המספרים. אז ב ת לזהות איפה זה יותר חשוב נר לי אפילו מלעשות את הטסט עצמו, כי זה ניצול הזדמנויות. ואת ההזדמנויות האלה אתם מזהים לבד בתוך הצוות? אתם משתפים בזה עוד אנשים בחברה? איך עובד התהליך הזה? אז את ההזדמנויות האלה אנחנו קודם כל משתפים אותן בתוך הצוות, אבל תמיד משתפים הכל בתוך החברה, כי יש המון המון צוותים אחרים שמסתמכים על הניתוחים שלנו, וגם הם משתמשים בזה בשביל לנסות לתקוף את אותם הזדמנויות מהצד שלהם. לא רק גרוס עושים טסטינג, כל הצוותים בחברה עושים טסטינג וביטסטינג, ובעצם… אתם עושים יותר. אנחנו עושים הכי הרבה, בהכפר. אבל כל אחד יש לו את הזווית ואת התיאוריה שלו לגבי ההזדמנות הזאת בעצם, שהוא יכול לקחת אותה לכיוון שלו. ואיך בוחרים? הרי רתם קודם גם אתה וגם רן שעל פניו אפשר לעשות טסט על כל דבר באתר, מי זה סתם צריך לתעדף ויש דברים שיותר חשובים מאחרים. איך מזהים מה יותר חשוב? אוקיי, אז ב ת אחרי שאנחנו מזהים הזדמנויות, אנחנו מפתחים בעצם מה שנקרא היפותזה או תיאוריה לגבי מה יכול לשפר את האזור הזה. ובתהליך הזה של היצירה של התיאוריה, אצלנו זה פשוט נקרא היפותזה, זה נגיד היפותזה מעכשיו. סגור. יותר נוח לי. בתהליך הזה של היצירה של ההיפותזה, אנחנו גם מנסים לקמת מה תהיה ההשפעה אם נשפר את האזור הזה. כי יכול להיות שיש כפתור שמעט מאוד לוחצים עליו, אבל הוא לא כל כך רלוונטי מבחינתנו או אנחנו לא חושבים שהוא יעשה אימפקט גדול לנו על המספרים של החברה. אז גם אם נשפר אותו, זה לא יזיז את המאחץ, זה גם יגרום להמון אנשים ללחוץ עליהם, זה לא יזיז שום דבר, אז אנחנו לא ניגש לשם בכלל, אנחנו לא ניגש להזדמנות הזאת. אוקיי, אז אז בשלב הבא מה זה היפותזה? כי אני בטוח שאולי תן דוגמה אפילו. אוקיי, אז דוגמה למשל להיפותזה זה שלמשל אנחנו מרגישים שיוזר נכנס למערכת שלנו והוא חסר אוריינטציה. יש לנו היפותזה כזאת, זה ההשערה, ההיפותזה, סליחה, זה ההזדמנות, אנחנו רואים שהוא חסר… רגע, זה החלף. חדש. חדש. אנחנו רואים הזדמנות, אוקיי, שאנחנו שמים לב מניתוח של דאטה שיוזר נכנס למערכת והוא חסר אוריינטציה, הוא לוחץ על דברים שהוא לא ור ללחוץ עליהם, מתמקד על דברים שהוא לא ור ללחוץ עליהם, ואז הייתה לנו היפותזה לגבי למה הוא חסר אוריינטציה, כי חשבנו שיש לו המון המון כפתורים מול העיניים, המון המון דברים ללחוץ עליהם שגונבים את הפוקוס. תלת השפה בעצם שלהם. כן, גירויים שתופסים על התפוקוס. זו הייתה היפותזה… זאת אומרת, יכול להיות שזה נכון, זו הייתה איזושהי השערה שלכם, יכול להיות שזה גם לא נכון. נכון. אבל זה בעצם איזושהי תיאוריה או היפותזה שבעצם העליתם ללמה הוא עושה את זה. נכון. ואז מה עשיתם כדי לבדוק את זה? אז מה שעשינו, אחד הדברים שעשינו בשביל לבדוק את זה, זה ב ת יצרנו A-B טסט, שבגרסה החדשה של המוצר, ניקינו את כל הכפתורים שלא חשבנו שהם רלוונטיים לדקות הראשונות של היוזר במערכת. אוקיי, גרסה רזה כזאת שלה. גרסה רזה של המערכת, כן. איך היה? אז ספציפית את הטסט הזה, למרות שהייתה לנו היפותזה מאוד חזקה, לא הצליח. לא הזיז את המחת, לא עשה שום דבר, אבל עמדנו מזה בעצם, מה שלמדנו מזה זה שבעצם זה לא העומס הקוגניטיבי שצריך להפריע לו, זה איך אתה מפקס את היוזר בלי להוריד ממנו פונקציונליות מהמוצר. זה בזה אני מתחיל להתמקד, זה מה שלמדנו מהטסט. עשינו אחר כך פולו-אפ טסט שאישרו את ההיפותזת המשך הזאת, אבל זה ב ת משהו שלמדנו כשראינו שהטסט הזה נכשל. רנו אוקיי, אז זה לא העומס שמפריע לו, זה החוסר פוקוס. זה לא הריבוי כפתורים, שהוא לא יודע על מה ללחוץ. כמה זמן לוקח להריץ בעצם טסט כדי להגיע למסקנה כזאת? זה תלוי טסט, אבל הרוב הטסטים האלה הוא רצים בין שבועיים לשלושה, כי אצלנו במערכת יש היום תקופה של ניסיון של שבועיים, שהמוצר הוא בחינם, ורק אחרי שבועיים יוזרים חייבים לשלם. אז בעצם בשביל למדוד את ההשפעה של הטסט שלנו, איך זה תורגם ללקוחות משלמים במקרה שלנו, אז אנחנו צריכים לחכות בין שבועיים לשלושה. אבל אם אני מבינה נכון, זה בגלל שזה טסט שמתמקד בהמרה, בקונברז'ן של סיינאפים ללקוחות משלמים. זאת אומרת, אם תתמקדו בבעיה אחרת באזור אחר במוצר, אולי תצטרכו פרק זמן יותר קצר או יותר ארוך. נכון, נכון, נכון. היינוץ הזה שהשבועיים תקופת ניסיון רלוונטי רק כשאתה מודד את האזורים האלה בעצם. נכון. כן, יש מוצרים שאין להם את השבועי הניסיון האלה, אז יכול להיות שאפשר לעשות טסטים יותר מהירים. נכון. אצלנו ספציפית, פשוט כבר הייתה החלטה שלהם אחרי שבועיים, אז במינימום צריך להמתין שבועיים בשביל לקבל איזשהו… ואיך זה מרגיש להמתין שבועיים?

זה בהרבה מקרים ככה… בוא, בוא תספר לנו איך עוברים השבועיים האלה. איך עוברים השבועיים האלה? השבועיים האלה קודם כל עוברים בזה שאנחנו כבר מתכננים מעלה מה אנחנו עושים בשלבים הבאים, אם הטסט הצליח או אם הוא נכשל. תמיד יש לנו follow-up טסט בשביל מה קורה הל . זה מזכיר לי את הספרים האלה. כשהייתן קטנים אתם זוכרים שהיה ספר כזה שאפשר לבחור את הסוף? כאילו באיזשהו שלב בספר הוא אומר לך… כן, אם אתה רוצה ללכת לעמוד 200… זה נשמע שהייתי קוראת כל הספר ברטר? גם אני! אז זה מה שאווירה מומר, שהם כאילו בעצם מחזיקים את שני הסופים ביחד וכבר בונים את המשך העלילה. חבל שהוא חייב לתכנת כל A-B טסט בדרך. זהו, זה נשמע קצת לא יעיל. זה לא ין שזה לא יעיל, אנחנו לא מתכנתים את כל הטסטים. אנחנו קודם כל מכינים היפותזות. אוקיי, אז בואו נדבר על כל הפלור רגע. אז בעצם השלב הראשון זה, דיברנו עליו, זה מציאת הזדמנויות. וברגע שיש לנו הזדמנויות, אנחנו ממשיכים לשלב הבא, שזה להרכיב היפותזות ללמה משהו קורה או למה משהו לא קורה. איך מגדירים בעצם היפותזה? אנחנו מגדירים מה אנחנו רוצים, למה אנחנו חושבים שמשהו קרה. אם היא ממוששת, אז בעצם אנחנו לומדים שבעצם ההיפותזה שלנו הייתה נכונה, אבל גם חשוב לנו מאוד להגדיר מה קורה, מה למדנו, אם ההיפותזה לא הצליחה, וההיפותזה שלנו בעצם לא הייתה נכונה. אוקיי, זאת אומרת, לפני שאתה כותב איזושהי שורת קוד, הדבר הראשון, מניח, זאת אומרת, אבל זה קצת מוזר, כי כאילו אתה מניח שזה יצליח, מן הסתם. מקווה שזה יצליח. אתה מקווה שזה יצליח, אבל אתה עדיין מתכונן למה יקרה אם זה מצליח ומה קורה אם זה נכשל. כן, אז הגדרה אצלנו למצליח היא בעצם קצת שונה. כאילו, אנחנו מקווים שזה ישפר את המדדים, אבל זה לא בהכרח ישפר את המדדים. מבחינתנו, הצליח או לא הצליח זה אם למדנו מהטסט. זה לא אם זה שיפר את המדדים. אוקיי. כי בעצם גם טסט שנכשל ולא שיפר, ועדיין למדנו ממנו, זה טסט מבחינתנו מוצלח. תן דוגמה על איזה טסט כזה. למשל הקלין בורד שדיברנו עליו ממש לפני כמה דקות, הייתה היפותזה מאוד מאוד חזקה, שיש עומס קוגנטיבי מאוד רציני על היוזר, שהוא מבולבן מכל הכפתורים, ובעצם הטסט הזה נכשל. ברגע שבדקנו את ההיפותזה בצורה מאוד מאוד מרוכזת ומאוד מאוד ממוקדת, ואנחנו רק את ההיפותזה הזאת, גילינו שהיא לא נכונה, ואז בעצם למדנו מזה שאוקיי, העומס הקוגנטיבי זה לא מה שמפריע ליוזר. אז בעצם ניסינו דברים אחרים, לקחנו ככה פנייה אחרת, רנו זה לא העומס הקוגנטיבי, זה החוסר פוקוס. זאת אומרת, אם אני מתחבר למה שאתה אומר, הטסט הצליח כי ניקיתם את הדבר הזה במוח שלכם. זאת אומרת, מבחינתכם עכשיו זה שלמישהו הייתה תיאוריה בצוות שיש לו ליוזר עומס קוגנטיבי, זה כבר היום משהו שאתם… מבחינתכם הוא off the table. נכון. זה לא בעיה, אתם מתמקדים באזורים אחרים, אז התקדמתם. התקדמנו, בדיוק. הטסט נכשל אבל התקדמתם. בדיוק. כלומר זה בעצם גם עוזר לכם להתמקד. נכון, נכון מאוד. זה עזר לנו להתמקד ולבדוק היפותזות המשך בכיוונים אחרים, פשוט לא רדפנו. אבל בשביל שזה יקרה, אם אני מבינה נכון, זה קריטי שתגדירו את ההיפותזה ככה שיכולה ב ת להיקשל גם, לא רק להצליח. נכון, זה מאוד מאוד חשוב, זה מאוד מאוד קריטי, שההיפותזה תהיה שלה, זה אומר שאנחנו נדע מה זה אומר אם היא נצחה, כמובן, ונדע מה זה אומר אם היא הפסידה. אם ברגע שאנחנו לא יודעים אחד מהכיוונים, אנחנו בכלל לא נכתוב טסט שמנסה להרשש את ההיפותזה, כי יש סיכוי שלא נלמד. אז חבל על הזמן הזה שבזבזנו, לחכות שהטסט ירוץ. אפרופו הזמן המבוזבז, כמפתח, איך זה מרגיש שאתה בעצם כותב קוד שהוא זמני? זמני מאוד? בהגדרה זמני? ארכי סוד בגרון, אל תיקרשר לקוד שלך, כי אין מה לעשות. מה היחס? כמה טסטים ממה שאתה כותב, הצוות כותב, נשארים בסוף, בתוך המערכת? אז זה מיני, בגלל שיש עקומת למידה של האזור, אז בהתחלה 90% מהטסטים נכשלו בשבועות הראשונים. שנייה, זאת אומרת מתוך עשרה קטעי קוד שכתבת והבאת לפרודקשן, מחקת תשעה? כן. במקר טוב מחקנו תשעה. ולאט לאט, ככל שאנחנו מבינים יותר ויותר את האזור, ויש לנו יותר ויותר היפותזות שהששנו או הפרחנו, אנחנו יודעים איך לדקור יותר טוב את מה שמפריע ליוזרים שלנו, ובעצם ככה אנחנו, טסטים שאנחנו מעלים, הפכו לאט לאט יותר ויותר, יש לנו טסטים שמנצחים. ואז בעצם זה הולך ומתאזן. זה לא מגיע ל-50-50, אבל זה מגיע ל-70% שלא הצליחו, כאילו 30% הצלחה, 40% הצלחה, אבל החלק החשוב פה זה גם, זה לא בכך הגודל של הטסט. כאילו יש לנו טסטים מאוד מאוד גדולים ששינו סביבה עולם המערכת. גודל מבחינת קוד אתה מתכוון? מבחינת קוד ומבחינת חוויה.

שלא הזיזו את המחת, ודווקא הדברים הקטנים האלה שכזה, וב צעית הדקרו איזו נקודה שכאבה ליוזר, זה הדברים שהטיסו את המדדים למעלה. נר לי שיש לי שאלה אליך. אופה. אופה. תכי לא אותי. ככה, עיניים נשכחו. אני צוות חדש יחסית, בין פחות משנה. מה היה בחברה לפני זה? על פניו היום זה כלי, וזו דרך עבודה שהיא בלתי נפרדת, וכל החלטה במוצר עוברת דרך הצוות, אבל מה עשיתם לפני שהיה צוות גרוף? שאלה טובה, כי עכשיו כשדמיין חברה בלי צוות… אז בוא תעצום עיניים. אופה. נחזירו אותך לשנת 2015. וואו, כל כך רחוק. 2016, 2017. לא, שמעת, ספטמבר, כן. אז מה שקרה, אני חושב שמאוד התחדד לנו בזה שתחסות צוות גרוף, כי עד היום כולם עושים A-B טסטים. זה לא שהם החליטים שעושים טסטים במערכת, וחס וחלילה שהם היחידים שצריכים לשפר את המדדים. כאילו, צוות של הפיתוח גם מתעסק בזה המון. אני חושב שמה שקורה שהחברה גדלה, זה שיש איזה שהוא מתח כזה של… מצד אחד יש לך המון פיצ'רים חדשים שאתה רוצה לפתח, יש לך עוד מטלאס פיק, ויש לך באגים לתקן וכל מיני דברים של מייטננס, ואני חושב ששמים לב שפתאום לפיתוח יש פחות תשומת לב לעכשיו בוא נתחיל להריץ טסטים, וראינו שזה נופל בין הקיצורות. זאת אומרת, זה לא שיש לו מנדט רק לגעת בסיינאפ או רק לגעת באום פייג', הוא יכולים לגעת בכל מקום. אנחנו הולכים חבר'ה שהיו בתוך הפיתוח, מעבירים אותני לצוות גרוף, הם מכירים את כל המערכת, והם עובדים ממש בסינרגיה טובה עם הפיתוח, והם פשוט נוגעים קרוס הכל. זאת אומרת, בפייסינג, בתמכור, ובתוך המוצר, והם נוגעים קרוס כל החברה בעצם. אבל מה שמגניב שממש ממש מפוקסים על הדבר הזה. וזה פשוט אופי אחר של עבודה, זה אופי אחר של עיצוב, זה אופי אחר של איך שעושים פרודקט, ואני חושב שהיום הגיוני מאוד שזה עובד ככה, אבל אנחנו רוצים גם להגדיל את הצוות גרוף. ותשמעי, אני לא יודע אם את מגיעה לזה, אבל מסו בחצי שנה האחרונה אימפקט מטורף לחברה. מטורף. כאילו, השינויים שהם עשו על המספרים שלנו מטורפים. כן, קצת… אתם באים להעביר עלי את הפרק, כי… יש לי ככה, יש פה דף ש… רעמי הכין מראש. כן, אני… תשמעי שאת חנו, אני רו את אבירה מראשון, כל מיני מספרים על דף לבן. זה חשוב להיות… מדויק. growth, זה all about the data, הכל קשור על המספרים. אז אנחנו פה… בוא ככה תקריא לנו. לא, לא נקריא, אבל… ספונטני. ספונטני. וספונטני נעיף מבט בדף קצת, אבל… לא, בגדול, נכון, אז היו כמה טסטים מאוד מאוד מוצלחים, שממש הזיזו את המדדים. וב ת… סתם, לדוגמה, היה לנו… אחד הטסטים שעשינו, הוא דווקא היה הראשונים, והוא אחד הטסטים שנתנו המון המון אימפקט, זה שכשיוזר נכנס למערכת בפעם הראשונה, בהתחלה הוא פשוט נכנס והוא קיבל את המוצר, הוא לא קיבל שום דבר, וראינו שהוא לא מבין כאילו מה לעשות ואיפה ללחוץ, אז הוספנו סרטון וידאו קטן, שמופיע לו, והוא יכול… איך שהוא נכנס, מופיע לו הסרטון וידאו הזה של דקה, שמסביר לו מה הערך של המוצר, מה ה-value של המוצר, מה הוא יכול לעשות, מה הוא יכול… ו רנו, אוקיי, נר לו את ה-value, ואז הוא לבד ילך ויחקור. והסרטון הקטן הזה שלקח כמה שעות כאילו להכין ולהכניס לתוך המערכת, עשה אימפקט כאילו פסיכי, הוא העלה את האחוז היוזרים המשנים שלנו ב-25 אחוז, שזה כאילו מטורף, ואת השיפור הזה גם היה אפשר לראות ב-MRR שלנו, בעלייה ב-MRR של 33 אחוז. מה זה MRR? MRR זה בעצם ה-monthly recurring revenue, זה כמה כסף נכנס כל חודש לחברה מיוזרים משלמים. אז סתם בשביל טיפה מספרים להיכנס, אם היום ה-MRR של החברה, כל חודש לחברה נכנס 2.6 מיליון דולר מלקוחות משלמים, אז תחשבו על 33 אחוז, מעל זה. וזה הטסט היחסית? או שיש עוד דוגמאות כאלה בסדרי גודל כאלה? זה טורף. לא, זה טסט שהיה חריג יחסית, רוב הניצחונות שלנו הם לא כאלו גדולים, הם 6 אחוז, 7 אחוז, היה לנו עוד טסט למשל שהוספנו לוגוים,

של חברות אחרות שמשלמות, שהן מאוד מאוד מוכרות, כשאתה פותח את ה-payment form שלנו. זה הדבר הראשון שאתה תר . זה נקרא social proof בעצם. אנחנו מראים לך איך לקוחות אחרים מוכרים שמשתמשים בנו, ובעצם זה נותן לך, הסוקסקטוס שלנו, זה ייתן לך ביטחון. רגע, אבל לפני שאתם ממשיכים על התוצאות, בואו נשניה, נשאר בטסט הזה. איך, כבר זה נשמע לי פתאום סופר יצירתי, איך הגעתם בכלל למסקנה שיש סיכוי שהאדם כשהוא מגיע לפיימנט יעזור לו להרגיש ביטחון גבוה יותר כשהוא רו לוגוים של חברה אחרת? יותר מזה, הם הוסיפו שלב לפיימנט, זאת אומרת… נכון. זה עוד מסך ב צע. זה אפילו לא אינטואיטיבי, אתה אומר? זה ההפך מהאינטואיציה. איך מגיעים לטסט כזה, וגם איך מאשרים טסט כזה? על פניו זה יכול לעשות נזק. כן, בסדר. כל טסט באופן תיאורטי יכול לעשות נזק, ואין עם זה בעיה. אנחנו יכולים גם לא להוריד את המחשב. אבל יש טסטים יותר מהמראים ויש טסטים יותר בטוח. נכון, לגמרי. אבל איך הגענו לזה שזה יכול להיות טסט? חלק זה אימור, שהסביבה… חלק זה ב ת האימור, אבל חלק מזה היה גם דיברנו עם לקוחות. דיברנו עם לקוחות שלא הפכו למשלמים, דיברנו עם לקוחות שהפכו למשלמים, ניסינו להבין מה הענייה אותם, מה לא ענייה אותם. ולמשל, ספציפית בטסט הזה, ראינו שבכלל לא קשור לזה בעמוד שלנו, באתר שלנו, הרבה לקוחות בו איזשהו דף שהר איך חברות אחרות משתמשים בה. היה המון סרטונים שאיך חברות אחרות משתמשות בנו. כן, ו רו, אם הם יכולים גם אני יכול. אוקיי, מגניב, יש פה משהו? בואו ניקח את זה אבל למוצר, ובואו נתרגם את זה למשהו שכולם יכולים להתחבר עליו, והלכנו עם ההיפותזה הזאת בעצם, שסושל פרופס זה כלי מאוד חזק, ואימרנו, ובמקרה הזה זה הצליח. אגב, ניסינו סושל פרופס במזורים אחרים במוצר, זה לא עבד. זה כאילו, זה שקול. אני חושב שיש עוד טסט שבי מאוד נגע, שמסו, שהוא גם היה לא אינטואיטיבי. אנחנו בעצם, יש לנו דרופ מאוד גדול, בין כמות האנשים שהם, אני חושב שכל מוצר הוא ככה, שנרשמים למערכת, וחוזרים אחרי יום. אנחנו ממש רואים דרופ ענקי, זאת אומרת, הרבה מאוד מנסים, נרשמים, ואז למחרת לא חוזרים. למרות שהם עדיין בתקופת ניסיון חינמית. כן, כנר לא הבינו את ה-value, או שכחו, או לא משנה מה. ואני חושב שב ת, לאורך כל החיים של החברה, תמיד ניסינו לשנות את ה-onboarding, את החוויה של הכניסה למוצר. ו רנו, אולי לא הבינו את הממשק משתמש, אולי הם לא הבינו מה לעשות בתוך המוצר, בואו נעזור להם. ועשינו כל מיני, ב ת, אני זוכר אישית שכתבתי בערך שמונה ניסיונות כאלה, כמעט כל בן אדם שהצטרף לחברה, רנו, תקשיבו, יש לי רעיון אדיר, בואו נוליך את היוזרים ונסביר להם, הנה, פה אתם מוסיפים עוד עמודה, פה מוסיפים עוד תוכן. וב ת, ניסינו אינסוף אופציות כאלה, ושום דבר לא עזר. פשוט ראינו ששום דבר לא עוזר, ואני לא מבין, אנחנו מראים ליוזר מה לעשות בתוך המערכת, ואיך זה לא משפר בעצם את המדדים. ואני חושב שהטסט שעשה איזשהו שינוי משמעותי שם, היה שהלכנו לכיוון אחר לגמרי. שוב, הוספנו שלב, לא אינטואיטיבי, שבשלב הזה אנחנו מראים ליוזר כל מיני טמפלטים, שאיך אפשר לעבוד עם המוצר שלנו. בעצם משהו שמאוד מייחד את המוצר שלנו, שהוא מאוד ורסטילי. אפשר להשתמש בו להמון שימושים, והראינו להם המון המון טמפלטים. איך אפשר להשתמש בזה בפיתוח, ואיך אפשר להשתמש בזה במרקטינג, ב-HR וכולי. כדי שנייה לתת מושג לכמה שימושים אפשר לעשות עם המוצר, כמה ורטיקלים אנחנו אומרים שמשתמשים? יש לנו 200 ורטיקלים, והקטע הוא שכל ורטיקל בעצם המציא לעצמו את הטמפלטים שלהם. וראינו שבעצם לקחנו את הטמפלטים האלה, והכנסתם בתור איזשהו דיאלוג, שיוזר יכול לבחור בעצם איזה טמפלט הוא מתחיל בתור התחלה. מה זה טמפלט? תסביר קצת איך זה נר ? כן, זה בעצם החלק המרכזי אצלנו במוצר הוא בורדים, בעצם איזושהי טבלה כזאת, ופשוט הכנו כל מיני טבלאות שמשתפות תהליכים שונים במחלקות שונות בחברה. כל מיני שימושים שונים שאפשר לעשות בעצם במוצר. אז אם עכשיו אני במחלקת, אם אני עכשיו מתכננת אירועים, וזאת הליבה של העשייה שלי, אז אני יכולה היום להיכנס למוצר ובעצם למצוא איזשהו… כן, אם עשינו טמפלט כזה, כן. עשיתם? כן. עשינו. קיצור, אז הדבר הזה שיפר גם, אני חושב, אחד השיפורים הכי משמעותיים שלנו פה בחברה, גם ב-20 ומשהו אחוז. ולי נפל סימון מאוד מאוד גדול בדבר הזה, כי אני חושב שמה שניסינו לעשות לפני זה, זה רנו, אוקיי, היוזר מבין מה לעשות עם המערכת, בואו נוליך אותו, נסביר לו את הממשק, איפה מוסיפים ואיפה משנים. ופה באנו במקום אחר.

רנו לו, בוא נסביר לו את ה-value. בוא נסביר לו מה הוא יקבל, מה הוא יכול לעשות עם המערכת, מעבר אולי להתכוונות הראשונית שהוא הגיע למערכת, מה הוא עוד יכול לעשות איתה. וכל מיני דוגמאות של איך לעשות את זה. ואז הבנתי מה ההבדל בין להוליך מישהו ביד דרך השלבים לבין לתת לו מוטיבציה. כי מה שעשינו בעצם בהתחלה, שעשינו את ההון בורדינג וניסינו להוליך אותו במשק, ניסינו להחזיק לו את היד ולהוליך אותו. המוטיבציה שלו עדיין הייתה נמוכה, כי הוא ר איזושהי מודעה או לא יודע מה, או שמע מחבר וניסה שיש לו מוצר. אבל יש שאלנו לו את המוטיבציה, כבר לא היה צריך להסביר לו את ה-UI. כלומר, אוקיי, אני אשקיע בזה יותר מחמש שניות. לכל אחד יש כל כך הרבה על הראש, אז כאילו, אבל יש שאלנו לו את ה-value, פתאום יש לו מוטיבציה. מסקרנות והרצון לחקור את עצמו. מסקרנות והרצון, כן. אני חושב על עצמי, על כל המוצרים הנוראיים שכאילו, רציתי להשתמש בהם, אז הת צתי כשהשתמש בהם. ומה שלא באי להשתמש בו, כמה שהוא לא יהיה אינטואיטיבי וכיפי, אני פשוט אשקיע בו באנרגיה. אז זה כאילו בדיוק ההבדל בין לעשות מהלך שכאילו מסביר לו איזה value, לבין פשוט להוליך אותו ביד, בלי שהוא מבין למה אתה בכלל מוליך אותו. ורם, תגיד, טסט מצליח. אוטומטית עכשיו הוא נכנס למוצר? איך עובד התהליך הזה? כל מה שאתם אומרים עליו, שהוא עובד, אומרים עליו חברה בפיתוח ן? לא. כאילו, דבר ראשון, זה לא… אנחנו עושים דברים טיפה… בשביל להיות מסוגלים לרוץ מהר, ובשביל לבדוק את ההיפותזה שלנו, אנחנו לא תמיד צריכים לבנות את זה כמשהו מאוד refined ומאוד מאוד בשפה של הפרודקט זה נקרא. בקיצור, אתם עושים את זה מכוער. אתם עוברים על איזשהו גבולות, אבל כן, אנחנו עושים את זה ככה מהר, ואנחנו רק רוצים לבדוק את התיאוריה שלנו. רוצים את המינימום הרחבים של לבדוק את התיאוריה שלנו. ואז בעצם… כן, עשינו רגע בצד את העניין הטכני, אז כבר אפיתם אותו כמו שצריך והוא מוכן להגשה. עדיין. אל תה ככה תתחמק מהשאלה. כל מה שאתה אומר, אומרים עליו ן? לא חייבים, אבל זה… מה זה קורה בפועל? הכל זה מגובה בדאטא. ברגע שיש לך טסט והוא מגובה בדאטא, והוא מגובה כאילו ב… אתה מר את ההיפותזה ואתה מר מה הוכחת ואתה מר שהיא נהגות השתנה ואתה מר את העלייה במדדים. אז למה ש… אין בכלל שיחה, אתה אומר. כן, זה לא עניין של דעות. זה עניין של דאטה. אם הדאטא תומך במידע שלך, אז כאילו זה עובדה, זה ניצח. אין פה מקום לדעה. זה משהו שהוא מאוד… אני חושב שאחד הדברים שלמדנו, אני חושב ש-A-B-Test זה מתחיל בתור משהו שהוא קונספט שהרבה אנשים מכירים אותו. לכאורה נשמע פשוט, אבל אני יכול להגיד שאנחנו בתור חברה למדנו כל כך הרבה, עשינו כל כך הרבה טעויות לאורך הדרך, שזה פשוט מטורף. אני יכול לתת כמה דוגמאות. כאילו דבר ראשון, אני חושב שהרבה מאוד מהכלים האלה הם כאילו מראים מי ניצח בין שתי הפרייסות ברמה סטטיסטית. זאת אומרת, ודאות של 90 אחוז, 95 אחוז. אבל יש גם הרבה מאוד משמעות לסוג המוצר שלך ולכמות הקהל שבעצם נחשפת לאי-B-Test. כי הכלים האלה הסטטיסטיים, גם אם קהל יחסית קטן, יכולים כבר להגיד שאיזשהו קהל ניצח. ואני חושב שאנחנו הבנו את זה כשהתחלנו לעשות טסטים וראינו פתאום שאיזשהו טסט נר מאוד מאוד מבטיח, שיפר ב-30 אחוז, 40 אחוז, וכולם כבר היו בטוחים שהנה, פגענו. ואז אנחנו חכה עוד שבוע, שבועיים, סתם במקרה, ואתה רו שפתאום התוצאות מתהפכות. ואז רנו, רגע, יכלנו כבר לקבל החלטה להכניס את הדבר הזה למוצר, מה קורה פה? כאילו, what the fuck? כאילו, אנחנו עושים את ה-I-B-T-S לא טוב. ואני זוכר ממש שלפני חצי שנה עשינו, התחלנו לעשות A-A טסט. כאילו, לקחנו את המוצר ואת המוצר, אותו דבר, לא עשינו שום שינוי, חילקנו את היוזרים לשתי קבוצות רנדומלית, ורצינו לראות מה כלי-I-B-T-S שלנו אומר, אם מישהו מנצח. תיאורטית, פרקטית, אין שום סיבה שמשהו ינצח. ואז אנחנו מתחילים, ואנחנו רואים שאחרי שבועיים, הכלי מדווח לנו שגרסה-A מנצחת, שיפור של איזה עשרה אחוז. אוקיי. ואז חיכינו לראות בזמן מתי הדברים האלה מתאזנים. ולמדנו. כאילו, למדנו כמה טראפיק אנחנו צריכים בשביל לקבל אינדיקציה שהיא נכונה. וזה כאילו לנו סימון. ואז פתאום התחלתי לחשוב, רגע, עשינו בעבר כל מיני טסטים שהסתמכו על פחות אנשים, כברדפקנו משהו. אולי קיבלנו החלטות לא נכונות. וב ת, זה בעצם ממש עשינו פה אג'וקיישן מאוד רחב בחברה לכמה יוזרים אנחנו צריכים. אז נגיד לי, אני בהקשר הזה, כמה יוזרים אנחנו צריכים? אני חושב שאתה מכיר את הספרינטטו ממני. אבל… 40 אלף בכל וריאנט? לא, זה עומד על 25 אלף בכל וריאנט. 25 אלף אנשים שנרשמים.

נכון, בכל וריאנט, זה תלוי בסוג של הטסטים, הם יכולות 25 אלף אקאונטים שנרשמים, שזה כאילו גם, זה לא קשור לאנשים. אבל עוד משהו, נקודה חשובה לגבי ה-A8 טסט, זה ב ת שזה גם עזר לנו מאוד להתפקס, כי יש איזשהו טווח שאנחנו לא ב ת יכולים להיות ודאים לגבי התוצאות שלו, אלא אם כן אחרי המון המון זמן, שזה מה שאנחנו לא יכולים להחשוב לעצמנו, ואז בעצם הגדרנו, זה עזר לנו מאוד להתפקס, כי טסטים או היפותזות שלא חשבנו שיעשו אימפקט יותר מהטווח הזה, אנחנו גם, אנחנו זונחים אותם, אנחנו פשוט לא עוקבים אחריהם, כי אנחנו יודעים שהיום אין לנו את היכולת למדוד את זה. אז זה עוד משהו שאנחנו תמיד יושב לנו בראש. אם זה טסט שאנחנו חושבים שיעשה שיפור מאוד מאוד קטן, אנחנו אפילו לא נלך לשם. שזה גם משהו שלא היה בהתחלה של הגרוס, וזה משהו שלמדנו אחר כך, וזה נתן לנו המון המון פוקוס, ועזר לנו מאוד להתפקס. יש איזשהו טסט שהצליח בוודאות, ובכל זאת החלטתם שלא להתמיע אותו במוצר? כי נגיד סתם איפה ב השאלה, על פניו, אנחנו מדברים פה על, כמו שהרן ר, סטטיסטיקה ועל דאטה, וזה פן אחד. אבל בסוף יש לנו שפה עיצובית, יש לנו ערכים למוצר, יש לנו כל מיני דברים אחרים שמנחים אותנו בסופו של דבר. יש איזשהו רגע שבו הסתכלתם על טסט ו רתם, זה מצליח, אבל אנחנו לא מתמיעים? כן, היו כמה כאלו. אתה יכול לתת דוגמה? אני מנסה לחשוב על דוגמה. היה, רגע. אני יכול לשאול דוגמאות של טסטים שלא ניצחו, אבל בחרנו אותם. כן, זה דווקא הפוך. כן, אני גם יכול לזכר. זה היה יותר יתאים לערכים של המוצר. נכון, נכון, נכון. אני זוכר עכשיו דוגמה, לדוגמה שעשיתם איזשהו טסט, שפתחת את המערכת בלי תוכן. זאת אומרת, בבורד לא היה תוכן. נכון. והוא שיפר את כמות האנשים שהפכו לקרות ושלמים, אבל ראינו שהיוזרים מתקשרים פחות אחד עם השני. זאת אומרת, הוא פגע באיזשהו מדד אחר, שהוא מאוד מאוד חשוב לנו בתור חברה. איזשהו ערך מאוד חשוב. ולמרות שהוא שיפר, אני חושב בשישה-שבעה אחוזים, רנו, אנחנו לא מוכנים לפגוע בערך של התקשורת בתוך המוצר, אז אנחנו החלטנו לחזור אחורה. כן. ודוגמה לטסט ב ת שלא הצליח מבחינה סטטיסטית, אבל החלטנו בכל זאת להתמיע? שלא הצליח… לא יודע, ויש לי עוד דוגמה מגניבה. יאללה, לך, לך. אני מתחרק מהשאלות של יאו, אתה רו ? יפה, אתה עושה את זה הרבה יותר יפה ממני. מה, להתחמק? כן. כן, יש לי ניסיון איתה. זה לא הפודקאס הראשון של איתה. וואי, וואי. קיצור, אז אנחנו צריכים לפעמים טסטים שאנחנו קוראים להם דפנסיביים. זאת אומרת, אנחנו מעלים טסט על משהו שהוא בכלל לא ור לשפר, אנחנו פשוט מפחדים שהוא ידפוק. אני יכול להגיד לך דוגמה, אנחנו החלטנו באיזשהו שלב לעשות ניסוי של לשאול בתהליך הרשמה את הבן אדם האם הוא מנהל או לא מנהל. ככה זה נר לנו הגיוני. רנו, אולי אנחנו ככה נוכל לחזות יותר טוב מי הולך להיות לקוח משלם, אולי נדע ל… יוסיף את הצוות שלו. כן, כל מיני סטטיסטיקות. לכאורה, השאלה הכי תמימה בעולם. שאלנו, are you managing people בתהליך הרשמה? כן או לא? ו רנו, טוב, בוא נעלה את זה עם מייבי טסט, just in case. ועלינו את זה, קיבלנו מידע, ופתאום ראינו שהדבר הזה הוריד לנו את האחוז המרב ב-10 אחוז. אני כאילו, what the fuck? אז התחלנו להמציא תיאוריות. זה גם הקטע שאתה מצליח או מפסיד, אז אתה מעלה תיאוריות, כי אתה לא ב ת יודע למה, אבל רנו, אולי אנשים שהמוצר שלנו אפשר גם ל ץ אותו על ידי אנשים שהם לא מנהלים, אז אולי אנשים, גם שאלנו, האם אתה מנהל? אז אולי אנשים שהם לא מנהלים הרגישו שהמוצר הזה לא בשביליהם. כאילו, אולי ניסינו לפלטר אותם, או לא יודע מה. מה הדפנסיבי בזה? הדפנסיבי בזה שלכאורה, יכלנו להגיד, בוא פשוט נעלה את השאלה הזאתי. היא לא נוגעת במוצר, היא שמה איזושהי שאלה שהיא אופציונלית לענות עליה. ראינו שהיא גם לא הורידה את כמות האנשים שהשלימו את הארליך הרשמה. זה הקטע, שזה לא הוסיף להם פריקשן, מה שנקרא, בדרך להרשמה, שפחות אנשים נרשמו, אבל פחות אנשים שילמו. שזה, כאילו, אנחנו בדקנו שזה לא דווק את תהליך הרשמה, ובגלל שאנחנו תמיד עושים טסטים שהם מאוד דפנסיביים, בדקנו שזה לא דופק את כמות האנשים שהופכים ללקוחות משלמים, וראינו שזה כן. ואנחנו היום, פיצ'רים שאנחנו מעלים, גם אם הם בצד, וגם אם הם לא ורים להיות, לא ורה להיות להם השפעה כאילו מיידית על המוצר, או על החוזרים שאנשים שהופכים לקרות משלמים, אנחנו בודקים אותם. ואנחנו מגלים דברים מאוד מאוד מפתיעים. מהדבר הזה. כמה טסטים אתם מריצים במקביל? כל רגע נתון יש רק הגרוס מריצים בערך שישה-שבעה טסטים, ועוד צוותים אחרים מוריצים עוד טסטים, זה בערך עשרה טסטים בכל רגע נתון.

זו הייתה שאלה את ביניים. אבל סבבה, חשבתי שתגיד לי יותר מאחד, אבל איך זה עובד? איך זה יכול להיות? מה שהרגע אנחנו עכשיו תיאר? פתאום הבנתי שצריך לדעת בוודאות מוחלטת שהקונברז'ן לפיימנט ב ת נפגע מזה שהוספנו שאלה על מנהל או מנהל. אם אתה מריץ שישה, שבעה, עשרת טסטים במקביל, איך אתה יודע לשייך את האפקט הזה מטסט אחד או לשני? אז אחד העקרונות זה ב ת שהטסטים אף פעם לא יכולים לרוץ על אותו אזור במוצר. אנחנו מבודדים בעצם את האזורים שבעליהם הטסטים רצים. אם הם רוצים לרוץ במקביל הם חייבים להיות על אזורים שונים בשביל שנדע מה ההשפעה של כל טסט ונוכל לבודד אותה בעצם. ואז ב ת זה לא אפשרי אם יש לך שני טסטים שרצים על אותו אזור, אם אתה גם משנה את הצבע של הכפתור וגם משנה את הגודל שלו, אז אתה לא יודע מה השפיע. אתה יודע שכאילו אולי זה השפיע, אולי זה השפיע. כמו בדוגמה השאלה נתאר, אז הדבר היחיד שכששיניתם בתופס הרשמה היה את השאלה הספציפית הזאת בהכרח. במסך הספציפי הזה זה הדבר היחידי ששינינו. ובמסך הנפני, בכל זאת הקשמה, מסך אחרי זה, כי הרי רנו שבסוף זה כן השפיע על מדד אחר, המדד לא ישיר על פניו. נכון. איך אנחנו יודעים שמשהו אחר הוא השפיע באותו הזמן על אותו המדד? אז אוקיי, זה עוד פעם עניין של סטטיסטיקה שבעצם בגלל שהטסטים לא תלויים, אז בעצם כל אחד יכול לקבל איזושהי גרסה שונה של המוצר. אחד יקבל למשל עם השאלה החדשה שהצגנו, ולמשל אם בסטפ שאחריו שינינו צבע של כפתור, אז עם השינוי צבע של הכפתור. ויוזר אחר יקבל עם השאלה, אבל בלי השינוי צבע של הכפתור. הטסטים לא תלויים אחד בשני, ואז בעצם נוצר על כל שני טסטים בעצם יש ארבע גרסאות של המוצר שאתה יכול לקבל. אוקיי? שתיים בחסקת. זאת אומרת, מדגרים מחדש, תעבור כל טסט. תעבור כל טסט. נכון. וצריך להבין שכשהויר אומר שיש לנו עשרה טסטים במקביל, כל אחד עם שני וריאנטים, זאת אומרת שבכל רגע נתון, אנחנו כרגע, יש שתיים בחסקת עשר, אלף גרסאות שונות של האתר. נכון. זאת אומרת, רק אחד מתוך אלף משתמשים יקבל את אותו גרסה בדיוק של האתר. כשאתם אומרים את זה, אני מבינה שזה משפיע בעצם על עוד חלקים בחברה. מה עושים בתמיכה הטכנית כשמתקשר מישהו ואומר, יש לי כפתור צהוב שלא עובד. כפתור צהוב ענקי. ענקי. ויגידו לו בתמיכה הטכנית, וואלה, אצלנו במוצר אין כפתור צהוב. איך נמנעים מהדבר הזה? אני חושב שלא עושה כפתורים צהובים, אווירה. כרגע לא, אבל אולי נמשיך, מי יודע. אז נכון, זה אתגר, וזה אתגר שה-Customer Support שלנו מתמויים, דווקא מאוד מאוד יפה, אבל בשביל להקל עליהם, אז בטסטים שהם מאוד עקוטים וכבדים, ודברים שמאוד מאוד משנים, דברים מאוד מאוד גדולים במוצר ובחוויה של המשתמש, אנחנו מסמנים את הגרסה שהיוזר מקבל אצלהם בטיקט. הם יודעים אם הוא קיבל את הווריאנט הזה או את הווריאנט הזה, איזה גרסה הוא קיבל בעצם בשביל לדעת איך לפנות אליו ואיך בעצם לתת לו את הטיפול הכי טוב, אבל זה לא קורה על כל טסט שאנחנו מעלים, זה רק קורה במאוד מאוד כבדים ורצינים. כאילו עברנו פה איזה 40 דקות באיזה כיף להיות בגרוותים ואיזה כיף להיות אווירם. לא השתכנעת. לא, אז בא לי ככה להכאיר את האווירה. מתי לא כיף לך? מתי אתה מודאג? איפה בכל זאת אתה מוצאים אתגרים? את תמיד חיובית, ליאו. לא, אנחנו נהפוך את זה לחיובים וספרתי די, אבל שנייה לפני זה… אז בעיקר בהתחלה, כשאתה לא פוגע בשום דבר בטסטים שלך, זה מתעסקל בטירוף. בהתחלה של הטסט או בהתחלה של העבודה? בהתחלה של העבודה על האזור. גם בהתחלה עכשיו שהוקם הצוות. הצוות לא הוקם לפני הרבה זמן, אז עשינו המון המון המון טעויות שבדיעבד כאילו מאוד פגעו בלמידה שלנו והלכנו הרבה פעמים אחורה. לקחנו צעד אחורה בשביל להתקדם קדימה, וזה היה מאוד מתעסקל. אבל גם ברגע שהתחלנו להתמקד באזור ספציפי, אז גם אנחנו עוד לא מכירים את האזור, אנחנו עוד לא יודעים מה יעבוד, אז בהתחלה כל הטסטים שלנו נכשלים. קצת כאילו לגשש בהפעלה כזה. נכון, עד שאנחנו מצליחים להתפקס ולהבין מה עובד ומה לא עובד, וזה נורא מתעסקל. במיוחד שאתה יכול לשבת על טסט כמה ימים טובים ולקודד אותו, וזה גם החלק של לא להיקשר, כי זה לא קשור. אנחנו לא יכולים לשמור טסט כי מישהו שם שם המון אפורט, וזה מאוד מתעסקל, אבל ההצלחות שוות את זה. ההצלחות לגמרי מחסות על זה, וברגע שאתה רו את האימפקט ואתה רו כמה הישגת, זה אחד דרייב. מספיק אחד קטן בשביל הצלחה אחת קטנה, בשביל לתת לך דרייב להועדת 20 טסטים שנכשלו. אני ממש זוכר, מסול לפני ארבעה חודשים, יש לנו כל יום חמישי קמפני מיטינג, שכל פעם מביאים איזושהי הצעה אחרת, והצוות של הגרוף עלה, וסיכם בעצם שלושה חודשים.

תודה שעבודה. הם הריצו שלמעלה ממ טסטים, אבל הם הראו את הטסטים שבעצם שיפרו, ודיברנו על הווידאו, דיברנו על הטמפלטים, והראו שם עוד כמה דברים. היה שם משהו במובייל, ופשוט הראו ככה טסט, כמה שיפרנו באחוזים, כמה זה משפיע על הבטם ליין של הרביניו של החברה. זה היה הרצ שקיבלה הכי הרבה מחיאות כפיים, כאילו, אבר, כי האנשים הבינו איזה אימפקט אדיר הם עשו על החברה. הם הצוות הזה רק במהלכים שהם עשו, הם הוסיפו לנו כמעט עשרה מיליון דולר בהכנסות שנתיות בשלושה חודשים האלה. אין יותר אימפקט מהדבר הזה, זה היה מרגש ברמות, ועם כל הקשיים שהיה להם, זה היה פשוט מדהים. זה ההצלחה הכי לפנים שאפשר. הצטחתי לך שנסיים את זה בנימה חיובית, לא? הופעה. רתי לך שנפוך את זה לאופטימי. לאשוטי, את מורידה. תגיד, ויש משהו שאתם עדיין לא יודעים לעשות מבחינה מתודית, מבחינת תהליכי העבודה שלכם? כן, אז ב ת אחד הדברים שאנחנו עדיין עובדים עליו מאוד… חזר להוריד, אירן. כן, כן, לא, אני כבר התעגלנו. שאנחנו עדיין עובדים עליו מאוד קשה, זה בעצם כמו ש רנו בהתחלה, חשוב מאוד שהקצב של הטסטים יהיה מאוד גבוה, והצוות של הגרוף, צוות גרוף חייב לעבוד בקצב מאוד מאוד גבוה, וזה מתנגש כרגע עם זה שכל טסט חייב לערוץ זמן מאוד ארוך יחסית, בין שבועיים לשלושה. אז אנחנו מחפשים דרכים לקצר את הזמן שבו אנחנו צריכים להריץ כל טסט. אנחנו בעצם מחפשים איזשהו פרוקסי, זה נקרא, איזשהו מדד שיאפשר לנו לנבא אם הטסט יצליח או לא יצליח. ואנחנו עוד לא לגמרי, עוד לא לגמרי כאילו מבינים מה זה המדד הזה, אנחנו חוקרים כל פעם כיוון אחר ומנסים לראות מה יכול לנבא בצורה הכי טובה או הכי מדויקת, בשביל שנוכל להריץ, שנוכל לדעת בזמן הכי קצר, נגיד תוך 24 שעות, טסט ניצח, סבבה, ונמשיך לבא, בלי לחכות לתוצאות אם יוזרים התכנברותו ושלמו, בלי לחכות לזה. אז זה משהו שהוא מאוד מאוד בפוקוס שלנו ומשהו שעובדים עליו מאוד מאוד קשה, וברגע שנפתח את זה… נערך אותך שוב ותוכל לספר לנו, שפתח את זה. אני יה עסוק מדי בכתוב טסטים, ברגע שאין לזה קצב, תהיה קצב מטורף, נוכל לרוץ בקצב אדיר. אבירם, תודה שהיית איתנו. היה תענוג. ממש תודה, אבירם, היה כיף. היה תענוג. תודה, אירן. תודה, ליאור. תודה לכם שהזנתם. סטארט-אפ פור סטארט-אפ.