1: מפצחים A/B testing

אבירם גבאי, מפתח בצוות הצמיחה, סיפר לנו איך לבצע טסטים נכון, מה האימפקט של טסט מוצלח על החברה, למה זה בסדר גמור שטסטים נכשלים - כל עוד לומדים מהם משהו, מה עושים כשהדאטה והערכים של

We recorded our episode on A/B testing with Aviram Gabay from monday.com’s Growth team twice. We had to see which version was better A or B. Ok, the sound quality of the first one was really bad, but we couldn’t help but make the joke.

Aviramshared with us how you can conduct A/B tests right. The impact of a successfultest and why it's ok that some tests fail as long as you learn from them. Notto mention what they do when data and company values conflict. We alsodiscussed the Growth team's greatest challenge: how to move faster.

Our A/B testing doesn’t come with a list of rules but a lot of potentials if done right.

Episode transcript

Automatically transcribed — it may contain errors.

הזדמנויות האלה אנחנו…

קודם כל משתפים אותם בתוך הצוות, אבל תמיד משתפים הכל בתוך החברה, כי יש המון המון צוותים אחרים שמסתמכים על הניתוחים שלנו, וגם הם משתמשים בזה בשביל לנסות לתקוף את אותה מזדמנויות מהצד שלהם. לא רק גרוס עושים טסטינג, כל הצוותים בחברה עושים טסטינג ובי טסטינג, ובעצם אנחנו עושים הכי הרבה, באיפר. אבל כל אחד יש לו את הזווית ואת התיאוריה שלו לגבי ההזדמנות הזאת בעצם, שהוא יכול לקחת אותה לכיוון שלו. ואיך בוחרים? רתם קודם, גם אתה וגם אירן, שעל פניו אפשר לעשות טסט על כל דבר באתר, מן הסתם צריך לתעדף, ויש דברים שיותר חשובים מאחרים. איך מזהים מה יותר חשוב? אוקיי, אז ב ת אחרי שאנחנו מזהים הזדמנויות, אנחנו מפתחים בעצם מה שנקרא היפותזה או תיאוריה לגבי מה יכול לשפר את האזור הזה. ובתהליך הזה של היצירה של התיאוריה, אצלנו זה פשוט נקרא היפותזה, אז אני אגיד היפותזה מעכשיו. סגור. יותר נוח לי. בתהליך הזה של היצירה של ההיפותזה, אנחנו גם מנסים לקמת מה תהיה ההשפעה אם נשפר את האזור הזה. כי יכול להיות שיש כפתור שמעט מאוד לוחצים עליו, אבל הוא לא כל כך רלוונטי מבחינתנו, אנחנו לא חושבים שהוא יעשה אימפקט גדול על המספרים של החברה. אז גם אם נשפר אותו, זה לא יזיז את המחת, גם אם נגרום להמון אנשים ללחוץ עליו, זה לא יזיז שום דבר, אז אנחנו לא ניגש לשם בכלל, אנחנו לא ניגש להזדמנות הזאת. אבל תסבירי עוד פעם מה זה היפותזה, אולי תן דוגמה אפילו. אוקיי, אז דוגמה למשל להיפותזה זה שלמשל יוזר, אנחנו מרגישים שיוזר נכנס למערכת שלנו, ואנחנו רואים שהוא חסר אוריינטציה. יש לנו היפותזה כזאת. זה השערה. ההיפותזה, סליחה, זה ההזדמנות, אנחנו רואים שהוא חסר… רגע, חדש. חדש. אנחנו רואים הזדמנות, אוקיי? שאנחנו שמים לב מניתוח של דאטה שיוזר נכנס למערכת, והוא חסר אוריינטציה, הוא לוחץ על דברים שהוא לא ור ללחוץ עליהם, מתמקד בדברים שהוא לא ור ללחוץ עליהם. ואז הייתה לנו היפותזה לגבי למה הוא חסר אוריינטציה, כי חשבנו שיש לו המון המון כפתורים מול העיניים, המון המון דברים ללחוץ עליהם, שלגונבים את הפוקוס. של השפה בעצם שלהם. זה הפוקוס נגזירואים שתופסים על הפוקוס. זו הייתה היפותזה. זאת אומרת, יכול להיות שזה נכון, זו הייתה איזושהי השערה שלכם, יכול להיות שזה גם לא נכון. נכון. אבל זה בעצם איזושהי תיאוריה או היפותזה שבעצם העליתם ללמה הוא עושה את זה. נכון. ואז מה עשיתם כדי לבדוק את זה? אז מה שעשינו, אחד הדברים שעשינו בשביל לבדוק את זה, זה ב ת יצרנו A-B טסט, שבגרסה החדשה של המוצר, ניקינו את כל הכפתורים שלא חשבנו שהם רלוונטיים לדקות הראשונות של היוזר במערכת. אוקיי. גרסה הרזה כזאת שלהם. גרסה הרזה של המערכת, כן. איך היה? אז ספציפית הטסט הזה, למרות שהייתה לנו היפותזה מאוד חזקה, לא הצליח. לא הזיז את המחת, לא עשה שום דבר, אבל עמדנו מזה. בעצם מה שלמדנו מזה, זה שבעצם זה לא האומץ הקוגניטיבי שצריך להפריע לנו, זה איך אתה מפקס את היוזר, בלי להוריד ממנו פונקציונליות מהמוצר. זה עדיין מתחיל להתמקד, זה מה שלמדנו מהטסט. עשינו אחר כך follow-up טסט שישרו את ההיפותזה, את המשך הזאת, אבל זה ב ת משהו שלמדנו כשראינו שהטסט הזה נכשל, רנו אוקיי, אז זה לא האומץ שמפריע לו, זה החוסר פוקוס. זה לא הריבוי כפתורים, שהוא לא יודע על מה ללחוץ. כמה זמן צריך להריץ בעצם טסט כדי להגיע למסקנה כזאת? זה תלוי טסט, אבל הרוב הטסטים האלה הורצים בין שבועיים לשלושה, כי אצלנו במערכת יש היום תקופה של ניסיון של שבועיים, שהמוצר הוא בחינם, ורק אחרי שבועיים יוזרים חייבים לשלם. אז בעצם בשביל למדוד את ההשפעה של הטסט שלנו, איך זה תורגם ללקוחות משלמים במקרה שלנו, אז אנחנו צריכים לחכות בין שבועיים לשלושה. אבל אם אני מבינה נכון, זה בגלל שזה טסט שמתמקד בהמרה, ב-conversion של סיינאפים ללקוחות משלמים. זאת אומרת, אם תתמקדו בבעיה אחרת, באזור אחר במוצר, אולי תצטרכו פרק זמן יותר קצר או יותר ארוך. נכון. היעילות הזה של השבועיים תקופת ניסיון רלוונטי רק כשאתה מודד את האזורים האלה בעצם. נכון. כן, יש מוצרים שאין להם את השבועיים ניסיון האלה, אז הוא יכול להיות שאפשר לעשות טסטים יותר מהירים. אצלנו ספציפית, פשוט החלטה שלהם היא אחרי שבועיים, אז במינימום צריך להמתין שבועיים כדי לקבל איזשהו… ואיך זה מרגיש להמתין שבועיים? זה בהרבה מקרים ככה. בוא תספר לנו איך עוברים השבועיים האלה. איך עוברים השבועיים האלה? השבועיים האלה קודם כל עוברים בזה שאנחנו כבר מתכננים מעלה מה אנחנו עושים בשלבים הבאים, אם הטסט יצליח או אם הוא נכשל. תמיד יש לנו פולו-אפ טסטס בשביל…

מה קורה הל ? זה מזכיר לי את הספרים האלה כשהייתם קטנים, אתם זוכרים שהיה ספר כזה שאפשר לבחור את הסוף? כאילו באיזשהו שלב בספר, הוא אומר לך, כן, אם אתה רוצה ללכת לעמוד 200, אז כאילו אווירם… זה הדבר שהייתי קוראת כל הספר ברצף? גם אני. אז זה מה שאווירם אומר, שהם כאילו בעצם מחזיקים את שני הסופים ביחד וכבר בונים את המשך העלילה. כן, חבל שהוא חייב לתכנת כל AB טסט בדרך. זהו, זה נשמע קצת לא יעיל. זה לא ין שזה לא יעיל, אנחנו לא מתכנתים את כל הטסטים. אנחנו קודם כל מכינים היפותזות. אוקיי, אז בואו נדבר על כל הפלור רגע. אוקיי, יאללה. אז בעצם השלב הראשון זה, כשדיברנו עליו זה, מציאת הזדמנויות. וברגע שיש לנו הזדמנויות, אנחנו ממשיכים לשלב הבא, שזה להרכיב היפותזות ללמה משהו קורה או למה משהו לא קורה. איך מגדירים בעצם היפותזה? אנחנו מגדירים מה אנחנו רוצים, למה אנחנו חושבים שמשהו קרה. אם היא מומששת, אז בעצם אנחנו לומדים שבעצם ההיפותזה שלנו הייתה נכונה, אבל גם חשוב לנו מאוד להגדיר מה קורה, מה למדנו, אם ההיפותזה לא הצליחה, וההיפותזה שלנו בעצם לא הייתה נכונה. אוקיי, זאת אומרת, לפני שאתה כותב איזושהי שורת קוד, אתה דבר ראשון מניח, זאת אומרת, אבל זה קצת מוזר, כי כאילו אתה מניח שזה יצליח מן הסתם. מקווה שזה יצליח. מקווה שזה יצליח. אבל אתה עדיין מתכונן למה יקרה אם זה יצליח ומה קורה אם זה נכשל. כן, אז הגדרה אצלנו למצליח היא בעצם קצת שונה. כאילו אנחנו מקווים שזה ישפר את המדדים, אבל זה לא בהכרח ישפר את המדדים. מבחינתנו, הצליח או לא הצליח, זה אם למדנו מהטסט. זה לא אם זה שיפר את המדדים. אוקיי. כי בעצם גם טסט שנכשל ולא שיפר, ועדיין למדנו ממנו, זה טסט מבחינתנו מוצלח. תן דוגמה לטסט כזה. למשל הקלינבורד שדיברנו עליו ממש לפני כמה דקות, הייתה היפותזה מאוד מאוד חזקה, שיש אומס קוגנטיבי מאוד רציני על היוזר, שהוא מבולבן מכל הכפתורים. ובעצם הטסט הזה נכשל. ברגע שבדקנו את ההיפותזה בצורה מאוד מאוד ממוקדת, בדקנו רק את ההיפותזה הזאת, גילינו שהיא לא נכונה. ואז בעצם למדנו מזה שאוקיי, האומס הקוגנטיבי זה לא מה שמפריע ליוזר. אז בעצם ניסינו דברים אחרים. לקחנו ככה פנייה אחרת, רנו זה לא האומס הקוגנטיבי, זה החוסר פוקוס. זאת אומרת, אם אני צובע למה שאתה אומר, הטסט הצליח, כי ניקיתם את הדבר הזה במוח שלכם. זאת אומרת, מבחינתכם עכשיו, זה שלמישהו הייתה תיאוריה בצוות, של היוזר אומס קוגנטיבי, זה כבר היום משהו שאתם, מבחינתכם, הוא אוף דה טייבל. זה לא בעיה. אתם מתמקדים באזורים אחרים, אז התקדמתם. התקדמנו, בדיוק. הטסט נכשל, אבל התקדמתם. כלומר, זה בעצם גם עזר לכם להתמקד. נכון, נכון מאוד. זה עזר לנו להתמקד ולבדוק היפותזות המשך בכיוונים אחרים. פשוט לא רדפנו… אבל בשביל שזה יקרה, אם אני מבינה נכון, זה קריטי שתגדירו את ההיפותזה ככה שהיא יכולה ב ת להיכשל גם, לא רק להצליח. נכון, זה מאוד מאוד חשוב, זה מאוד מאוד קריטי, שההיפותזה תהיה בשלה, זה אומר שאנחנו נדע מה זה אומר אם היא ניצחה כמובן, ונדע מה זה אומר אם היא הפסידה. אם ברגע שאנחנו לא יודעים אחד מהכיוונים, אנחנו בכלל לא נכתוב טסט שמנסה ליישש את ההיפותזה, כי יש סיכוי שלא נלמד. אז חבל על הזמן הזה שבזבזנו לחכות שהטסט ירוץ. אפרופו זמן המבוזבז, כמפתח, איך זה מרגיש שאתה בעצם כותב קוד שהוא זמני? זמני מאוד? ארכי סוד בגרון. אל תקשר לקוד שלך, כי אין מה לעשות. מה היחס? כמה טסטים ממה שאתה כותב, הצוות כותב, נשארים בסוף בתוך המערכת? אז זה מיני, בגלל שיש עקומת למידה של האזור, אז בהתחלה 90% מהטסטים נכשלו בשבועות הראשונים. זאת אומרת, מתוך עשרה קטעי קוד שכתבת והעלית לפרודקשן, מחקת תשעה. כן, במקרה הטוב מחקנו תשעה. ולאט לאט, ככל שאנחנו מבינים יותר ויותר את האזור, ויש לנו יותר ויותר היפותזות שאיששנו, הפרחנו, אנחנו יודעים איך לדקור יותר טוב את מה שמפריע ליוזרים שלנו. ובעצם ככה אנחנו, הטסטים שאנחנו מעלים, הולכים לאט לאט יותר ויותר, יש לנו טסטים שמנצחים. ואז בעצם זה הולך ומתאזן. זה לא מגיע ל-50-50, אבל זה מגיע ל-70% שלא הצליחו, כאילו 30% הצלחה, 40% הצלחה. אבל החלק החשוב פה, שזה לא בכך הגודל של הטסט. כאילו יש לנו טסטים מאוד מאוד גדולים, ששינו סדרי עולם במערכת. גודל מבחינת קוד אתה מתכוון? מבחינת קוד ומבחינת חוויה, שלא הזיזו את המחת. ודווקא הדברים הקטנים האלה, שכזה בנצטה דקרו איזה נקודה שכאבה ליוזר, זה הדברים שהטיסו את המדדים למעלה. וואי, יש לי שאלה אליך. אופא. אופא. תכיר אותי. השכחו, ככה העיניים השכחו.

זה צוות חדש יחסית, בין פחות משנה. מה היה בחברה לפני זה? על פניו היום זה כלי ודרך עבודה שהיא בלתי נפרדת, וכל החלטה במוצר עוברת דרך הצוות, אבל מה עשיתם לפני שהיה צוות גרוף? שאלה טובה, כי עכשיו קשה לדמיין את החברה בלי הצוות. אז בוא תעצום עיניים. אופס. להחזיר אותך לשנת 2015. וואו, כל כך רחוק. 2016, 2017. כן. אז מה שקרה, אני חושב שמאוד התחדד לנו בזה שאתה צוות גרוף, כי עד היום כולם עושים A-B טסטים. זה לא שהם היחידים שעושים טסטים במערכת, וחס וחלילה שהם היחידים שצריכים לשפר את המדדים, כאילו הצוות של הפיתוח גם תוסק בזה המון. אני חושב שמה שקורה כשהחברה גדלה, זה שיש איזשהו מתח כזה של, בצד אחד יש לך המון פיצ'רים חדשים שאתה רוצה לפתח, יש לך עוד מטלספיק, ויש לך באגים לתקן וכל מיני דברים של מייטננס, ואני חושב ששמים לב שפתאום לפיתוח יש פחות תשומת לב, עכשיו בוא נתחיל להריץ טסטים, וראינו שזה נופל בין הקיצרות. זאת אומרת, זה לא שלא הייתה להם מוטיבציה או רצון לעשות את זה, פשוט הקפסיטי שלהם במוח לא צריך להחזיק גם לפתח פיצ'רים חדשים, גם לתקן באגים, וכמו תמיד, אם אתה רוצה לייצר כאילו איזשהו כוח עבודה שעובד לאיזה מקום, אז החלטנו לפצל את הצוות. מה שאני חושב שממש מגניב, זה שהצוות של הגרוף, הוא יכול לגעת בכל מקום במערכת. זאת אומרת, זה לא שיש לו מנדט רק לגעת בסיינאפ, או רק לגעת בהום פיידג', או רק לגעת ב… הם יכולים לגעת בכל מקום. אנחנו חבר'ה שהיו בתוך הפיתוח, מעבירים אותם לצוות גרוף, הם מכירים את כל המערכת, והם עובדים ממש בסינרגיה טובה עם הפיתוח, והם פשוט נוגעים קרוס הכל. זאת אומרת, בפייסינג, בתמחור, ובתוך המוצר, והם נוגעים כאילו אקרוס כל החברה בעצם. אבל מה שמגניב, שממש ממש מפוקסים על הדבר הזה. וזה פשוט אופי אחר של עבודה, זה אופי אחר של עיצוב, זה אופי אחר של איך שעושים פרודקט, ואני חושב שזה היום הגיוני מאוד שזה עובד ככה, אבל אנחנו רוצים גם להגדיל את הצוות גרוף. ותשמעי, אני לא יודע אם את מגיעה לזה, אבל מסו בחצי שנה האחרונה אימפקט מטורף בחברה. מטורף. כאילו, השינויים שהם עשו על המספרים שלנו, מטורפים. תן קצת… תן אולי לאווירה מספר, כי… שיהיו ככה… יש פה דף שווירם הכין מראש. כן, תשמעי שהתחלנו, אני רו את אוויר המושלם, כל מיני מספרים על דף. כן, זה חשוב להיות… מדויק. גרוף זה all about the data, הכל קשור למספרים. אז אנחנו פה… ספר לך, תקריא לנו. לא, לא נקריא, אבל תודה, ספונטני. ספונטני, בספונטני נעיף מבט בדף קצת, אבל… לא, בגדול נכון. אז היו כמה טסטים מאוד מאוד מוצלחים, שממש הזיזו את המדדים, וב ת סתם לדוגמה, היה לנו אחד הטסטים שעשינו, הוא דווקא היה הראשונים, והוא אחד הטסטים שנתנו המון המון אימפקט, זה שכשיוזר נכנס למערכת בפעם הראשונה, בהתחלה הוא פשוט נכנס והוא קיבל את המוצר, הוא לא קיבל שום דבר, וראינו שהוא לא מבין כאילו מה לעשות ואיפה ללחוץ, אז הוספנו סרטון וידאו קטן שמופיע לו, והוא יכול איכשהו נכנס, מופיע לו הסרטון וידאו הזה של דקה, שמסביר לו מה הערך של המוצר, מה ה-value של המוצר, מה הוא יכול לעשות, מה הוא יכול לזה, ו רנו אוקיי, נר לו את ה-value ואז הוא לבד ילך ויחקור. והסרטון הקטן הזה שלקח כמה שעות להכין ולהכניס לתוך המערכת, עשה אימפקט פסיכי, הוא העלה את האחוז יוזרים המשלמים שלנו ב-25 אחוז, שזה כאילו מטורף, ואת השיפור הזה גם היה אפשר לראות ב-MRR שלנו, בעלייה ב-MRR של 33 אחוז. רגע, מה זה MRR? MRR זה בעצם ה-monthly recurring revenue, זה כמה כסף נכנס כל חודש לחברה מיוזרים משלמים. אז סתם בשביל, טיפה מספרים להיכנס, אם היום ה-MRR של החברה, כל חודש לחברה נכנס 2.6 מיליון דולר מלקוחות משלמים, אז תחשבו על 33 אחוז on top of that, מעל זה. וזה הטסט היחיד שעשית או שיש עוד דוגמאות כאלה? בסדרי גודל כאלה. זה מטורף. לא, אבל זה טסט שהיה חריג יחסית, רוב הניצחונות שלנו הם לא כאלו גדולים, הם 6 אחוז, 7 אחוז, היה לנו עוד טסט למשל שהוספנו לוגואים של חברות אחרות שמשלמות, שהן מאוד מאוד מוכרות, כשאתה פותח את הפיימנט פורום שלנו. זה הדבר הראשון שאתה תר . זה נקרא social proof בעצם. אנחנו מראים לך איך לקוחות אחרים מוכרים שמשתמשים בנו, ובעצם זה נותן לך סוג של היפותזה שנוצרה שתיתן לך ביטחון.

רגע, אבל לפני שאתה ממשיך נר תוצאות. בוא נשניה נשאר בטסט הזה. איך, כלומר, זה נשמע לי פתרון סופר יצירתי. איך הגעתם בכלל למסקנה שיש סיכוי שהאדם כשהוא מגיע לפיימנט יעזור לו להרגיש ביטחון גבוה יותר כשהוא ר לוגוים של חברה אחרת? יותר מזה, הם הוסיפו שלב לפיימנט. זאת אומרת, זה עוד מסך ב צע. זה אפילו לא אינטואיטיבי, אתה אומר. זה ההפך מהאינטואיציה. איך מגיעים לטסט כזה וגם איך מאשרים טסט כזה? על פניו זה יכול לעשות נזק. כן, בסדר. כל טסט באופן תיאורטי יכול לעשות נזק, ואם זה בעיה, אנחנו יכולים גם לא להוריד אותו. אבל יש טסטים יותר מהממרים ויש טסטים יותר בטוח. נכון, לגמרי. אבל איך הגענו לזה שזה יכול להיות טסט? חלק זה אימור, שהסביבה, כאילו חלק זה ב ת האימור, אבל חלק מזה היה גם דיברנו עם לקוחות. דיברנו עם לקוחות שלא הפכו למשלמים. דיברנו עם לקוחות שהפכו למשלמים. ניסינו להבין מה הניע אותם, מה לא הניע אותם. ולמשל, ספציפית בטסט הזה, ראינו שבכלל לא קשור לזה, בהומפייד שלנו, באתר שלנו, הרבה לקוחות בו איזשהו דף שהר איך חברות אחרות משתמשות. היה המון סרטונים שאיך חברות אחרות משתמשות במנות. ו… זה ביטחון. כן, ו רו, אם הם יכולים גם אני יכול. ו רנו, אוקיי, מגניב, יש פה משהו, בוא ניקח את זה אבל למוצר, ובוא נתרגם את זה למשהו שכולם יכולים להתחבר אליו. והלכנו עם ההיפותזה הזאת בעצם, שסושל פרופס זה כלי מאוד חזק, ו רנו. ובמקרה הזה זה הצליח. אגב, ניסינו סושל פרופס למזורים אחרים המוצר, זה לא עבד. זה כאילו, זה שקול. אני רוצה, יש עוד טסט שביאים מאוד נגע, שהם עשו, שהוא גם היה לא אינטואיטיבי. אנחנו בעצם, יש לנו דרופ מאוד גדול, בין כמות האנשים שהם, אני חושב שכל מוצר הוא ככה, שנרשמים למערכת, וחוזרים אחרי יום. אנחנו ממש רואים דרופ ענקי. זאת אומרת, הרבה מאוד מנסים, נרשמים, ואז למחרת לא חוזרים. למרות שהם עדיין בתקופת ניסיון חינמית. כן. כנר לא הבינו את הווליו, או שכחו, או לא משנה מה. אני חושב שזה תמיד כזה משגע אותך. אוקיי, למה הם לא חוזרים? ויש לי כל כך הרבה אנרגיה בלירשם, ישירות האימייל שלהם, בוא נחזיר אותם מתוך המערכת. ואני חושב שב ת, לאורך כל החיים של החברה, תמיד ניסינו לשנות את האונבורדינג, את החוויה של הכניסה למוצר. ו רנו, אולי לא יבינו את הממשק משתמש, אולי הם לא יבינו מה לעשות בתוך המוצר, בוא נעזור להם. ועשינו כל מיני, ב ת, אני זוכר אישית שכתבתי בערך שמונה ניסיונות כאלה, כמעט כל בן אדם שהצטרף לחברה, רנו, תקשיב, יש לי רעיון אדיר, בוא נוליך את היוזרים ונסביר להם, הנה, פה אתם מוסיפים עוד עמודה, פה מוסיפים עוד תוכן. וב ת, ניסינו אינסוף אופציות כאלה, ושום דבר לא עזר. פשוט ראינו ששום דבר לא עוזר, ואני לא מבין. כאילו, אנחנו מראים ליוזר מה לעשות בתוך המערכת, ואיך זה לא משפר בעצם את המדדים. ואני חושב שהטסט שעשה איזשהו שינוי משמעותי שמה, היה שהלכנו לכיוון אחר לגמרי. שוב, הוספנו שלב, לא אינטואיטיבי, שבשלב הזה אנחנו מראים ליוזר כל מיני טמפלטים, שאיך אפשר לעבוד עם המוצר שלנו. בעצם משהו שמאוד מאחד את המוצר שלנו, שהוא מאוד ורסטילי. אפשר להשתמש בו להמון שימושים, והראינו להם המון המון טמפלטים. איך אפשר להשתמש בזה בפיתוח, ואיך אפשר להשתמש בזה במרקטינג, ב-AGAR וכולי. כדי שנייה לתת מושג לכמה שימושים אפשר לעשות עם המוצר, כמה ורטיקלים אנחנו אומרים שמשתמשים ביום יום? יש לנו 200 ורטיקלים, והקטע הוא שכל ורטיקל בעצם המציא לעצמו את הטמפלטים שלהם, וראינו שבעצם לקחנו את הטמפלטים האלה והכנסתם בתור איזשהו דיאלוג, שיכול לבחור, היוזר יכול לבחור בעצם איזה טמפלט הוא מתחיל בתור התחלה. מה זה טמפלט? תסביר קצת איך זה נר . כן, זה בעצם… החלק המרכזי אצלנו במוצר הוא בורדים, בעצם איזושהי טבלה כזאת, ופשוט הכנו כל מיני טבלאות שמשקפות תהליכים שונים במחלקות שונות בחברה. כל מיני שימושים שונים שאפשר לעשות בעצם עם המוצר. אז אם עכשיו אני במחלקת… אם אני עכשיו מתכננת אירועים, וזאת הליבה של העשייה שלי, אז אני יכולה היום להיכנס למוצר ובעצם למצוא איזשהו… כן, אם עשינו טמפלט כזה, כן. עשית. כן. עשינו. קיצור, אז הדבר הזה שיפר גם, אני חושב, אחד השיפורים הכי משמעותיים שהיו לנו פה בחברה, גם ב-28 אחוז. ולי נפל הסימון מאוד מאוד גדול בדבר הזה, כי אני חושב שמה שניסינו לעשות לפני זה, זה רנו, אוקיי, היוזר מבין מה לעשות עם המערכת, בוא נוליך אותו, נסביר לו את הממשק, איך הוא מוסיפים ואיפה הוא משנים. ופה באנו במקום אחר, רנו לו, בוא נסביר לו את ה-value, בוא נסביר לו מה הוא יקבל, מה הוא יכול לעשות עם המערכת מעבר אולי להתכווננות הראשונית שהוא הגיע עליה למערכת, מה עוד יכול לעשות איתה, וכל מיני דוגמאות של איך לעשות את זה. ואז הבנתי מה ההבדל בין להוליך מישהו ביד דרך השלבים, לבין לתת לו מוטיבציה.

כי מה שעשינו בעצם, בהתחלה שעשינו את ה-Onboarding וניסינו להוליך אותו בממשק, ניסינו להחזיק לו את היד ולהוליך אותו. המוטיבציה שלו עדיין הייתה נמוכה. כי הוא ר איזושהי מודעה או לא יודע מה, או שמע מחבר וניסה שם מוצר. ועל ידי שהעלנו לנו את המוטיבציה, כבר לא היה צריך להסביר לו את ה-UI. כלומר, אוקיי, אני אשקיע בזה יותר מחמש שניות, אתה יודע, לכל אחד יש כל כך הרבה על הראש, אז כאילו, ועל ידי שהעלנו לנו את ה-Value, פתאום יש לו מוטיבציה. מסקרנות ורצון לחקור את זה בעצמו. מסקרנות ורצון, כן. כאילו, אני חושב על עצמי, על כל המוצרים הנוראים שכאילו, רציתי להשתמש בהם, אז הת צתי כשהשתמש בהם. ומה שלא בא להשתמש בו, כמה שהוא לא יהיה אינטואיטיבי וכיפי, אני פשוט לא אשקיע בו באנרגיה. אז זה כאילו בדיוק ההבדל בין לעשות מהלך שכאילו מסביר ליוזר את ה-Value, לבין פשוט להוליך אותו ביד בלי שהוא מבין למה אתה בכלל מוליך אותו. אבירם, תגיד, טסט מצליח. אוטומטית עכשיו הוא נכנס למוצר? איך עובד התהליך הזה? כל מה שאתם אומרים עליו, שהוא עובד, אומרים עליו, חבר בפיתוח המן? לא. כאילו, דבר ראשון, אנחנו עושים דברים טיפה, בשביל להיות, אנחנו סוגרים לרוץ מהר, ובשביל לבדוק את ההיפותזה שלנו, אנחנו לא תמיד צריכים לבנות את זה כמשהו מאוד ריפיינד ומאוד מאוד בשפה של הפרודקט זה נקרא. בקיצור, אתם עושים את זה מכוער. שומרים על איזשהו גבולות, אבל כן, אנחנו עושים את זה ככה מהר, ואנחנו רק רוצים לבדוק את התיאוריה שלנו. עושים את המינימום הרחיב בשביל לבדוק את התיאוריה שלנו. וזה, ברגע שטסט ניצח, אז לרוב הוא לא מספיק מפונש בשביל להעלות אותו למוצר, צריך לתת לה לעבוד קצת ככה עבודה ולפנש אותו, ורק אחר כך אנחנו מעלים אותו לכולם. וזה בעצם התהליך. כן, נשים רגע בצד את העניין הטכני. אז כבר אפיתם אותו כמו שצריך והוא מוכן להגשה. כן. עדיין, ככה תתחלק משהו. כל מה שאתה אומר, אומרים עליו, ן? לא חייבים. איך זה קורה בפועל? הכל זה מגובה בדאטה. ברגע שיש לך טסט והוא מגובה בדאטה, והוא מגובה כאילו, אתה מר את ההיפותזה ואתה מר מה הוכחת, ואתה מר שהתנהגות השתנה, ואתה מר את העלייה במדדים. אז למה ש… אין בכלל שיחה, אתה אומר. כן, אנחנו לא… זה לא עניין של דעות. זה עניין של דאטה. אם הדאטה תומך במדע שלך, אז כאילו, זה עובדה, זה ניצח. אין פה מקום לדעה. זה משהו שהוא מאוד… אני חושב שאחד הדברים שלמדנו, אני חושב ש-ABTF זה מתחיל בתור משהו, שהוא קונספט שהרבה אנשים מכירים אותו. לכאורה נשמע פשוט, אבל אני יכול להגיד שאנחנו בתור חברה למדנו כל כך הרבה, עשינו כל כך הרבה טעויות לאורך הדרך, שזה פשוט מטורף. אני יכול לתת כמה דוגמאות. כאילו, דבר ראשון, אני חושב שהרבה מאוד מהכלים האלה הם כאילו מרים מי ניצח בין שתי הבריאציות ברמה הסטטיסטית, זאת אומרת, ודאות של 90 אחוז, 95 אחוז, אבל יש גם הרבה מאוד משמעות לסוג המוצר שלך ולקמות הקהל שבעצם נחשפת ל-ABTF. כי הכלים האלה, הסטטיסטים, גם אם קהל יחסית קטן, יכולים כבר להגיד שאיזשהו קהל ניצח, ואני חושב שאנחנו הבנו את זה כשהתחלנו לעשות טסטים וראינו פתאום שאיזשהו טסט נר מאוד מאוד מפתיע, שיפר ב-30 אחוז, 40 אחוז, וכולם כבר היו בטוחים שהנה, פגענו, ואז אנחנו חוקרים עוד שבוע, שבועיים, סתם במקרה, ואתה רו שפתאום התוצאות מתהפכות. ואז רנו, רגע, יכלנו כבר לקבל החלטה להכניס את הדבר הזה למוצר, מה קורה פה? כאילו, what the fuck? כאילו, אנחנו עושים את ה-ABTF לא טוב. ואני זוכר ממש שלפני חצי שנה עשינו, התחלנו לעשות AA טסט, כאילו, לקחנו את המוצר ואת המוצר, אותו דבר, לא עשינו שום שינוי, חילקנו את היוזרים לשתי קבוצות רנדומלית, ורצינו לראות מה הכלי ה-ABTF שלנו אומר, אם מישהו מנצח. תיאורטית, פרקטית, אין שום סיבה שמשהו ינצח. ואז אנחנו מתחילים, ואנחנו רואים שאחרי שבועיים הכלי מדווח לנו שוורסי A מנצחת, ושיפור של איזה עשרה אחוז, אוקיי, ואז חיכינו לראות בזמן מתי הדברים האלה מתאזנים. מתאזנים. כן, ולמדנו. כאילו, למדנו כמה טראפיק אנחנו צריכים בשביל לקבל אינדיקציה שהיא נכונה. וזה פיללנו סימון, ואז פתאום התחלתי לחשוב, רגע, עשינו בעבר כל מיני טסטים שהסתמכו על פחות אנשים, אולי דפקנו משהו, אולי קיבלנו החלטות לא נכונות. וזה בעצם ממש עשינו פה אדיוקיישן מאוד רחב בחברה לכמה יוזרים אנחנו צריכים. אז מה גילינו בהקשר הזה? כמה יוזרים אנחנו צריכים? אני חושב שאתה מקטע את פרימטטו ממני. כן. אבל… 40 אלף בכל וריאנט. לא, זה, כרגע זה עומד על 25 אלף בכל וריאנט. 25 אלף אנשים שנרשמים. נכון. בכל וריאנט, זה תלוי בסוג של הטסט, זה גם יכול להיות 25 אלף אקאונטים שנרשמים, שזה כאילו גם, זה עוד יותר, זה לא קשור לאנשים. אבל עוד משהו, נקודה חשובה לגבי ה-AA טסט, זה ב ת שזה גם עזרה לנו מאוד להתפקש, כי יש איזשהו טווח.

שאנחנו לא ב ת יכולים להיות ודאיים לגבי התוצאות שלו, אלא אם כן נחכה המון המון זמן, שזה מה שאנחנו לא יכולים להרשות לעצמנו, ואז בעצם הגדרנו, ועזרנו לנו מאוד להתפקס, כי טסטים או היפותזות שלא חשבנו שיעשו אימפקט יותר מהטווח הזה, אנחנו גם, אנחנו זונחים אותם, אנחנו פשוט לא עוקבים אחריהם, כי אנחנו יודעים שהיום אין לנו את היכולת למדוד את זה. אז זה עוד משהו שאנחנו תמיד יושב לנו בראש. אם זה טסט שאנחנו חושבים שיעשה שיפור מאוד מאוד קטן, אנחנו אפילו לא נלך לשם. שזה גם משהו שלא היה בהתחלה של הגרוץ, ומשהו שלמדנו אחר כך, וזה נתן לנו המון המון פוקוס, ועזר לנו מאוד להתפקס. יש איזשהו טסט שהצליח בוודאות, ובכל זאת החלטתם שלא להטמיע אותו במוצר? כי אני אשמיחה מאיפה ב השאלה על פניו, אנחנו מדברים פה על, כמו שאירן ר, על סטטיסטיקה ועל דאטה, וזה פן אחד. אבל בסוף יש לנו שפה עיצובית, יש לנו ערכים למוצר, יש לנו כל מיני דברים אחרים שמנחים אותנו בסופו של דבר. יש איזשהו רגע שבו הסתכלתם על טסט ו רתם, זה מצליח אבל אנחנו לא מטמיעים? כן, היו כמה כאלו. אתה יכול לתת דוגמה? אני מנסה לחשוב על דוגמה. היה, רגע. אני יכול לשאול דוגמאות של טסטים שלא ניצחו, אבל בחרנו אותם. כן, זה דווקא הפוך. אני גם יכול לזכר כאלו. זה היה יותר יתאים לערכים של המוצר? נכון, נכון, נכון. אני זוכר עכשיו דוגמה, לדוגמה שעשיתם איזשהו טסט, שפתחתם את המערכת בלי תוכן, זאת אומרת בבורד לא היה תוכן, והוא שיפר את כמות האנשים שהפכו לקחות משלמים, אבל ראינו שהיוזרים מתקשרים פחות אחד עם השני, זאת אומרת הוא פגע באיזשהו מדד אחר, שהוא מאוד מאוד חשוב לנו בתור חברה, איזשהו ערך מאוד חשוב, ולמרות שהוא שיפר, אני חושב, ב-6-7 אחוזים, רנו אנחנו לא מוכנים לפגוע בערך של התקשורת בתוך המוצר, אז אנחנו החלטנו לחזור אחורה. כן, ודוגמה לטסט ב ת שלא הצליח מבחינה סטטיסטית, אבל החלטנו בכל זאת להטמיע. שלא הצליח, לא יודע, אבל יש לי עוד דוגמה מגניבה. יאללה, לך. אני מתחמק מהשאלות של ליאור. וואי, יפה, אתה עושה את זה הרבה יותר יפה ממני. מה, להתחמק? כן. כן, אני הייתי ניסיון איתה, זה לא הפודקאסט הראשון של איתה. וואי, וואי, וואי. קיצור, אז אנחנו עושים לפעמים טסטים שאנחנו קוראים להם דפנסיביים, זאת אומרת, אנחנו מעלים טסט על משהו שהוא בכלל לא ור לשפר, אנחנו פשוט מפחדים שהוא ידפוק. אני יכול לתת דוגמה, אנחנו החלטנו באיזשהו שלב לעשות ניסוי, שלשאול בתהליך הרשמה את הבן אדם האם הוא מנהל או לא מנהל. ככה זה נר לנו הגיוני. רנו אולי אנחנו, ככה נוכל לחזות יותר טוב מי הולך להיות לקוח משלם, אולי נדע ל… להציג את הצוות שלו. כן, כל מיני סטטיסטיקות. לכאורה, השאלה הכי תמימה בעולם. שאלנו, are you managing people בתהליך הסיינאפ? כן או לא. ו רנו, טוב, בוא נעלה את זה עם A-B טסט, just in case. ואלינו את זה, קיבלנו מידע, ופתאום ראינו שהדבר הזה הוריד לנו את אחוז המרם בעשרה אחוז. אני כאילו, what the fuck? ואז התחלנו להמציא תיאוריות. זה גם הקטע שאתה מצליח או מפסיד, אז אתה מעלה תיאוריות, כי אתה לא ב ת יודע למה, אבל רנו, אולי אנשים שהם… המוצר שלנו, אפשר גם ל ץ אותו על ידי אנשים שהם לא מנהלים, אז אולי אנשים, גם שאלנו, האם אתה מנהל? אז אולי אנשים שהם לא מנהלים הרגישו שהמוצר הזה לא בשביליהם. כאילו, אולי ניסינו לפלטר אותם, או לא יודע מה. מה הדפנסיבי בזה? הדפנסיבי בזה שלכאורה יכלנו להגיד, בוא פשוט נעלה את השאלה הזאת. היא לא נוגעת במוצר, היא שמה איזושהי שאלה שהיא אופציונלית לענות עליה. ראינו שהיא גם, היא לא הורידה את כמות האנשים שהשלימו את תהליך ההרשמה. זה הקטע. שזה לא, זה לא הוסיף להם פריקשן, מה שנקרא, בתהליך ההרשמה, שפחות אנשים נרשמו, אבל פחות אנשים שילמו. וואו. שזה, כאילו, אנחנו בדקנו שזה לא דו-אפקט את תהליך ההרשמה, ובגלל שאנחנו תמיד עושים טסטים שהם גם דפנסיביים, בדקנו שזה לא דופק את הכמות האנשים שהופכים ללקוחות משלמים, וראינו שזה כן. ואנחנו היום, פיצ'רים שאנחנו מעלים, גם אם הם בצד, וגם אם הם לא ורים להיות, לא ורה להיות להם השפעה מידית על המוצר, או על החום האנשים שהופכים ללקוחות משלמים, אנחנו בודקים אותם. ואנחנו מגלים דברים מאוד מפתיעים, בדבר הזה. כמה טסטים אתם מריצים במקביל? בכל רגע נתון יש, רק הגרוס מריצים בערך 6-7 טסטים, ועוד צוותים אחרים מוריצים עוד טסטים, אז זה בערך 10 טסטים בכל רגע נתון על המערכת. זאת השאלת ביניים. אבל סבבה, חשבתי שתגיד לי יותר מאחד, אבל איך זה עובד? כאילו, איך זה יכול להיות? מה שאירן עכשיו תיאר, פתאום הבנתי שצריך לדעת בוודאות מוחלטת, שה-conversion לפיימנט ב ת נפגע, מזה שהוספנו שאלה על מנהל או מנהל.

אם אתה מריץ שישה, שבעה, עשרה טסטים במקביל, איך אתה יודע לשייך את האפקט הזה מטסט אחד או לשני? אז אחד העקרונות זה ב ת שהטסטים אף פעם לא יכולים לרוץ על אותו אזור במוצר. אנחנו מובדדים בעצם את האזורים שבעליהם הטסטים רצים. אם הם רוצים לרוץ במקביל, הם חייבים להיות על אזורים שונים בשביל שנדע מה ההשפעה של כל טסט ונוכל לבודד אותה בעצם. ואז ב ת זה לא אפשרי אם יש לך שני טסטים שרצים על אותו אזור. אם אתה גם משנה את הצבע של הכפתור וגם משנה את הגודל שלו, אז אתה לא יודע מה השפיע. אתה יודע שכאילו אולי זה השפיע, אולי זה השפיע. כמו בדוגמה שהעלנתי, אז השאלה, הדבר היחיד ששיניתם בטופס הרשמה היה את השאלה הספציפית הזאת בהכח. במסך הספציפי הזה? זה הדבר היחידי ששינה. במסך אני שנייה בכל זאת אקשה, במסך אחרי זה, כי הרי רנו שבסוף זה כן השפיע על מדד אחר, המדד לא ישיר על פניו. נכון. איך אנחנו יודעים שמשהו אחר לא השפיע באותו הזמן על הצעה המדד? אז אוקיי, זה עוד פעם עניין של סטטיסטיקה שבעצם בגלל שהטסטים לא תלויים, אז בעצם כל אחד יכול לקבל איזושהי גרסה שונה של המוצר. אחד יקבל למשל עם השאלה החדשה שהצגנו ולמשל אם בסטפ שאחריו שינינו צבע של כפתור, אז עם השינוי צבע של הכפתור. ויוזר אחר יקבל עם השאלה אבל בלי השינוי צבע של הכפתור. הטסטים לא תלויים אחד בשני ואז בעצם נוצר על כל שני טסטים בעצם יש ארבע גרסאות של המוצר שאתה יכול לקבל. אוקיי, שתיים בחזקת. אז בעצם מגלים מחדש עבור כל טסט. צריך להבין שכשאביארון אומר שיש לנו עשרה טסטים במקביל, כל אחד עם שני וריאנטים, זאת אומרת שבכל רגע נתון, כרגע, יש שתיים בחזקת עשר אלף גרסאות שונות של האתר. זאת אומרת, רק אחד מתוך אלף משתמשים יקבל את אותו גרסה בדיוק של האתר. כשאתם אומרים את זה, אני מבינה שזה משפיע בעצם על עוד חלקים בחברה. מה עושים בתמיכה הטכנית כשמתקשר מישהו ואומר יש לי כפתור צהוב שלא עובד? כפתור צהוב ענקי. ענקי. ותגידו לו בתמיכה הטכנית, וואלה, אצלנו במוצר אין כפתור צהוב. איך נמנעים מהדבר הזה? אני בטח לא עושה כפתורים צהובים, אבירם. כרגע לא, אבל אולי אני שיך, מי יודע. אז נכון, זה אתגר, וזה אתגר שהקסטמר ספורט שלנו מתמויים דווקא מאוד מאוד יפה. אבל בשביל להקל עליהם, אז בטסטים שהם מאוד אקוטיים וכבדים ודברים שמאוד מאוד משנים, דברים מאוד מאוד גדולים במוצר ובחוויה של המשתמש, אנחנו מסמנים את הגרסה שהיוזר מקבל אצלהם בטיקט. הם יודעים אם הוא קיבל את הווריאנט הזה או את הווריאנט הגדל, איזה גרסה הוא קיבל בעצם בשביל לדעת איך לפנות אליו ואיך בעצם לתת לו את הטיפול הכי טוב. אבל זה לא קורה על כל טסט שאנחנו מעלים, זה רק קורה במאוד מאוד כבדים ורציניים. כאילו העברנו פה איזה 40 דקות באיזה כיף להיות בגרובטים ואיזה כיף להיות אווירם. לא השתכנעתי. לא, אז בא לי ככה להחיר את האווירה. מתי לא כיף לך? מתי אתה מודאג? איפה בכל זאת אתם מוצאים אתגרים? מה את חייבת? תמיד חיובית, ליאור. לא, אנחנו נהפוך את זה לחיובים בסוף, אל תדאג, אבל שנייה לפני זה… אז בעיקר בהתחלה, כשאתה לא פוגע בשום דבר בטסטים שלך, זה מתסכל בטירוף. בהתחלה של הטסט או בהתחלה של העבודה? בהתחלה של העבודה על האזור. גם בהתחלה עכשיו שהוקם הצוות, הצוות לא הוקם לפני הרבה זמן, אז עשינו המון המון המון טעויות שבדיעבד כאילו מאוד פגעו בלמידה שלנו, והלכנו הרבה פעמים אחורה, לקחנו צעד אחורה בשביל להתקדם קדימה, וזה היה מאוד מתסכל. אבל גם ברגע שהתחילנו להתמקד באזור ספציפי, אז גם אנחנו עוד לא מכירים את האזור, אנחנו עוד לא יודעים מה יעבוד, אז בהתחלה כל הטסטים שלנו נכשלים. קצת כאילו לגשש בהפעלה כזה. נכון. עד שאנחנו מצליחים להתפקס ולהבין מה עובד ומה לא עובד, וזה נורא מתסכל. במיוחד שאתה יכול לשבת על טסט כמה ימים טובים ולקודד אותו, וזה גם החלק של לא להיקשר, כי זה לא קשור לכמות האיפור, אנחנו לא נשמור טסט כי מישהו שם שם המון אפורט, וזה מאוד מתסכל, אבל ההצלחות שוות את זה. כאילו ההצלחות לגמרי מכסות על זה, ורגע שאתה רו את האימפקט ואתה רו כמה עסקת, זה לך דרייב. כאילו מספיק אחד קטן בשביל, הצלחה קטנה בשביל לתת לך דרייב לעוד 20 טסטים שנכשלו. אני ממש זוכר, מסור לפני ארבעה חודשים, יש לנו קודם חמישי Company Meeting, שכל פעם מביאים איזושהי הצעה אחרת, והצוות של הגרוף עלה, וסיכם בעצם שלושה חודשים של עבודה. והם הריצו, אני חושב, למעלה מ-100 טסטים, אבל הם הראו את הטסטים שבעצם שיפרו, ודיברנו על הווידאו, דיברנו על הטמפליטים, והיו שם עוד כמה דברים. המוביל היה שם. היה שם משהו במוביל, ופשוט הראו ככה טסט, כמה שיפרנו באחוזים, כמה…

זה משפיע על הבטם ליין של הרבניון של החברה. זה היה הרצ שקיבלה הכי הרבה מחיות כפיים, כאילו, איבר. כי האנשים הבינו איזה אימפקט אדיר הם עשו על החברה. הם, הצוות הזה, רק במהלךים שהם עשו, הם הוסיפו לנו כמעט עשרה מיליון דולר בהכנסות שנתיות בשלושה חודשים האלה. אין יותר אימפקט מהדבר הזה, זה כאילו, זה היה מרגש ברמות. ועם כל הקשיים שהיה להם, זה היה פשוט מדהים. זה כאילו הצלחה הכי בפנים שאפשר. הצלחתי לך שנסיים את זה בנימה חיובית, לא? הופה! רתי לך שנהפוך את זה לאופטימי. זה השותי, את מורידה… תגיד, ויש משהו שאתם עדיין לא יודעים לעשות, מבחינה מתודית, מבחינת תהליכי העבודה שלכם? כן, אז ב ת, אחד הדברים שאנחנו עדיין עובדים עליו, ומאוד… התחלת להוריד, ארן, חבר. כן, כן, לא, אני כבר התרגלנו. שאנחנו עדיין עובדים עליו מאוד קשה, זה בעצם כמו ש רנו בהתחלה, חשוב מאוד שקצב של הטסטים יהיה מאוד גבוה, והצוות של הגרוף, צוות גרוף חייב לעבוד בקצב מאוד מאוד גבוה, וזה מתנגש כרגע עם זה שכל טסט חייב לערוץ זמן מאוד ארוך יחסית, בין שבועיים לשלושה. אז אנחנו מחפשים דרכים לקצר את הזמן שבו אנחנו צריכים להריץ כל טסט. אנחנו בעצם מחפשים איזשהו פרוקסי, זה נקרא, איזשהו מדד שיאפשר לנו לנבא אם הטסט יצליח או לא יצליח. ואנחנו עוד לא לגמרי מבינים מה זה המדד הזה, אנחנו חוקרים כל פעם כיוון אחר ומנסים לראות מה יכול לנבא בצורה הכי טובה או הכי מדויקת, בשביל שנוכל להריץ, שנוכל לדעת בזמן הכי קצר, נגיד תוך 24 שעות, טסט ניצח, סבבה, ונמשיך לבא, בלי לחכות לתוצאות אם יוזרים יתכנו ורתווש ילמו, בלי לחכות לזה. אז זה משהו שהוא מאוד מאוד בפוקוס שלנו, ומשהו שעובדים עליו מאוד מאוד קשה, וברגע שנפתח את זה… נערך אותך שוב ותוכל לספר לנו, אם שהצלחת את זה. אני אעסוק מדי בכתוב טסטים, ברגע שאין לזה קצב, תהיה קצב מטורף, שנוכל לרוץ בקצב אדיר. אבירם, תודה שהיית איתנו. היה תענוג. ממש תודה, אבירם, היה כיף. היה תענוג. תודה, ארן. תודה, ליאור. תודה לכם שהזנתם. סטארט-אפ פר סטארט-אפ. סטארט-אפ פר סטארט-אפ.