אדווה: היי לכולם, אני אדווה שיסגל ואתם הגעתם לסטארט-אפ פור סטארט-אפ והיום נדבר על איך מגדירים מטריקת כוכב צפון. ולצורך העניין נמצא איתי אלעד דויטשר Senior Product Analyst  במאנדיי, היי אלעד,

אלעד: היי.

אדווה: מה נשמע?

אלעד: מעולה. מה שלומך?

אדווה: בסדר גמור, ונגיד שאנחנו נדבר היום קצת על מה זה מטריקת כוכב צפון בכלל ולמה היא חשובה, וגם על איך לבדוק שאנחנו מגדירים אותה נכון ומאיזה טעויות נפוצות כדאי וצריך להימנע, שנתחיל?

אלעד: יאללה.

[נעימת פתיחה] 

אדווה: זהו, אז אנחנו כמו תמיד נתחיל רגע מהבסיס, במספט, מה זו מטריקת כוכב צפון?

אלעד: אז בעצם זו ה-מטריקה. כאילו המטריקה שבסופו של דבר חברות, אם אנחנו מדברים רגע בסדר גודל של חברה, אז זו ה-מטריקה שאנחנו מסתכלים עליה שבדרך כלל זאת מטריקה שמאפיינת את ה-value שהיוזרים מקבלים מהמערכת, בדרך כלל זאת מטריקה שמקושרת גם לרווחים, לרווחיות של החברה, מאפיינת Growth של חברה, וזהו בגדול. 

אדווה: בוא רק בשביל באמת לנעוץ לזה קצת דוגמאות לנניח איך נראות מטריקות כוכב צפון אצל כל מיני חברות שכזה כולם מכירים. 

אלעד: מעולה, אז אפילו גם נעשה איזה משחק קטן.

אדווה: אה, אוקיי. 

אלעד: בואי נתחיל מפייסבוק, פייסבוק זה דווקא דוגמה די פשוטה, פייסבוק המטריקת כוכב צפון שלהם זה Daily Active Users. ממש בצורה יומית יוזרים שנמצאים במערכת ופעילים בה. ספוטיפיי למשל, מסתכלים על אורך הזמן שמוזיקה מושמעת אצלם. למה? זה בעיקר יראה את ה-value שיוזרים מקבלים, מהמוצר שלהם. מטריקת כוכב צפון כאמור, רוצה לבוא ולתאר לנו את ה-value שיוזרים מקבלים. ועכשיו אני אלך על דוגמה שהיא קצת יותר מאתגרת, Airbnb, מה לדעתך מטריקת כוכב הצפון שלהם?

אדווה: אולי הייתי אומרת משהו על מספר הפעמים שמישהו הזמין חופשה דרכם?

אלעד: אז זה נחמד וזה יכול להיות טוב, אבל Airbnb  אני מזכיר שיש שני צדדים, יש גם את הצד שמארח וגם את הצד המתארח ובדרך הזאתי היא הם לא יוכלו להעביר את ה- value של כולם, אז מה שהם בחרו לעשות כדי להעביר את ה- value  של כולם זה לבוא ולהסתכל על כמות הלילות שנסגרו ולאו דווקא על כמות החופשות שהוזמנו לצורך העניין. 

אדווה: אני חושבת לעצמי מה הדבר בעצם הכי חשוב לי שאנשים בסוף יקבלו מהמוצר שלי. 

אלעד: בדיוק ככה.

אדווה: מעולה, אני כן אבל רוצה רגע לשאול כי אמרת, נכון אמרת לנו יש בחברה גם מטריקת כוכב צפון, מן הסתם כמו לכל החברה, יש לנו מטריקה אחת לחברה שכל הצוותים גם מכונסים סביבה, או לכל צוות גם יש את המטריקת כוכב צפון שלו?

אלעד: אנחנו כצוות, למשל אני אנליסט בצוות Growth, בפרודקט, אנחנו מתעסקים באיזשהו לנד מסוים, ויכול מאוד להיות שהדברים שאנחנו עושים בתוך הצוות שלנו, אנחנו נשפיע בסופו של דבר על המטריקת כוכב צפון של החברה, אבל בפרומיל, במשהו שהוא מאוד מאוד מאוד קטן ולא משהו שהעין שלנו תוכל לחזות ולכן אנחנו בתוך הצוותים יוצרים לנו מטריקות כוכב צפון לתוך הצוות שהן כולן נגזרת בסוף של המטריקת כוכב צפון של החברה. כל המטריקות האלה בסופו של דבר אם אנחנו נצליח לגרום להן לגדול אנחנו נצליח לגרום למטריקת כוכב צפון של החברה לגדול. 

אדווה: מעולה, אז אני חושבת שזו נקודה ממש חשובה שזה באמת משהו שמגדירים בכמה רמות בתוך חברה, זאת אומרת יכול להיות שלמאנדיי יש מטריקת כוכב צפון וגם לפרודקט יש מטריקת כוכב צפון וגם לצוות אקטיביישן בתוך הפרודקט יש את המטריקה הזאת.

אלעד: בדיוק ככה.

[נעימת מעבר] 

אדווה: אוקיי, אז הבנו מה זה והבנו למה היא חשובה, אני רוצה רגע שנייה לפני שאנחנו נכנסים לפרקטיקה של איך קובעים אותה ומתי קובעים אותה להבין איך נראית מטריקה טובה כדי שזה ככה ילווה אותנו להמשך הפרק. 

אלעד: אז שאלה טובה, יש באמת, חשוב שכזה קודם כל זה באמת ידלבר את הvalue ליוזרים זה הדבר שהכי חשוב, אבל מעבר לזה יש. יש הרבה כזה Do's and don'ts וכללים שחשוב לשמור עליהם כשאנחנו בונים את המטריקה הזאתי, יש המון אבל לא אפרט את כולם, אני אגיד כזה כמה שבעיניי ממש קריטיים. הדבר הראשון זה simplicity, כאילו לשמור על כמה שיותר שתהיה פשוטה. נגיד בדוגמה של פייסבוק שיש לנו את ה- Daily Active Users, מאוד רחב, מאוד גדול. ולא נגיד עכשיו יוזרים מארצות הברית שמשתמשים במק וחזרו למערכת פעמיים בשבוע, כאילו, זה הופך את זה למורכב, לנישתי ולא באמת ברור. דבר שני זה שהמטריקה תהיה אקשנאבילית,  שהיא תוביל אותנו ותניע אותנו לפעולה. ברגע שאנחנו רואים שהמטריקה הזאת משתנה, אז שנדע להגיב בהתאם למטריקה הזאת. למשל אפשר לקחת את הזמן חציוני בין תקלות, אם זו המטריקה שלי, לעומת זמן ממוצע בין תקלות. כי אני יודע שממוצע פתאום יכול להתפוצץ, כי ככה הממוצע עובד, אבל זמן חציוני, אם אנחנו רואים שמשהו משתנה שם אז אנחנו מבינים שכזה 50% מהיוזרים, פתאום הזמן בין תקלות שלהם עלה ואנחנו רוצים כאילו, סליחה ירד, ואנחנו רוצים לבוא ולטפל בנושא הזה. צריך שהמטריקה הזאת תהיה מדידה, כלומר שיהיה קל למדוד אותה, אנחנו לא רוצים מטריקות שבסוף אי אפשר למדוד אותם, למשל אפשר לקחת זמן בין תקלות כמו שלקחנו מקודם, אל מול מטריקה אחרת זמן שיוזר קרא פוסט. אנחנו לא יכולים לדעת כמה זמן לקח ליוזר לקרוא את הפוסט באמת אפשר לעשות הערכות אבל זה לא באמת המצב. חשוב מאוד שהמטריקה הזאת תהיה מחוברת באופן ישיר למטריקת כוכב צפון של החברה, כי אנחנו רוצים לייצר איזושהי מערכת כזאת שמניעה אחת את השני ושוב בפוקוס של הצוות שזה מאוד חשוב, והכי הכי חשוב, מטריקה שזזה מהר, אנחנו בסוף רוצים לזוז מהר, להיות אג'יליים, לא לקחת מטריקות שאנחנו נעשה טסט וכאילו ייקח שנים עד שאנחנו נזיז את המטריקה הזאתי, מאוד מאוד חשוב לראות מטריקות שמגיבות למה שאנחנו עושים.

אדווה: עכשיו, יש לך איזה דוגמא לאתה יודע, משהו פה במאנדיי שאנחנו יכולים לתת כדוגמה ל-מה המטריקה שהגדרנו, מתי הגדרנו, משהו כזה שאולי ילווה אותנו בפרק.

אלעד: בטח, אני פה בשביל לספר,

אדווה: מה שנקרא- במקרה הכינונו מראש.

אלעד: הכינותי מראש איזה שהוא סיפור קטן. סתם, כן, אז הקמנו צוות חדש ב- Growth הצוות שאני נמצא בו, אני ספר טיפונות כזה עליו שאנשים קצת יתחברו למה שאנחנו עושים. בעצם המטרה של הצוות של קוראים לצוות סטאפ ב- Growth-.אנחנו אחראים על יוזרים החל מרגע שיש להם איזה שהיא מוטיבציה ראשונית להתחיל לבנות במאנדיי עד לרגע שמה שהם בנו מספיק אופרטיבי ויכולים להתחיל לעבוד עליו. זה בעצם זה בעצם הלנד של הצוות שלי, אני אתן איזה שהיא דוגמה אולי למאזינים שלנו כדי שיכול להתחבר לזה, ואני חושב שחדר כושר זה הדוגמה הכי טובה שאני יכול לתת. נגיד יש איזה שהוא מתאמן או מתאמנת שמגיעים לחדר כושר, רוצים להתחיל לעבוד בחדר כושר. עכשיו, למתאמן או המתאמנת נורא נורא חשוב לעבוד על הרגליים שלהם, והם מגיעים לחדר כושר, לא יודעים עדיין מה יש בתוכו, ואז הם כזה מסריקה בעיניים רואים שיש המון מכשירים לרגליים, הופ! הם קיבלו value ראשוני, בעצם הבינו שהחדר כושר הזה עשוי להיות חדר כושר שהוא מתאים להם. זה בעצם הרגע שבו אנחנו מקבלים את היוזרים למערכת כי הם ראו משהו במוצר שבו הם אמרו: המוצר הזה עשוי להתאים לי. אותו דבר אצלנו ככה.

אדווה: ועכשיו בעצם אתם רוצים לשים על הצוות הזה, אמרת שזה צוות חדש, אתם רוצים לשים על החלק הזה בתוך הפאנל של נגיד רכישת לקוח חדש, מטריקה אחת שתכווין אתכם בתוך הדבר הזה, נכון?

אלעד: בדיוק ככה, ממש. הלנד הזה של היוזרים, החל מהרגע שיש להם איזושהי מוטיבציה ראשונית לבנות' עד לרגע שהבורדים שהם בנו מתחילים להיות אופרטיביים, כלומר אפשר להתחיל לעבוד עליהם' על הלנד הזה מקצה לקצה אנחנו רוצים למדוד האם אנחנו והאפורט שאנחנו הולכים לעשות על הלנד הזה, מביאים value ליוזרים זו המטרה שלנו למדוד את ההצלחה שלנו. 

אדווה: עכשיו תגיד, למה לא לקחת מטריקה שהיא פשוט כמה יוזרים מתקנוורטים לי כאילו ללקוחות משלמים ולהסתכל על זה ככה, למה צריך לשים את המטריקה על חלק כל כך קטן בתוך התהליך?

אלעד: זה מה שעשינו פעם, פעם היינו באמת מסתכלים על הפאנל הזה בצורה הזאת, אבל הבנו ששבירה של פאנל למיילסטונים קטנים בתהליך, שיש להם איזושהי זיקה עסקית, כלומר, אני לא שובר את זה ליום ראשון, יום שני, יום שלישי, שבוע ראשון, כאילו לא בצורה הזאת אלא בצורה של פאזות, כלומר פאזת המוטיבציה שאנחנו מדברים עליה, פאזת הסטאפ. ברגע שאנחנו שוברים את זה ליותר פאזות, אנחנו מייצרים הזדמנויות, אנחנו מייצרים צוותים שהם אוריינטד לאזורים מאוד מאוד ספציפיים עם בעיות ספציפיות, ואנחנו מצליחים להביא פתרונות הרבה יותר טובים בדרך הזאת.

אדווה: מעולה, אז אני חושבת שזה גם מתחבר אולי למה שדיברנו קודם, שעם כל זה שצריך מטריקה אחת שתנחה אותנו, צריך לראות שאנחנו גם לא שמים אותה על חלק רחב מדי, נכון? כאילו זה החל מלא לשים מטריקה אחת לחברה, אלא לשים גם מטריקה פר צוות, כי אולי לא כל צוות יכול להזיז את המחט, אני מניחה שזה גם חשוב שנוכל להשפיע על המטריקה הזאת. כשזה ברמת החברה, אולי לא כל צוות יכול להשפיע, אבל גם בתוך כל צוות, לראות שאנחנו לא שמים מטריקה על משהו רחב מדי, אלא ממש, שוב, מצמצמים את זה לכדייום, מפרקים את זה לחלקים שונים שעליהם כל אחד מהם יוכל לשים את המטריקה שלה.

אלעד: בדיוק, ואני אפילו אדייק את זה טיפה יותר, היו לנו מטריקות בחברה שכאילו יכלנו להשתמש בהם למדידה של מה שאנחנו עושים בצוות, היו מטריקות כאלה. אבל מה שחשוב היה, וזו השאלה ששאלנו את עצמנו, האם המטריקות האלה יהיו בהלימה עסקית למה שאנחנו הולכים לעשות ולפתרונות שאנחנו הולכים להציע עבור היוזרים שלנו בשלב הסטאפ. והבנו שלא, הבנו שהמטריקות האלה הם לא ישרתו אותנו. אני אתן איזה שהיא דוגמה: יכול להיות מצב שאנחנו נראה את אותה מטריקה שקיימת כבר בחברה שהיא תעלה פתאום. ולא בגללנו, היא תעלה בגלל שצוותים אחרים עשו כל מיני דברים במערכת וגרמו למטריקה הזאת לעלות. המטרה שלנו היא להביא, אגב זה משהו שיקרה בכל מטריקה, כאילו אנחנו נדיר שאנחנו נשפיע על מטריקות רק דברים, בטח ובטח ב-Growth, דברים שאנחנו נעשה ישפיעו רק על המטריקות האלה, בדרך כלל הן יכולות להיות מושפעות מגורמים חיצוניים וזה בסדר, אבל המטרה היא להביא מטריקה שהיא תהיה בהלימה עסקית למה שאנחנו עושים. זה הדבר שהוא הכי חשוב, שבאמת נתחבר אליה ברמה העסקית, מטריקה שתהיה לה נשמה, אנחנו קוראים לזה. 

[נעימת מעבר] 

אדווה: אוקיי, אז דיברנו שוב, דיברנו קצת על מה זה ומה ההזדמנות, ודיברנו על מתי לקבוע אותה, שזה הכל היה קצת תאורטי, ואני רוצה שנרד קצת לפרקטיקה. אז מה אני צריכה לשאול את עצמי כשאני רוצה לקבוע מטריקה כזאת, מטריקה שתהיה מטריקה מובילה שלי. 

אלעד: מגניב, אז נספר ממש את הסיפור כזה שאנחנו עברנו בצוות בתהליך של ההגדרה שלה, אני חושב שהשלב הראשון שאנחנו צריכים לעבור זה שלב של חקר המצב הקיים. אני אתן איזה שהוא דיסקליימר קטן, הסיפור שאני הולך לספר פה כרגע זה סיפור שלנו בתור צוות-   ,Growth עכשיו זה סיפור שלנו בתור הצוות שנמצא באיזו שהיא פאזה מסוימת בlife cycle של יוזרים ושל חשבונות אצלנו במערכת. ומבחינתי אנשים שבאים מצוותי Growth יכולים לעשות plug and play של הסיפור שאני הולך לספר פה. צוותים אחרים שהם צוותים שהם של מוצר מסוים בתוך המערכת, אזור מסוים בתוך המערכת, יכולים לקבל השראה ממה שאני אספר פה עכשיו, המתודולוגיה היא די אותה מתודולוגיה אבל צריך לעשות איזה שהם אדפטציות לסיפור הזה,

אדווה: אוקיי.

אלעד: אז זה משהו שחשוב להגיד בתור התחלה. אז בעצם אנחנו התחלנו קיבלנו איזה שהוא לנט מסוים, הדבר הראשון שאנחנו רצינו לעשות זה לעשות את חקר המצב הקיים, להבין  איך נראה, מה נראה, מה קורה עם העולם הזה, להתחיל לחקור אותו טיפה יותר והשאלה הראשונה ששאלנו את עצמנו זה מתי סטאפ קורה? לא ידענו מתי סטאפ קורה, יכול להיות שהוא קורה אחרי חודש, יכול להיות שהוא קורה ב-24 שעות הראשונות, יכול להיות שהוא קורה בשלבים יותר מאוחרים, הבנו אחרי ניתוחים כאלה ואחרים שעשינו, שאני לא רוצה להלאות את המאזינים שלנו בהם, שהסטאפ קורה בעיקר בשבוע הראשון, סטאפ קורה בשבוע הראשון ובשבוע השני מתחילה אופרציה על הסטאפ שהם עשו. ומפה יצאנו לדרך, הבנו שהמטריקה שלנו זו מטריקה שצריכה להסתכל על מה שקורה בשבוע הראשון ובשבוע השני. 

אדווה: אז רגע אם אני מכלילה את זה, זה שאלה שמתאימה ל- use case שאתה מדבר עליו, אם זה שאלה יותר כללית למי שבצוות אחר או מתעסק במשהו אחר, אז מה השאלה שאני שואלת את עצמי? 

אלעד: אני חושב שהשאלה שאנחנו צריכים לשאול את עצמנו זה: איפה אנחנו הכי משפיעים בתור צוות, אם סתם למשל בואי ניתן דוגמא לצוות Monetization, צוות שאחראי על ה-Pricing Page ועל כל מה שקורה מבחינת תשלום, אז כנראה שהאזורים של הצוות אם אנחנו עובדים במערכות שהם כזה במודלים של טרייל שיש לנו בהתחלה, Free Trial, אז כנראה שאנחנו הכי הכי הכי משפיעים, מתי שהטרייל עשוי להיגמר ואז צריכים להחליט האם אנחנו הופכים להיות משלמים או לא משלמים, כמובן שאפשר לשלם גם לפני ואחרי, אבל זה האזור שכנראה אנחנו הכי הרבה נשפיע עליו. 

אדווה: אוקיי, אז אמרת, זו השאלה שאני שואל את עצמי, נכון שאלתם את עצמכם איפה אנחנו הכי יכולים להשפיע, מה הדבר הבא שעשיתם? 

אלעד: נכון, אז אני רק אזכיר שכזה הבנו שאנחנו הבנייה נעשית בשבוע הראשון ובשבוע השני מתחילה יותר אופרציה במערכת ועם הדבר הזה יצאנו לדרך, ממש ככה, פשוט התחלנו להסתכל, אם אנחנו ראינו שהבנייה נעשית בשבוע הראשון, התחלנו להסתכל על השבוע הראשון ולנסות למצוא כל מיני אובייקטים מספריים נקרא לזה ככה, שידמו לנו את תהליכי הבנייה, למשל כמות העמודות שיוזרים הוסיפו למערכת, כמות הפעולות קוסטומיזציה, באופן כללי, לאו דווקא עמודות. כמות איוונטים של יצירת תוכן שיש במערכת. ימים שונים של יצירת תוכן. עשינו ועשינו ועשינו, לא משנה איזה מספר לקחנו, ופשוט לא הצלחנו למצוא כלום. לא הצלחנו למצוא שום דבר שבאמת יוכל לבוא ולנבא לנו איזושהי הצלחה. ואז נפל לנו האסימון. נפל לנו האסימון, וזה איזה שהוא שיעור שלמדנו, שאומנם הבנייה נעשית בשבוע הראשון, אבל בנייה מוצלחת, successful סטאפ, שזה המטריקה שניסינו לחפש, אנחנו יכולים למצוא אותה רק בשבוע השני, למה? כי יכול להיות שיוזרים בונים, אבל אם הם לא יתחילו לייצר את האופרציה שאנחנו מחפשים בשבוע השני, זה אומר שלא נעשה סטאפ מספיק טוב, אנחנו צריכים לחפש בעצם את המטריקה בשבוע השני ולא בשבוע הראשון. אם אנחנו נראה שמתחילה אופרציה בשבוע השני, זה אומר שנעשה סטאפ טוב בשבוע הראשון. 

אדווה: הבנתי, זאת אומרת יותר מדי הסתכלתם על החלק שבו אומר שיוזרים אולי ראו שיש פה משהו מעניין אותם, אבל לא התמקדתם ב-האם הם באמת לקחו את זה לשלב הבא והצליחו לתפעל ולהתחיל להשתמש במערכת.

אלעד: בדיוק, מתוך מקום של- זה מה שיאפיין את ההצלחה שלנו. התחלה של השלב הבא הוא בעצם הסוף של השלב הקודם. אם יש התחלה של השלב הבא זה אומר שהסוף של השלב הקודם היה מוצלח, וזה בדיוק מה שניסינו לחפש. אז שינינו את כל התפיסה שלנו במקום להסתכל על השבוע הראשון הבנו שאנחנו צריכים להסתכל על השבוע השני. ואז שם עשינו בדיוק את אותו דבר, כלומר התחלנו לחפש כל מיני אובייקטים מספרים, שהפעם במקום לבוא ולהראות לנו תהליכי בנייה, ניסינו לראות שנוצרים תהליכי אופרציה. זה מה שניסינו למצוא, ניסינו למצוא שמתחילה אופרציה בשבוע השני, כי היא תאפיין לנו שהיה סטאפ מוצלח בשבוע הראשון.

אדווה: עכשיו, מה זה אומר התחלנו לחפש? מה התהליך שם, מה אתם עושים בפועל?

אלעד: אז באמת עושים הכל מהכל, לוקחים את כל מה שמאפיין תהליכים של אופרציה, של תפעול של בורדים במקרה הזה, או בדוגמה של החדר כושר, אז ממש שאנשים כזה מתאמנים שהם חוזרים לחדר כושר בשבוע השני, מספר הסטים שהם עשו בשבוע השני, מכשירים שונים שהם נגעו בהם בשבוע השני, כל מיני אובייקטים מספרים שיכולים לבוא ולמדל לנו את מה שאנחנו רוצים למצוא. במקרה שלנו ניסינו למצוא יוזרים שמתפעלים את הבורדים, אז אנחנו בדקנו במקרה שלנו כמויות שונות של איוונטים של תוכן, ימים שונים של יצירה של איוונטים של תוכן במערכת, חזרה בכלל למערכת בשבוע השני, כל מיני ייצוגים מספרים שיכולים לבוא ולהראות לנו בעצם התחלה של אופרציה במערכת.

אדווה: ואז אתם עושים את הבדיקה הזאת, מה מבחינתכם אומר שאתם בכיוון או לא בכיוון? 

אלעד: זהו, פה מתחיל החלק האמנותי, אחרי שאנחנו בחרנו את כל האובייקטים המספרים האלה, אנחנו צריכים לראות בעצם, גם אם הם בכלל מנבאים לנו איזושהי הצלחה, האם הם טובים, האם באמת הם יכולים לבוא ולייצג לנו את ה-successful setup הזה שאנחנו מחפשים וגם אם מצאנו שכולם כאלה, אז מי הוא הכי טוב? את מי נבחר בסוף להיות זה שיהיה ה… מטריק שלנו, מטריקת כוכב הצפון. אז אני אספר על התהליך, זה תהליך שאנחנו עושים אותו בשני שלבים. שלב ראשון מהסוף להתחלה, והשלב השני מההתחלה לסוף. סבבה?

אדווה: אוקיי, מה זה אומר?

אלעד: מגניב, אז מהסוף להתחלה, מה שאנחנו עושים אנחנו רוצים לקחת- בואי נלווה את הדוגמה שלנו בשביל שלא נתבלבל, באיזה שהוא ייצוג מספרי אחד שבחרנו לקחת, שזה ימים שונים של יצירת תוכן במערכת בשבוע השני. סבבה? ובעצם מה שאנחנו רוצים לעשות זה לראות האם המספר הזה, אנחנו מצליחים לראות הבדל בין קבוצת מוצלחים לקבוצת לא מוצלחים אני אסביר שנייה. לפני שאני אסביר אני צריך לתת איזה שהיא דוגמה קטנה. נגיד אנחנו כשאנחנו מנסים למצוא הבדלים בין קבוצות, בוא ניקח למשל- סליחה על המגדריות, אבל בוא ניקח את קבוצת הגברים וקבוצת הנשים. ואובייקט המספרי שאני רוצה לראות הבדל עליו הוא גובה. עכשיו אם נדמיין ביחד כולם עכשיו את הגרפים שיאפיינו את התפלגות הגובה בין גברים לנשים, לדמיין כזה שתי דיאגרמות פעמון כאלה שהן מופרדות אחת מהשנייה, האחת של הנשים היא תהיה סביב 1.65 מטר, 1.66 מטר, והשנייה של הגברים סביב 1.75 מטר, ככה אם אנחנו הולכים על כל העולם בממוצע, ויש איזושהי הפרדה בין שתי הגרפים האלה, בעצם יש גם את הנקודה שבה הגרפים נפגשים אחד בשני, ובעצם זו הנקודה שבה אם נגיד והגרפים נפגשים במטר 70, משהו כזה, אז נגיד אני אקח איזה שהוא דמות בעולם ואני לא יודע מה המין שלה, ואני אסתכל מה הגובה שלה, והגובה יהיה קטן ממטר 70, אז יש סיכוי יותר גבוה כביכול שמי שתפס תהיה מקבוצת אנשים, אם הגובה יהיה גדול ממטר 70 כנראה שהסיכוי יותר גבוה שמי שתפס יהיה מקבוצת הגברים. אם אני אקח אובייקט מספרי אחר כמו נגיד אינטליגנציה ואני אבדוק בין נשים לגברים, כנראה שאני לא אראה הבדל, כנראה שלא תהיה הפרדה בין שתי הדיאגרמות והן ייראו אותו דבר. וזה בדיוק מה שניסינו לעשות פה, ניסינו לקחת את קבוצת המוצלחים וקבוצת הלא מוצלחים שלנו, ולראות האם לאובייקטים המספרים שלקחנו יש הפרדה בין הקבוצות. אם אנחנו נראה שיש הפרדה בין הקבוצות זה ייתן לנו סיגנל לזה שוואלה המטריקה הזאת היא כנראה יותר נוכחת בקבוצה מסוימת, בקבוצת המוצלחים ופחות נוכחת בקבוצת הלא מוצלחים. 

אדווה: זאת אומרת אם אני רגע מנסה לתרגם את זה, זה בעצם אומר שזה מטריקה שיכולה להוות אינדיקציה עבורכם אם משהו הוא x או הוא y, למשל במקרה שלנו, האם זה יכול להיות משתמש  setup  מוצלח, או לא יעשה setup מוצלח.

אלעד: בדיוק. אבל לפני שאנחנו מנסים לנבא אם הוא יעשה setup מוצלח, כי זה מה שאנחנו מנסים למצוא, אנחנו רוצים לקחת איזה שהיא קבוצה של מוצלחים הרבה יותר משלב ה- setup כלומר לקחת במקרה שלנו מה שאנחנו עשינו, לקחנו חשבונות מתקופת זמן מאוד מאוד ארוכה וחילקנו אותם לכאלה שהם הפכו להיות משלמים וכאלה שלא הפכו להיות משלמים. אלה שהפכו להיות משלמים כמובן זה קבוצות המוצלחים, ואלה שלא הם לא. ומה שרצינו לראות בתוך כל קבוצה כזאת היא כמה הייתה נוכחות של ימים שונים של חזרה ויצירה של תוכן במערכת ולנסות לראות האם יש הפרדה בין שתי הקבוצות.

אדווה: זאת אומרת, אם המטריקה הזאת של כמות ימים שמשתמשים במערכת, יכולה להגיד לך מי שייך לאיזה קבוצה או  מפרידה ביניהם.

אלעד: בדיוק! והפלא ופלא, מצאנו שיש הפרדה בין הקבוצות, ויותר מזה, ברגע שחילקנו את זה לבקטים של כמות הימים שחזרו למערכת, ראינו גם מהו היום הזה, שהחל ממנו יש סיכוי יותר גבוה שאני אשייך לקבוצת המוצלחים, קבוצת האלה שהפכו להיות משלמים, ופחות ממנו יש סיכוי יותר גבוה שאני אמצא בקבוצת הלא מוצלחים, אלה שלא הפכו להיות משלמים, כמו בדוגמה של הגברים והנשים והגובה, ומצאנו שהמספר הזה הוא שניים, כלומר, האם היו לפחות שני ימים של יצירת תוכן במערכת בשבוע השני, יש לי יותר סיכוי שאני אהיה שייך לקבוצת המשלמים.

אדווה: וואי, זה מאוד, אני חושבת שזה מאוד מחזיר אותי גם את לתחילת השיחה שדיברנו על למה זה חשוב ואיזה מילה שמהדהדת לי פה כל הזמן, זה פוקוס. אם אין לכם את ה- אם אתם לא מוצאים  את המטריקה הזאת שבאמת יכולה באופן הכי חזק להגיד לכם או להפריד לכם בין היוזרים ולעזור לכם להכווין למטרה בסוף של השלב שאתם אחראים עליו, אז יכול להיות שהייתם משקיעים מלא זמן למשל בלנסות לקנוורט יוזרים שבסוף אין הרבה סיכוי שהם יפכו להיות משתמשים, כי הם מלכתחילה היה להם שלב setup פחות מוצלח למשל.

אלעד: ממש ככה, הכל מתחבר אחד לשני ובסוף זה הכוח של סטטיסטיקה ושל דאטה, כאילו לבוא ובאמצעות כל מיני מידולים מספרים כאלה ואחרים לבוא ולחבר אותנו לביזנס ולדעת שבעצם הפעילות העסקית שאנחנו עושים, הפעילות המוצרית שאנחנו עושים בתור אנשי פרודקט, היא מוכוונת, הוא מפוקסת, היא יודעת מה היא מזיזה, היא יודעת שמה שהיא מזיזה כנראה ישפיע בצורה טובה על כל החברה, וזה בעצם החלק השני של המטריקה, כאילו הסתכלנו רק על הצד מהסוף להתחלה, אבל מהסוף להתחלה זה מסתכל רק בתוך הקבוצות עצמן, כלומר בתוך קבוצת המשלמים ובתוך קבוצת הלא משלמים. אני רוצה להסתכל עכשיו מההתחלה לסוף, כלומר לראות- קוראים לזה בסטטיסטיקה הסתברות מותנה, הסתברות מותנית, לראות given איזה שהוא מצב מסוים מה הסיכוי שאני אהפוך להיות משלם. עכשיו בעקבות השלב הראשון יש לי את המספר עצמו שאת ה-threshold נקרא לזה, של כמה ימים אני עכשיו בודק, האם יש יוזר מסוים שהצליח להגיע ל-threshold הזה אז יש סיכוי יותר גבוה שהוא יהפוך להיות לקוח משלם, שזה 2 מה שהגענו למסקנה מקודם. אז עכשיו מההתחלה לסוף מה שאנחנו עושים, אנחנו לוקחים את כל היוזרים שלנו ומחלקים אותם לשתי קבוצות, כאלה שהיה להם לפחות יומיים של יצירת תוכן בשבוע השני וכאלה שלא, ובודקים מתוך כל קבוצה מה הסיכוי שאני אהפוך להיות לקוח משלם. ברור שבתוך כל הקבוצה של אלה שיש להם לפחות יומיים של יצירת תוכן, לא כולם יהפכו להיות משלמים. זה לא רק כמו מה שראינו במצב הקודם, כי עכשיו אנחנו מסתכלים על כל האוכלוסייה. אבל מה שאנחנו רוצים לעשות בשלב הזה, זה קודם כל לראות שבאמת יש איזשהו סיכוי שהוא יחסית גבוה בקבוצה הזאת, ויותר מזה, לראות פי כמה הסיכוי הזה יותר גבוה, מקבוצת אלה שלא היה להם את היומיים השונים של יצירת תוכן. סתם למשל, אנחנו יכולים לקחת איזשהו מספר, איזושהי מטריקה שאנחנו רוצים לבדוק, ואנחנו נראה שבאמת יש הפרדה טובה בין קבוצת המשלמים והלא משלמים כמו שעשינו מקודם, נראה שאפילו יש איזשהו threshold מסוים, אבל כשאנחנו בודקים את זה עכשיו מההתחלה לסוף, אנחנו נראה שאין הבדל בין הסיכויים, כלומר אנחנו נראה שהסיכוי, או שיש הבדל והוא מאוד קטן אפילו, נראה שההבדל, נגיד ויש איזושהי מטריקה אחרת בוא נבחר, נגיד יצירה של 100 אייטמים בתוך המערכת, סבבה? בשבוע השני, אז נגיד אנחנו נראה שמי שיצר 100 אייטמים, הסיכוי שלו להפוך להיות משלם הוא 10% וגם עבור מי שלא יצר 10 אייטמים, נגיד הסיכוי שלו להפוך להיות משלם הוא 8%. אז כאילו אין פה באמת איזושהי בשורה, כי כאילו הסיכויים לא באמת משתנים. חשוב לנו מאוד שהמטריקה שאנחנו בוחנים, גם תהיה המטריקה שמנבא את הסיכוי להפוך להיות משלמים.

אדווה: הבנתי.

אלעד: וראינו שבאמת הסיכוי של לקוחות שיש להן לפחות יומיים של יצירת תוכן, היה מאוד מאוד גבוה, והסיכוי של אלה שלא היה להם היה מאוד מאוד מאוד נמוך. כלומר גם מהצד השני ראינו שהיה, הכוח היה להראות פי כמה גדול הסיכוי, ואז גם נורא קל לתקשר את המטריקה, את הדבר הזה עסקית לאנשים שהם לאו דווקא data-oriented. היה לי נורא קל לבוא ולהגיד למי שיש יומיים שונים של יצירת תוכן במערכת, יש פי 20 יותר סיכוי לבוא ולהפוך להיות לקוח משלם. נורא קל אחרי זה לבוא ולתקשר את זה לאנשים שהם לאו דווקא דאטה practitioners

אדווה: כן, ואז זה גם מחלחל בסוף לכל דבר אחר במוצר כי למשל אנשי פרודקט יכולים להגיד: אוקיי, אז אנחנו צריכים לשים את הפוקוס שלנו, על זה שכל משתמש שמגיע יהיה לו יומיים שימוש במערכת, כאילו עכשיו איך גורמים לו להשתמש במערכת לפחות יומיים, כי אנחנו יודעים שזה יגדיל את הסיכוי שהם יהפכו למשתמשים משלמים.

אלעד: בדיוק כך, ממש ממש ככה. 

[נעימת מעבר]

אדווה: אוקיי, אז בסדר, אז עברנו את זה, בדקנו כל מיני מטריקות, נכון אמרנו שיש מצב שיש כמה שבוחנים וזה, ובסוף כנראה בחרנו את זאת שהראתה לנו את הנתונים הכי חזקים. עכשיו אני רוצה לוודא שזו באמת המטריקה הנכונה ושאני רוצה להמשיך לרוץ איתה קדימה. איך אני עושה את זה? מה השלב הבא?

אלעד: ממש ככה, כאילו אנחנו לא יכולים לצאת לדרך פשוט עם המטריקה הזאת, רק בגלל שסטטיסטית היא הראתה שהיא הכי חזקה והכי טובה, אנחנו רוצים גם לוודא שבאמת המטריקה הזאת היא המטריקה שאנחנו רוצים להשתמש בה, ומה שאנחנו עשינו זה בחרנו לבדוק את זה בשתי תצורות, שתי דרכים, דרך אחת זה דרך כמותית ודרך שנייה זה דרך איכותנית, ונדבר כזה על כמה דוגמאות מכל אחת מהדרכים. בואי נתחיל רגע מהדרך הכמותית, יותר קל לי, אני איש דאטה- לדבר על מספרים. אז יש כמה דברים שאפשר לעשות, דבר ראשון ברגע שהגדרנו את המטריקה הזאתי, נגיד יוזרים שעשו לפחות יומיים שונים של יצירת תוכן במערכת. להתחיל להסתכל על המטריקה הזאתי time over לראות שהמטריקה הזאת יציבה קודם כל, לראות איך היא מתנהגת, לראות כזה מתוך היוזרים שלנו שנרשמים למערכת, כמה מצליחים בכלל להגיע למקום הזה, ולהשוות את זה למטריקות קיימות,  למשל קונברז'ון למשלמים, מטריקה ממש חשובה. ומה שאפשר לעשות זה ממש להסתכל כזה time over, לפרוס את זה כזה לאיזשהו גרף נורא גדול שסוכם כזה בכל שבוע את הכמות חשבונות, ומה אחוז יוזרים שהגיעו למטריקה החדשה ומה אחוז יוזרים שהם בסוף הומרו להיות משלמים ולבדוק את היחס ביניהם, לראות שאם היחס נשאר קבוע, זה אומר שיש קורלציה בין המטריקות, כי אם המטריקה הזאת תעלה אז המטריקה השנייה תעלה ביחד איתה, אם היא תרד אז היא תרד ביחד איתה אבל היחס תמיד ישמר. 

אדווה: זאת אומרת לקחת איזה שהיא מטריקה שאני כבר מכירה אותה, אני יודעת שהיא טובה חזקה ולבחון את זה אל מולה.

אלעד: כן, היא גם מטריקת המשלמים היא מטריקה שאי אפשר להתווכח איתה, זה בסוף כאילו, שילמת או לא שילמת, אין איך לברוח מזה, זה לא איזה שהם כזה היפותזות ודברים, בסוף משלמים זו המטריקה הכי חזקה שלנו. אז זה דרך אחת. עוד דרך שנייה לבדוק קורלציה זה לייצר שונות בדאטה, זה משהו שאני ממש אוהב לעשות, ממש לקחת את כל  הדאטה שיש לנו על פרק זמן מאוד מאוד ארוך ולהתחיל לייצר ברייקדאונים לפי ממדים שונים, למשל אפשר לקחת את כל החשבונות לפי מדינה ולפי איזה שהוא דפדפן מסוים שהם באו ממנו, ולסכום את כל החשבונות. בדרך הזאת אנחנו מייצרים שונות, יש מדינות שמתפקדות יותר טוב, מדינות שמתפקדות פחות טוב מבחינת הפרפורמנס שלהם במערכת, דפדפנים גם עם סוג של איזה שהוא performance depreciator בפעילות שלהם במערכת, ובדרך הזאת אנחנו מייצרים המון המון המון דגימות, כל דגימה כזאת היא קבוצה של אלפי חשבונות שהם הגיעו ממדינה מסוימת ומאיזה שהוא דפדפן מסוים, ולכל קבוצה כזאת אפשר לבדוק את האחוז שענו על המטריקה נכון, על המטריקה החדשה שענו, פוטנציאלית, Successful Setup, ואחוז שהפכו להיות משלמים, וכשאנחנו שמים את זה על איזה שהוא גרף כזה של תרשים פיזור שכל נקודה מאפיינת בציר ה-X נגיד את האחוז שהפכו להיות משלמים, ובציר ה-Y את האחוז של Successful Setup, אנחנו מקבלים איזה שהוא תרשים פיזור כזה של נקודות, שמה שאנחנו מצפים לראות בו בתור אנשי דאטה, זה שהתרשים הזה מייצר איזושהי קורלציה, הנקודות פזורות אבל הן פזורות באיזה שהוא קו כזה, קו שהוא מאוד מאוד ברור לנו לעין, עכשיו זה רק ויזואלית, אפשר גם לבוא ולקחת את כל הנקודות האלה ולהכניס אותם לתוך פונקציה הכי פשוטה באקסל שנקראת פירסון, פירסון זה משהו שאנחנו משתמשים בו המון בדאטה שבא לבוא ולהראות לנו קורלציה בין נתונים, אם משתנה אחד עולה, האם המשתנה השני עולה ביחד איתו, זה בדיוק מה שאנחנו מנסים למצוא פה, לראות האם successful setup  גבוה מראה קונברג'ן למשלמים גבוה וההיפך. אז ממש אפשר לקחת את כל התצפיות האלה שיצרנו, במדינה ובדפדפן, להכניס אותם לתוך פירסון ולנסות לקבל איזה שהוא, לראות מה יוצא. יש לנו אפילו industry סטנדרט בנושא הזה, אם המספר שיוצא הוא מעל 70% או מתחת ל מינוס-70% אז זה אומר שיש קורלציה חיובית ושלילית בהתאמה. 

אדווה: מעולה. אז אמרנו שגם בודקים את הקורלציה לאורך זמן, וגם פשוט בודקים שיש קורלציה.

אלעד: בדיוק ככה, ממש ככה. זה בהיבט הכמותי. 

אדווה: עכשיו בהיבט האיכותני.

אלעד: אז בהיבט האיכותני אני חושב שזה תהליך שנמשך כל הזמן. אני חושב שזה גם הדבר הכי חשוב במטריקות שאנחנו יוצרים, כל הזמן לשאול את עצמנו to challenge מה שעשינו. בהתחלה כן נעשה הרבה ראיונות עם משתמשים, ניקח משתמשים שכן היה להם את ה-successful setup שיצרנו וכאלה שלא היה להם, ונראה האם באמת בפועל הם עשו setup מוצלח במערכת או לא עשו setup מוצלח במערכת. לראות כמה false positive, false negative, true positive וtrue negative אנחנו באמת הצלחנו לייצר מתוך הדבר הזה. כמובן שלעשות ראיונות זה משהו שהוא מאוד time consuming, זה קשה, זה מורכב, זה דורש המון, זה גם מענה מהצד של היוזרים, אז יש גם דרכים אחרות לעשות את זה, כמו למשל לשלוח סקרים לקבוצות מסוימות, נגיד קבוצה שכן יש לה successful setup וקבוצה שלא. ועבר להם כמובן מספיק זמן, הם שבועיים במערכת וכולי, וממש לשאול אותם שאלות, כאילו לקבל איזה מסה גדולה של תשובות שבאמת יסבירו לנו ויתארו לנו האם באמת היוזרים שלנו עשו סטאפ מוצלח במערכת. 

אדווה: הבנתי, כי אתה אומר בדאטה לפעמים זה יכול להיראות שכן, בעוד שאם עכשיו תדבר עם בן אדם הוא יגיד: כן, שילמתי וזה אבל תכל'ס אני לא-

אלעד: כן, כי יכול להיות שמתחבאים שם דברים נוספים. יכול להיות שיוזרים לא עשו סטאפ מוצלח במערכת הם כן נשארו איתנו בשבוע השני, כי הם עדיין ראו את הפוטנציאל שיש למאנדיי. אבל אנחנו היה חשוב לנו להבין שבאמת, אם כזה אנחנו חוזרים להתחלה וראינו שהבנייה נעשית בשבוע הראשון והאופרציה בשבוע השני והמטריקה שעשינו מנבאת אופרציה בשבוע השני, וזה באמת בסוף סוגרים את הכל עם איזה שהוא כזה סרט עטוף בפפיון שגם מבלדץ מבחינת דאטה וגם מבלדץ מבחינת קוואל את הדברים, סגרנו את הפינה.

[נעימת מעבר] 

אדווה: אז עשינו וולידציה, ועכשיו אני רוצה שנצא רגע מהסיפור המקרה של המטריקה הבודדת ונדבר קצת באמת על טעויות נפוצות ועל שנייה ממה צריך, מה כדאי לעשות וממה צריך להיזהר. אני כן רוצה להגיד לפני שאם אתם רוצים לשמוע עוד פרקים, או פשוט לדעת כל פעם שיוצא פרק, אז אתם יכולים לעשות לנו follow בכל אחת האפליקציות שאתם שומעים בהם. ואם אתם רוצים לעזור לנו לחשוף את הפודקאסט לעוד אנשים, אז נשמח שתשאירו review  או תדרגו אותנו גם באפליקציה שאתם מאזינים בה, זה מאוד עוזר לאלגוריתם. זהו, וזו המטריקת כוכב צפון שלנו. אז מעולה אלעד, אז אני רוצה באמת שנדבר עכשיו על קצת טעויות נפוצות, ממה אני צריכה להיזהר כשאני באה להגדיר מטריקת כוכב צפון.

אלעד: מהמם. אז הדבר הראשון, ובאמת הדברים האלה נכתבו בדם, ככה גם אנחנו טעינו בהם המון פעמים וזה תהליך שהוא בריא גם באופן כללי לטעות, אני בעד. מה שאני יכול לשתף זה דבר ראשון להימנע מבייס ליין נמוך למטריקה, למה הכוונה? אנחנו לא רוצים מטריקות שהאחוז שלהם מהאוכלוסיה הוא יחסית נמוך. למה? כי נגיד ואנחנו נרצה לעשות טסטים, אוקיי? אנחנו עכשיו נגיד והאחוז של המטריקה שלנו הוא אחוז אחד מהטראפיק, סתם אני זורק איזה שהוא מספר. ואנחנו עושים איזה שהוא טסט עכשיו, שאמור לשפר את החוויה ואמור בסופו של דבר להשפיע על הסטאפ של יוזרים. ב-ab-test אני אצטרך המון המון המון זמן כשה-baseline metric שאני מנסה לאפטם היא מלכתחילה מאוד נמוכה. זה תמיד פונקציה של מהו ה-baseline conversion שאני מנסה לאפטם ככל שה-baseline conversion יהיה יותר גבוה, וה-minimum detectable effect אני אתן לכם reference לפרק של-ab-testing וה-minimum detectable effect יהיה גדול, ככה הדאטה שאני אצטרך בשביל להוכיח מובהקות סטטיסטית על טסט יהיה יותר נמוך, דאטה יותר נמוך, פחות זמן להריץ טסטים, אז מאוד מאוד חשוב לשמור על מטריקה שהיא תהיה ככה, שהיא תהיה מספיק טובה, אפשר ללכת גם למחשבונים אחרי זה של כל ה-ABTest ושל הסטטיסטיקה significate ולהבין לאן אנחנו רוצים להגיע, זה נגיד טיפ שאני יכול לתת, להבין אנחנו רוצים לייצר מטריקה שהיא לכל הפחות 15% מהטרפיק. למה? כדי שנהיה מספיק אג'ילים ונצליח לרוץ ולעשות טסטים שהם לכל היותר ירוצו שבועיים שלושה. זה כזה משהו שמאוד חשוב לשמור עליו,

אדווה: מעולה, וגם נגיד שבאמת אתה עושה פה רפרנס לפרק שהקלטנו לא מזמן על ABTest 2.o אז אנחנו נצרף אותו בקישור בתיאור של הפרק אם מישהו רוצה להאזין.

אלעד: מהמם, אני גם אגיד שבמידה וכן אין לכם ברירה והמטריקות שאתם תעבדו עליהן – המטריקות שאתם יצרתם זה מטריקות שהבייסליין הוא נמוך ואין איך לזוז איתם, תמיד אפשר גם לייצר פרוקסי מטריקס, זה מתודולוגיה שלמה ששווה לדבר עליה אולי אפילו בפרק אחר, אבל גם היא ניתנת לפתרון, מטריקות שהן מנבאות את ההצלחה של המטריקה הגדולה שלכם, והבייסליין שלהן יהיה גבוה ואז לעשות את הטסטים על המטריקות האלה, זה משהו שאנחנו עושים המון. אז בייסליין נמוך זה משהו ששווה להימנע ממנו. 

אדווה: מה עוד? איזה עוד טעויות יש שאני יכולה להיזהר מהן?

אלעד: אז בהיבט של- אוקיי, בחרנו נגיד אובייקט מסוים שאנחנו רוצים לספור אותו, יוזרים שיש להם לפחות יומיים שונים של יצירת תוכן בשבוע השני. אנחנו יכולים להסתכל על זה גם בצורה אחוזית, כלומר מתוך אוכלוסייה, מתוך הסייאנפים שנרשמו למערכת, ואנחנו יכולים להסתכל על זה גם בצורה אבסולוטית, כלומר כמות החשבונות בשבוע מסוים שהיה להם successful setup. ואז נשאלת השאלה מה ומה? כאילו על מה להסתכל? ואני אומר על שניהם, כאילו בסוף זו אותה מטריקה, פשוט פעם אחת היא מקבלת ייצוג שהוא רלטיבי, ופעם אחת היא מקבלת ייצוג שהוא אבסולוטי. ולמה זה כל כך חשוב? אז נגיד ואנחנו נסתכל רק על האחוז מהטראפיק שיש לו successful setup. אז יום אחד פתאום אנחנו נראה שהאחוז קפץ ב-30 אחוז, אנחנו נגיד: וואו מטורף העלינו את ה- successful setup אבל מה גילינו? גילינו בפועל שנגיד סגרו איזשהו קמפיין נורא חזק, כל הטראפיק שלנו ירד ובעקבות זה שהטראפיק ירד, האחוז קפץ למעלה, אבל בפועל לא הבאנו חשבונות חדשים, כאילו בפועל אם הייתי סופר אבסולוטית את החשבונות שהיה להם successful setup אז הייתי רואה שאני דווקא בירידה. ואז לא עשינו משהו טוב, זה שהאחוז עלה זה לאו דווקא משהו טוב, בסוף אני מזכיר, אחוזים זה טריקי, זה שבר. האחוז יכול לעלות גם אם המכנה יורד לא רק עם המונה עולה. אז חשוב להסתכל על שני המספרים, גם מספר אבסולוטי וגם מספר רלטיבי, ולראות אם שניהם עולים, אם שניהם עולים זה מדהים, זה חזק מאוד. אז זהו, עוד איזושהי טעות ששווה להימנע ממנה. שווה להימנע גם ממטריקות שיכולות להיות מושפעות באופן מלאכותי מדברים שאנחנו עושים במערכת. למשל, נגיד ויש מטריקה שאנחנו היינו בוחרים שזה: האם יצרתי אייטמים בשבוע השני במערכת, אוקיי? מטריקה שיכולה להיות מעניינת, לכל הדעות, ונגיד שאני עושה איזה שהוא קמפיין של אימייל מרקטינג בשבוע השני, שולח אימיילים ליוזרים ואומר להם: בואו תיכנסו ותעשו איזה שהוא אייטם במערכת, אוטומטית אני אראה מלא יוזרים שנכנסים ועושים אייטם במערכת,  אבל הם לא באמת יצרו אופרציה. אז כאילו באופן מלאכותי גרמתי למטריקה הזאתי להיות חיובית, אבל לא באופן עסקי וזה משהו שחשוב להימנע ממנו. אז כשבונים מטריקות חשוב גם לוודא שהן מוגנות, הן מוגנות מאיזה שהיא פעילות מלאכותית שיכולה לקרות, שתגרום למטריקה באופן פיקטיבי להיות חיובית. 

אדווה: כן, האמת שאני, אם אני חושבת על הפודקאסט רגע,  על מה שאני עושה, אז במשך הרבה זמן אז מספר האזנות היה משהו שמאוד מאוד הוביל אותנו, ואז אני זוכרת שהיה- וזה כאילו מספר מאוד וולטילי, אוקיי? הוא מאוד מאוד משתנה ולקח לי הרבה זמן להבין  שיש חודשים שיש בהם- פתאום אני אומרת את זה, זה נשמע לי כל כך אלמנטרי שחבל שלקח לי כל כך הרבה זמן, אבל יש חודשים, אנחנו מוציאים פרק, כל יום שלישי, אז מתוקף זה יש חודשים שיצא בהם פרק כל יום- חשוב להגיד, כמות האזנות לא לפרק, אלא חודשית,  זה היה משהו שהסתכלנו עליו, אז יש חודשים שיצאו בהם חמישה פרקים בחודש, פשוט כי היו חמישה שבועות, חמישה ימי שלישי. ואז ממול יש פרקים שפתאום חודשים שהיה בהם שלושה, כי היה חג ועוד שלושה ימי שלישי, רק לפעמים זה יוצא. וייחסתי את הולטיליות הזאת לאיכות של הפרקים או לאיכות של הפודקאסט באופן כללי, בעוד שזה פשוט כמו שאמרת הייתה מטריקה לא מוגנת, לא יכולתי לשלוט בנסיבות שלה ולכן היא מאוד מאוד השתנתה לי מול העיניים, וגם אני לפעמים הוצאתי יותר פרקים כי רציתי להביא עוד האזנות, וזה גם גרם לזה לראות כאילו יש יותר האזנות בחודש למרות שאם הייתי מסתכלת על זה בממוצע פר פרק, זה לא בהכרח עלה, אולי זה אפילו ירד.

אלעד: נכון, יש מצב שזה היה פותר את זה. ספציפית הדבר שאת דיברת עליו, זה משהו שאנחנו לא ממש יכולים להימנע ממנו, סיזונליות כזאת של חגים או של ימים מסוימים בשבוע, זה משהו שגם אנחנו נתקלים בבעיה הזאתי. אבל אנחנו לוקחים אותה בחשבון וכשאנחנו מנסים לייצר השוואות של מטריקה, אנחנו יודעים איך להתמודד עם זה. אני מדבר על דברים שהם יותר חזקים, למשל אם היית אומרת לי שאיזה יום אחד המטריקה שלך קפצה, ואז היית אומרת: וואו! כמה קליקים קיבלתי לאיזה שהוא פרק מסוים, מדהים, ואז כאילו היית מגלה שקיבלת מלא קליקים הפרק הזה, כי מי שהקליט את הפרק הזה הלך ופרסם את זה בערך בלינקדאין שלו ויש לו מיליון עוקבים שם, אז כנראה שזה הסיבה שזה עלה. זה איזה שהיא דוגמה לאיזה שהוא כוח חיצוני שיכול להשפיע על הפרק, על המדד שלך, שהוא לא בהכרח קשור לאיכות, ל-value  שהיוזרים מנסים לקבל.

אדווה: זה דבר שלישי, ומשהו שאמרתי מקודם ואני אגיד אותו שוב, כאילו הדבר שהכי חשוב לעשות, זה תמיד תמיד לאתגר את המטריקה שלנו. אנחנו רצים עם המטריקה הזאתי כבר חצי שנה, אולי אפילו יותר, ואני חייב להגיד שעד היום אנחנו מקבלים כל פעם כזה איזה שהם  כאלה תובנות שעולות מאנשים ש- ראיינתי מישהו והוא אמר לי שהיה לו successful setup אבל בפועל הם לא באמת היו  מרוצים מה-setup שלהם  אנחנו מנסים כל פעם להבין האם הקייס הזה מתאר  איזה שהיא שבירה של המטריקה ומשהו לא נכון בה, או שפתאום אנחנו כאילו- רגע שנייה, דווקא זה טוב וזה אפילו מכווין אותנו יותר. כל הזמן לנסות לנפץ ולשבור ולנסות כזה כמו- לעשות qa למטריקות שאנחנו עושים רק כדי לנסות למצוא את הסדקים הכי קטנים כדי לדעת מה מה הפלוז של המטריקה הזאת, איפה היא נכשלת, איפה היא עובדת, וככה זה יגרום לנו להיות הרבה יותר בטוחים במה שאנחנו עושים.

אדווה: כן, ובעצם אני חושבת שזה חשוב להגיד שזה בעצם המטריקת כוכב צפון, היא לא סטטית, היא דינמית  ויכול להיות שהיא תשתנה עם המוצר, עם הצמיחה של החברה, עם ההשתנות של הצוות וכאילו כמו שאתה אומר בעצם, זה צריך להיות עליה ולהיות פתוח ללשנות אותה ולראות שהיא מדויקת לנו עדיין כל הזמן.

אלעד: תמיד לדייק אותה. אנחנו כן נרצה מטריקה שתרוץ איתנו להרבה זמן, אנחנו לא רוצים, שוב- כאילו אני חוזר כזה קצת להתחלה ומתי אנחנו חייבים מטריקות כוכב צפון, אז אמרנו- שינויים אסטרטגיים מן הסתם כאילו, צוותים חדשים שקמים, מן הסתם אנחנו מדברים פה על כזה יציאה מכיול של מטריקות וכאלה, כן זה דברים שהם קורים ובשביל זה תמיד צריך להיות עם היד על הדופק, תמיד לראות שהכל עובד כמו שצריך, תמיד לשאול את השאלות, האם מה שאנחנו עושים הוא נכון.

אדווה: יש איזה סיגנל שאני יכולה- אתה יודע, שיכול להעיד לי שהמטריקה כבר לא משרתת אותי אולי יותר?

אלעד: אני חושב שזה יכול לבוא לידי ביטוי נגיד בטסטים שאנחנו עושים, אם אנחנו נראה שאנחנו עושים איזה שהוא רצף של טסטים שכולם משפיעים על איזה שהוא אזור מסוים במערכת, אבל המטריקה לא מגיבה, אז יכול להיות שהטסטים לא טובים, אבל יכול להיות גם שהמטריקה לא באמת קשורה או בהלימה למה שאנחנו מנסים לעשות, כלומר היוזרים כן מקבלים את ה-value שהם היו צריכים לקבל, אבל המטריקה לא זזה לנו ולא משתנה בהתאם לזה, דברים שהם כאלה, או נגיד מטריקה שכזה עם הזמן פתאום רואים שהיא הולכת ויורדת, וזה לא מגיע מסיזונליות או הולכת ועולה, משתנה לנו כל הזמן, כאילו דברים כאלה זה דברים שאמורים להעלות חשד לגבי זה.

אדווה: מעולה. אז אנחנו ממש מתקרבים לסיום, טיפ אחרון למי שמקשיב לנו ועכשיו רוצה להגדיר את המטריקה הזו אצלו בצוות, בחברה. משהו אחד שחשוב לך שהם יצאו איתו מהפרק.

אלעד: אני חושב שממש חשוב לשמור על גמישות מחשבתית ולא להיות מקובע. בסוף אנחנו בתהליך של בחירה, תהליך של יצירה ובחירה אפילו אפשר לקרוא לזה ככה, אנחנו יוצרים יש מאין, אנחנו מנסים כל מיני דברים, לפעמים אנחנו נכנסים לכיוונים מסוימים, לפעמים הכיוונים האלו לא היו טובים, כמו  בדוגמה שנתתי שנשאבנו כזה לשבוע הראשון, ננעלנו על זה והיינו צריכים לשמור על ראש פתוח ולנסות לבדוק כיוונים אחרים, כמו למשל מה קורה בשבוע השני. אז גמישות מחשבתית ולדעת לשאול כל הזמן למה ולמה, ולהגיע לחקר האמת, עד שבסוף אנחנו מגיעים ומביאים איזה משהו שהוא כזה מרגישים בנוח וביטחון מולו, זה בעיניי הדבר שהכי חשוב בבנייה של מטריקות כאלה. בסוף אנחנו יוצרים פה איזה שהוא משהו, כאילו צריך לא להינעל ולנסות לבדוק כל מיני אופציות עד שבסוף מצליחים להביא איזה משהו שאנחנו מרגישים שלמים איתו.

אדווה: מעולה. אז עם זה אנחנו נסיים, ואני אזכיר שאם יש לכם שאלות אלינו או לאלעד, אז אפשר לשאול אותם באתר שלנו או בקהילה בפייסבוק. ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש, אז אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה אלעד,

אלעד: תודה אדווה, 

אדווה: ותודה לכם שהאזנתם.   

סוף הקלטה