48: בקצרה - לומדים מטעויותStartup for Startup
48: בקצרה - לומדים מטעויות
בפרק הזה של בקצרה, נחזור לשלוש טעויות שביצענו, ובמה למדנו שעלינו להשתפר בזכותן.
In our 2nd Recap, we connect with the spirit of Yom Kippur (Atonement day)and go back to three mistakes from three different episodes. The emphasis, as you can imagine in monday.com, is not on what went wrong, rather on what we learned to do better thanks to these mistakes.
--The episodes from which we took these insights -
1: A/B testing
6: From 30K to 4.5M dollar monthly marketing budget
18: Individual contributor
Episode transcript
Automatically transcribed — it may contain errors.
היי כולם, הגעתם לריקפ השני של סטארט-אפ פור סטארט-אפ, פורמט חדש שבו אנחנו מגישים לכם תמצית של תובנות משמעותיות מפרקים קודמים. הריקפ הזה יוצא לפני יום הכיפורים, וחשבנו שזו הזדמנות טובה לחזור אחורה לטעויות משמעותיות שביצענו, ולשמוע איך תיקנו אותן, או במילים אחרות איך למדנו והשתפרנו בזכותן. אז בריקפ היום תשמעו שלוש טעויות משלושה פרקים שונים שהקלטנו. לפני שנתחיל נזכיר לכם שיש לנו קבוצת פייסבוק שנקראת סטארט-אפ פור סטארט-אפ, ונשמח לראות את כולכם שם. תהנו. החלק הראשון של הריקפ נשמע מרותם שי, Head of Performance Marketing במאנדיי, איך מודעה מקסימה אחת שהציגה את המערכת של מאנדיי כמו משחק טטריס, בעצם הובילה אותנו לטעויות של חצי מיליון דולר. ומה למדנו מזה? אז הטטריס זאת מודעה שבעצם הביטה את המוצר בצורה שמדמה אותו למשחק טטריס, Don't let your task pile up או משהו כזה, ובעצם המודעה הזאת אפשר להגיד היא פרצה את כל ההגנות שלנו, שבעלויות של סיינאפים זה היה מדהים, וכשאנחנו רואים דברים כאלה, במיוחד גם ראינו אינטנט מאוד גבוה, שבעצם אינטנט זה בעצם איזשהו מדד של machine learning שחוזה לנו על לפחות כמה הם מוכנים לשלם ומתי וכל הדברים האלה, ובעצם פרצה את כל ההגנות האלה והיינו בטוחים שהנה אנחנו עכשיו מגיעים כאן, פיצחנו משהו חדש, וב ת שהתפוצצנו. מה זה אומר? זה אומר שהמודעה הזאת השתלטה לנו על כל החשבון הפייסבוק, בעצם השתמשנו בה ברוב הקמפיינים שלנו בכל המדינות ובכל מקום ששמנו היא פשוט עבדה במדדים שידענו עם דוד עד התשלום, ובעצם תקציב בזמנו? בסופו של דבר הפסדנו חצי מיליון דולר על המודעה הזאת. וואו. אז מה שקרה, הלקוחות הם ב ת שילמו כמו שחזינו שהם ישלמו, אבל הם לא שילמו מספיק כמו טראפיק אחר שאנחנו רגילים אליו, ובסופו של דבר זה גרם לזה שב ת לא הרווחנו את מה שחשבנו שנרוויח מהמובדע הזאת. ומה שלמדנו שם זה שיש כמה דברים שחייבים להדגיש במודעה, אחד שאנשים ידעו שזה מוצר, שזה בעצם סופטוויר או טול או אפ, ולא טטרי שזה יכול להיות משחק וזה יכול להיות בלוג פוסט וזה יכול להיות מ ר או כל דבר אחר, שהמוצר מתאים לטים בשביל בדיוק העניין הזה של השימוש הפרסונלי, ולהראות תמונה של המערכת, של איך זה נר וכל הדברים האלה היו חסרים במודעה הזאת, ולמרות שהיא עבדה מדהים. ומאז זה בעצם מה שלמדנו ובכל פרסום שלנו במודעה או בלנינג פייג' או בכל מקום אחר, אנחנו חייבים להדגיש את שלושת האלמנטים האלה. הטעות השנייה שנחזור עליה נוגעת באחד המרכיבים המרכזיים בעבודה כאן בחברה, הלא הוא ה-AB טסט. לירן זינמן ואווירה מגב האיש, שהוא מפתח פולסטאק אצלנו, מספרים איך הבנו שאנחנו מבצעים טסטים בצורה לא נכונה, ואיך הוספת AA טסט נתנה לנו יכולות שלא היו לנו לפני כן. אני חושב שה-AB טסט זה מתחיל בתור משהו שהוא קונספט שהרבה אנשים מכירים אותו. לכאורה נשמע פשוט, אבל אני יכול להגיד שאנחנו בתור חברה למדנו כל כך הרבה, עשינו כל כך הרבה טעויות לאורך הדרך, שזה פשוט מטורף. אני יכול לתת כמה דוגמאות. דבר ראשון, אני חושב שהרבה מאוד מהכלים האלה מראים מי ניצח בין שתי הווריאציות ברמה הסטטיסטית, זאת אומרת ודאות של 90 אחוז, 95 אחוז, אבל יש גם הרבה מאוד משמעות לסוג המוצר שלך ולקמות הקהל שבעצם נחשפת ל-AB טסט. כי הכלים האלה הסטטיסטיים גם עם קהל יחסית קטן יכולים כבר להגיד שאיזשהו קהל ניצח, ואני חושב שאנחנו הבנו את זה כשהתחלנו לעשות טסטים וראינו פתאום שאיזשהו טסט נר מאוד מאוד מפתיח, שיפר ב-30 אחוז, 40 אחוז וכולם כבר היו בטוחים שהנה, פגענו. ואז אתה מחכה עוד שבוע, שבועיים, סתם במקרה, ואתה רו שפתאום התוצאות מתהפכות. ואז רנו, רגע, יכלנו כבר לקבל החלטה, להכניס את הדבר הזה למוצר, מה קורה פה? כאילו, what the fuck? כאילו, אנחנו עושים את ה-AB טסט לא טוב. ואני זוכר ממש שלפני חצי שנה עשינו, התחלנו לעשות AA טסט, כאילו, לקחנו את המוצר ואת המוצר, אותו דבר, לא עשינו שום שינוי, חילקנו את היוזרים לשתי קבוצות רנדומלית, ורצינו לראות מה הכלי ה-AB טסט שלנו אומר, אם מישהו מנצח. תיאורטית, פרקטית, אין שום סיבה שמשהו ינצח. ואז אנחנו מתחילים ואנחנו רואים שאחרי שבועיים הכלי מדווח לנו שוורסי A מנצחת, ושיפור של איזה עשרה אחוז, אוקיי. ואז חיכינו לראות בזמן מתי הדברים האלה מתאזנים. ולמדנו, כאילו, למדנו כמה טראפיק אנחנו צריכים בשביל לקבל אינדיקציה שהיא נכונה. וזה פינה לו סימון. ואז פתאום התחלתי לחשוב, רגע, עשינו בעבר כל מיני טסטים שהסתמכו על פחות אנשים, אולי…
ספקנו משהו, אולי קיבלנו החלטות לא נכונות, וב ת ממש עשינו פה אדיוקיישן מאוד רחב בחברה לכמה יוזרים אנחנו צריכים. אז מה גילינו בהקשר הזה? כמה יוזרים אנחנו צריכים? אני חושב שאתה בקדם ספרינטטו ממני. כן, 40 אלף בכל וריאנט. לא, זה עומד על 25 אלף בכל וריאנט. 25 אלף אנשים שנרשמים. נכון, בכל וריאנט. אבל עוד משהו, נקודה חשיבה לגבי ה-A8 טסט, זה גם עזר לנו מאוד להתפקס, כי יש איזשהו טווח שאנחנו לא ב ת יכולים להיות ודאיים לגבי התוצאות שלו, אלא אם כן, לך כמון המון זמן, שזה מה שאנחנו לא יכולים להרשות לעצמנו. ואז בעצם הגדרנו, אם זה טסט שאנחנו חושבים שיעשה שיפור מאוד מאוד קטן, אנחנו אפילו לא נלך לשם. שזה גם משהו שלא היה בהתחלה של הגרוס, ומשהו שלמדנו אחר כך. וזה נתן לנו המון המון פוקוס. בשונה משתי התאויות הראשונות, שהן מקצועיות יותר, בחלק השלישי ואחרון לריקאפ הזה, נחזור לסיפור אישי, שבו ערן מספר איך מינוי לתפקיד ניהולי כמעט הביא להזיבה של המפתח המוביל בחברה באותה תקופה, טל הרמטי. טל מצידו יספר איך הוא הגיע למקום שבו הוא מוותר בעצם על תפקיד נחשק לכאורה, ואיך זה הוביל אותו למקום הרבה יותר טוב ומדויק עבורו בתור IC, Individual Contributor. אני ממש זוכר את עצמי אומר, מה עשיתי? לקחתי את הבן אדם שעשה הכי הרבה אימפקט בחברה, שכל יום שהוא בא לעבודה, התרומה שלו הייתה סופר משמעותית, והפכתי למישהו שאין לו תרומה בחברה. תכנקת אותו. כל הכבוד, אירן. מהלך ממש ממש טוב. פעלתי מאינטואיציה של בוא ניקח את המפתח שהיה הכי טוב באותה תקופה, נהפוך אותו להיות מנהל. יום אחד בא אליי טל. אז זהו, זה ב ת… כמה זמן רגע היום הזה הגיע אחרי שהתחלת לנהל בפועל? אני חושב שזה קרה בערך שנה אחרי שהתחלתי לעשות את התפקיד, אז כנר קצת פחות. הרבה זמן קתחת את עצמך. כן. וב ת אני ממש זוכר את השיחה שלי עם חגית אשתי ש רתי לה, תקשיבי, אני סגור על זה. זה לא בשבילי. צריך להגיע לכאן מישהו שיודע לעשות את הדבר הזה, שזה מה שהוא טוב בו, שעשה את זה כבר, שזאת הדרך הכי טובה שלו לעשות את הדברים, ושאני אוביל יחד איתו את החברה בדברים שבה את הפיתוח בדרכים שאני יודע לעשות את זה. פשוט רתי את זה כמו שזה, שאני לא מרגיש שאני היום ממצא את עצמי, שאני לא מרגיש היום שאני במקום הנכון בתוך החברה, ושאני חושב שצריך להתחיל לגייס בן אדם שיבוא לנהל את ה-R&D. אני זוכר את השיחה הזאת, כאילו הכרתי אתמול, כי אני זוכר שהסתגרנו בממד, וטל בא ואומר, תקשיבו חבר'ה, אני לא רוצה יותר. ואני כזה יושב מולו, ואני לא יודע מה אני מרגיש. כאילו מצד אחד, אני אומר וואו, כאילו איזה כוחות נפשיים צריך לבוא בן אדם ולהגיד שהוא לא רוצה תפקיד, שבעיני כולם הפרויסיבד הוא כאילו, שהוא מוותר על משהו. אבל לצד שני רתי וואו, הוא כאילו כל כך מחובר לעצמו, כאילו הוא מבין מה הוא רוצה ומה הוא לא רוצה. ואז הייתה לי כזאת הרגשת הקלה של, הנה עשיתי לו, עשיתי מהלך שהוא לא טוב, אבל אפשר לעשות את זה אנדו. אפשר לתקן. כן, וזה אפילו בא מיוזמתו, אז אני לא מרגיש כאילו לקחתי לו משהו. אני חושב שהשיחה הזאת הייתה ממש ביוולטלית בתפיסה שלנו בחברה. אני חושב שכל כך הרבה סימונים נפלו בעקבות הדבר הזה. יש פה הרבה אנשים כאלה שהאימפקט שהם מייצרים בחברה הוא משמעותי כמו מנהלים. והרבה פעמים אנשים חושבים, אני אתקדם להיות מנהל, אני אקבל שכר יותר גבוה, אני אתנו לי יותר אופציות, אני אלי אפסאי יותר משמעותי. אצלנו זה לא קשור. כאילו האפסאי שלך הוא מושפע מהאימפקט שאתה מייצר, ואנחנו נשווה את התנאים מהבחינה הזאת. אבל אני חושב שיותר חשוב מהדברים החומריים, ההבנה, כאן זה for מנהלים ואני קורא לזה for מימפקט. זה ברור כי האנשים האלה דוחפים את החברה כמו שהשם מנהלים דוחפים את החברה. ואני משקיע זמן ומדבר עם טל כי זה חשוב לי, כי אני יודע שהוא ידחוף את החברה קדימה, וכל דבר כזה מייצר לנו המון המון value. כי אני חושב שהרבה מפתחים, וגם יצא לי לדבר עם הרבה מפתחים מהמקום הזה שאומרים, תקשיב אני כבר נמצא בחברה כך וכך זמן ואני רוצה להתקדם. ותמיד האינטואיציה אומרת אני אתקדם, אני אר צוות. ואני מסתכל על הבן אדם ואני אומר וואו, הוא מתכנת על, הוא תותח, אני רו ממה הוא נהנה, אני רו מה עושה לו טוב, אני לא בטוח שהניהול זה הדבר הנכון בשלו. ופתאום גם נוצר לנו שפה. כאילו אני אומר לו תקשיב, אתה יכול לצל ככה וככה אימפקט כאילו בתור איי-סי, בוא נר איך אתה דוחף את החברה קדימה. ופתאום נוצרו לנו שני פסים של התקדמות בחברה. זה היה הריקאפ מספר 2 על טעויות וכיפורים. אם יש לכם טעויות מעניינות שהייתם רוצים לשתף אותנו בהן, כדי שגם אנחנו ואחרים נוכל ללמוד, יותר מנסמך שתספרו לנו עליהן בקבוצה שלנו. תודה שהזנתם.