פרודקטיבי: איך יודעים שמוצר מספיק טוב כדי לצאת לשוק

פרודקטיבי, פודקאסט המוצר של סטארטאפ פור סטארטאפ. שלום לכולם, אני רן ארז, ואתם הגעתם לפרודקטיבי, הפודקאסט שבו אנחנו מדברים מנהלי ומנהלות מוצר מחברות שונות, על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן, ומה השיעורים שהם למדו בדרך. ובפרק של היום נדבר על הבעיה המוצרית הב . איך יודעים שמוצר מספיק טוב כדי לצאת לשוק? ומי שיספר לנו להתמודדות שלו עם האתגר הזה הוא עומר גרצמן, Senior Director of Product Management בגונג. היי עומר. בוקר טוב. מה שלומך? מצוין, מה שלומך? מעולה, אני ממש שמח שאתה פה, וב ת יש לנו אתגר מעניין שנר לי כל מנהל מוצר שעושים מוצר לשוק מתמודד איתו, של מתי טוב לצאת ומתי זה טוב מספיק כדי לצאת, ואני שמח לשמוע כזה קודם כל על הפרספקטיבה שלך, ולמה זה בכלל מעניין מנהל מוצר ומנהלות מוצר אחרים. אני חושב כולנו כמנהל מוצר מתמודדים כל הזמן עם השאלה הזאתי, האם מה שאנחנו בונים הוא מספיק טוב. בעולם הניהול המוצר הקלאסי אנחנו יושבים על ה-UX, עושים איזשהו פלואו ומספיק טוב זה כשהפלואו עובד, נכון? כאילו לוחצים על הכפתור ומשהו עוצים קורה, אבל זה מסתבך כשהולכים לסוגים אחרים של מוצרים, בעיקר שמעבדים AI, ושם יש שאלה מאוד קשה, אז מתי זה מספיק טוב בשביל להוציא את זה ב ת לשוק? אז ב ת שניסינו לחשוב על הפרק הזה, ניסינו לחשוב איך להביא את זה בצורה שהיא ב ת קונקרטית. זאת אומרת, אפשר לדבר על כל מיני שיטות ל-go to market ושיטות ל-validatio שהן מאוד גנריות, וניסינו לחשוב על זה דרך איזושהי בעיה ספציפית. אז עומר, אולי תיתן לנו קצת יותר קונטקסט על הבעיה שאנחנו יכולים לדבר עליה, הבעיה המוצרית, מה נתקלתם בה, באיזו סיטואציה הייתם? מעולה. המוצר שאני מנהל הוא מוצר שעוזר לצוותי מחירות לנהל את תהליכי המחירות שלהם. אז אם נחשוב על מנהל מחירות שיש לו עשרות עסקאות בפייפליין, הוא רוצה להבין כל עסקה, האם היא הולכת להיסגר, מה הסיכוי שלה, ואנחנו כבר הרבה מאוד זמן, הרבה זה מעל שנה, עובדים על מודל AI שמנסה לנבא את מעדד הבריאות של כל עסקה ועסקה. ובעוד בקורסי One on One של מודלי AI מדברים על Precision וRecall, זה מאוד נחמד במודלים מסוימים, בפיצ'רים מסוימים, אבל זה ממש לא תופס בהרבה מאוד מהבעיות בעולם ה יתי. אז בעצם בנקודה הזאת אתה אומר, אנחנו עובדים כמעט שנה, אנחנו בעצם יש לנו מצד אחד רעיון שאנחנו אומרים, אנחנו רוצים להגיע לאחוז בריאות של עסקה, לראות שהעסקה הזאת היא ב ת טובה ולעזור עם פרדיקציה. ואתה אומר, מצד אחד יש כלים בשוק שעושים את זה על כל מיני יוריסטיקות, ואולי הם מצליחים לעשות תוצאות טובות. לנו יש איזשהו רעיון שהוא הרבה יותר טוב לדעתנו, לא בטוח שהוא יעבוד בכלל, נר לנו שכן, אבל אם נצליח, יש פה הזדמנות גדולה. איך מקבלים בכלל את ההחלטה הזאת של בכלל למה להשקיע את הדבר הזה? כאילו, רת יש למתחרים, אולי Good Enough, למה בכלל להשקיע עוד מעבר? זאת שאלה ממש טובה. אני חושב שזה היה מין כזה אני מ ין של החברה, של אנחנו משקיעים המון ב-AI, אנחנו מ ינים ביכולת שלנו להביא תוצאות טובות ומשהו שהוא יותר טוב מהמתחרים. והיה צריך להוכיח את זה, אז פעם אחת במעבדה, אולי קל יותר לעשות את זה, לוקחים לקוח מייצג או שניים ומריצים עליו איזשהו מודל במעבדה ומגיעים לאיזשהם תוצאות. לוקח חודשים. דרך אגב, בדיעבד, הרבה מהבעיות הן בעיות שהן כאילו לא קשורות לדאטה סיינס, הן קשורות לאיך עובדים עם הרבה דאטה ואיך, ואני מדניח שהרבה חברות שמתעסקות עם יותר מידי דאטה סורס אחד, מגלות את זה שכל דאטאבייס יושב במקום אחר, עם הרשאות אחרות, עם מבנים אחרים, ורק לאסוף את כל המידע ולחבר אותו יחד, לפעמים חודשים של עבודה. רק החיבור צינורות עוד לפני שזורם מים. אבל נשמע שכזה בין השורות רת, אוקיי, יש לנו כבר מדדים למדוד את זה, יש פרסיז'ן וריקול. אז איך זה יתחבר לתהליך שלכם בעצם? בהתחלה נתנו לצוותי הדאטה סיינס לרוץ לבד. בואו, קחו במעבדה, קחו את הזמן שלכם, תחברו את הצינורות כמו ש רת, ותגיעו לאיזשהם מדדים, לאיזשהו מודלים. האתגר הוא לחבר את זה לבעיה עסקית, לאיך שהלקוחות שלנו מסתכלים על התוצאות, על הביזנס שלהם, וכשלאט לאט יצאנו מהמעבדה והתחלנו לפנות את זה יחד עם צוותי האנג'נירינג, לפנות את המוצר ה יתי, נתקלנו בשאלה.

של אוקיי האם מה שבנינו הוא טוב מספיק והאם אפשר כבר להפגיש את זה עם לקוחות. מעניין אז בנקודה הזאת אתה אומר צוות הדאטה סיינסים חקרו הגיעו למסקנה שזה good enough מחקרית עכשיו זה מגיע לשולחן של הפרודקט ואנג'ינירינג שלמה שאנחנו יכולים לשים את זה מול לקוחות איך בכלל ניגשת לזה? דבר ראשון כתפיסת עולם אצלנו אני אומר אם בית הקסטומרס תעשה מה שאתה רוצה תשים מולם משהו שחצי עובד רבע עובד פייק דאטה או בטבר בשביל לקבל פידבק זה לא שאלה אז כמה שיותר מהר לפגוש לקוחות זה מאוד מאוד חשוב גם אם אין שום דיוק גם להציג להם משהו שהם יגידו לנו זה לא קרוב זה כבר פידבק או אנחנו לא מבינים מה אתה מציג יש פה ענייני UX עניינים שהולך מסבירים את מה שמציגים לא הכל זה רק מודלים אז לפגוש לקוחות כמה שיותר מוקדם זה חשוב אז פגשנו אותם אבל שוב הפידבק היה מאוד אנקדוטלי וכל הזמן עלתה שאלה אוקיי האם אנחנו מוכנים לפרודקשן וכל פעם מציגים תאריכים וכל פעם נדחים וזו הסיטואציה שליוותה אותנו במשך חודשים שבעצם אתם אומרים אוקיי פגשנו לקוחות בטא קיבלנו פידבק עוד חודשיים יהיה מוכן מגיעים לחודשיים זה עדיין לא טוב ככה זה היה תהליך בגדול כן היו כל מיני אספקטים של למה זה לא מספיק טוב זה לא מספיק טוב זה לא רק המודל זה האם אנחנו יכולים להגיע לסקייל לבדוק במעבדה זה נחמד אבל להריץ משהו שפועל בתנאי פרודקשן שיש לו אפטיים שהוא רץ בזמנים שהם סבירים שהקוסט הוא סביר פתאום נכנסים פה אספקטים שהלך מורידים את הקוסט של הדבר הזה להריץ במעבדה תעשה מה שאתה רוצה אתה רוצה להריץ מודל פעם ביום על איקס לקוחות על מאות לקוחות במקרה שלנו של השקה ראשונית זה פתאום עולה כסף זה פתאום זמני ריצה של מאות לקוחות זה יותר מ24 שעות חייבים להתחיל לעבוד גם על דאטה סיינס גם על אנג'נירינג על טיובים עוד לפני הציעה ראשונה לפרודקשן אבל יש את הרגע הזה לפני שאנחנו יוצאים לפרודקשן שחושבים בחדר צוות המוצר ואנחנו אומרים אוקיי אפשר להוציא את זה רגע לבטא הראשונית יש איזושהי נקודה כזאת בזמן שאתה אומר זה גוד אינף רגע לפני כדי לבדוק את זה על בטא איך נר הגוד אינף הזה אצלכם? לזה אני לא חושב שיש מדדים לגוד אינף לבטא ב ת כמו ש רתי המטרה היא פידבק כמה שיותר מהר אבל הבנו שאנחנו במצב לא מספיק טוב התחלנו לקבל פידבקים של סתם כדוגמה אנחנו נותנים ציון בין 0 ל-100 יש לקוחות שקיבלו ציונים דיסקרטיים 100 עסקאות בציון 23 100 עסקאות בציון 57 ו-100 עסקאות בציון 78 לא אקספיריאנס טוב ללקוחות לדוגמה החלטה מאוד גדולה שלקחנו בדרך בנינו בהתחלה מודל פר לקוח ולקוחות קטנים קיבלו את החוויה לא טובה הזאת של תוצאות דיסקרטיות ועברנו למודל מאוד מאוד שונה של לפתח מודל ג'נרל מודל קצת בהשוו לצ'אט ג'י פי טי מודל שהוא כללי יודע לענות על הרבה שאלות בנינו ג'נרל מודל עם קליברציה לכל לקוח ולקוח על פי המידע שלו ואז עולה השאלה אוקיי איך זה מספיק טוב האם זה מספיק טוב והיו לנו נתקלנו בבעיה שיש אי אלימה בין המדדים שמשתמשים בהם בצוות הדאטה סיינס לבין איך שאנחנו מסתכלים על התוצאות איך שלקוחות מסתכלים על המוצר בסוף וחווים אותו והבנו שאין לנו מדדים ב ת מספיק טובים ושאנחנו בשביל להתקדם אנחנו צריכים מדד אובייקטיבי שאנחנו מסכימים עליו זה מעניין אתה אומר היה לנו מדדים בוא נקרא להם מדדים טכניים אבל אז ראינו שזה לא מתכנס עם המציאות אתה יכול לתת איזה דוגמה כזאת למצב ש איך גיליתם את זה בכלל כי זה נשמע לי מרתק דוגמה זה על איזה סט של עסקאות של דילים מסתכלים עליהם בעוד הצוות הדאטה סיינס התחבר ל-CRM ש ב נניח עשרת אלפים עסקאות הריץ את המודל על אותם עשרת אלפים עסקאות הר תוצאות מסוימות אנחנו מסתכלים במוצר ורואים תוצאות אחרות למה? כי צוות מחירות שמנהל עכשיו כמו ש רנו אותו מנהל מחירות שמנהל כמה עשרות או מאות עסקאות הוא מסתכל על סאבסט של העסקאות לא מעניין

אותו זבל שנשאר מהעבר לא מעניין אותו עסקאות שהולכות להיסגר עוד שנתיים הוא מסתכל על הריבון הקרוב ופתאום הסט, דילים שהם מסתכלים עליהם, הסט דאטה שמסתכלים עליו הוא שונה ואז התוצאות שונות וממש היה כזה יוריקו מומנט של צוות הדאטה סיינס שאומר אתם מסתכלים על זה ככה? והחיבור הזה של צוות הדאטה סיינס לביזנס הוא כל כך כל כך קריטי וכמה שלא השקענו בזה לפני אני אומר היינו צריכים להשקיע בזה עוד ועוד ועוד כי בעצם זיהיתם שמה שהמודל מסתכל עליו זה הכל בצורה שווה לא משנה אם זה עסקה זבל מלפני חודש ועסקה חדשה ובעצם לאנשי מחירות הזומין שלהם אחרת לגמרי ודווקא שם יש הרבה יותר קונפידנס? שם הם צריכים את התוצאות הטובות זה שאני יודע לחזות משהו על עסקה שהיא זבל מהעבר ולהגיד שהציון שלה נמוך ועסקה עתידית שאין עליה כמעט דאטה ולהגיד גם עליה הציון נמוך ואז מה זה אומר? שהמודל צודק? איזה יופי הוא צודק בדברים מאוד טריוויאליים שלא מעניינים את הלקוחות שלנו. כן הניתוח הצליח החולה מת זה לא מעניין. כן וזה חוזר לשאלת המדד של להגיד האם המוצר בסוף המודל הוא חלק מהמוצר האם המוצר מספיק טוב? להסתכל על כל העסקאות או להסתכל על סאבסט של העסקאות זה שונה מאוד להסתכל גם עולה שאלה מתי זאת אומרת אם אני מסתכל בתאריך מסוים אני מקבל תוצ אחת מסתכל בתאריך אחר אני מקבל תוצ אחרת ורק החיבור הזה של ההסתכלות מצד הביזנס הבי אותנו להסתכלות נכונה אני אתן דוגמה בוא נחשוב על אותו מנהל בחירות ביום האחרון של הריבון ב ת לא מעניין אותי מה המודל אומר מה שנסגר נסגר מה שיש עוד סיכוי להיסגר אני עד שהעיפרון נופל אלחם עליו לא מעניין אותי מה המודל אומר לעומת זאת ב צע הריבון שיש הרבה עסקאות באוויר חלקן במצב טוב חלקן לא הכי מעניין אותי לדעת אוקיי במה כדאי לי להשקיע איזה עסקאות גדולות הם בסיכון ואני רוצה להציל אז ממש לקחנו סנפשוט של התוצאות בשליש של הריבון בשני שליש של הריבון רנו אלה מקומות שמעניינים את הביזנס ועליהם אנחנו בודקים את מדד האיכות של המודל. הבנתי זה אומר כאילו ניסינו לנטרל רגע את ההתנהגות האנושית הבסיסית הזאת של סוף ריבון כולם מתקתקים עסקאות וב ת להראות את הערך רגע איפה שאנחנו יודעים שזה נקרא לזה המצב הרגיל במירכאות. כן זה שוב החיבור של הצוות דאטה סיינס לביזנס אם קודם צוות דאטה סיינס ר טוב אני מפיק תוצאות כל הזמן כל יום אז אני אסתכל על איכות התוצאות שלי לאורך כל התקופה ואנחנו אומרים לא כל התקופה היא לא מעניינת יש ביום הראשון זה כמעט לא מעניין ביום האחרון זה כמעט לא מעניין בוא ניקח סנפשוט שהוא מייצג כי בסוף צריך להגיע לאיזשהו מדד שאיתו אפשר לעבוד ועוד דוגמה שהקבעה אותנו בדרך לפני שהיה לנו מדד מוסכם כזה זו שאלה של כמות הדאטה שצריך בשביל ל ן את המודל הייתה טענה שאני כמובן מסכים איתה שאם יש קצת מדי דאטה זה אי אפשר ל ן את המודל כמה זה קצת מדי השיחה הייתה מאוד נר לי מרגיש לי פחות מ500 לא יעבוד חייבים אלף ואני כל הזמן נתתי פושבק שנייה 501 זה בסדר 499 זה לא בסדר אז ב300 אולי זה גם 30 זה לא בסדר אוקיי איך מגיעים לקאט אופ הזה ועבדנו הרבה זמן על למצוא את המדד הזה שברגע שהסכמנו על מה זה הסכמנו שהגענו למדד הסתכלנו עליו בחתכים שונים עם דאטה של לקוחות שונים ו רנו אוקיי זה מדד טוב שמחבר גם את הצד הדאטה סיינס וגם מההסתכלות של הביזנס אז פתאום יכולנו לתת ציונים למודל על פני לקוחות שונים ולהעריך כמה המודל טוב ללקוחות שונים ופתאום רתי להם טוב אז בוא נריץ את זה על כל הלקוחות גם כאלה שאין להם מספיק דאטה הייתה הרבה התנגדות לזה בהתחלה כן כי התוצאות לא ולידיות זה מעט מדי לא תוכל לעשות עם זה כלום בדיוק רתי בוא ננסה תרוץו איתי קצת בוא נריץ את זה על כל הלקוחות הטוקנים עליי כן ואז גילינו דבר מעניין שנכון ברור שלקוחות

קצת מדי דאטה, אז ברור שאין להם תוצאות טובות, אבל בכל האפור ב צע יש הרבה לקוחות שיכולנו לתת להם תוצאות, למרות שלא היה להם הרבה מידע. ויש לקוחות שכן היה להם הרבה דאטה ועדיין לא היה להם ציונים טובים, ובעצם ה-cut-off point שלנו לא היה לפי כמה דאטה יש ללקוח, אלא לפי האיכות של התוצאות. וזה מה שאפשר לנו גם לצאת לפרודקשן, שוב, מה זה לצאת לפרודקשן? זה להפעיל את זה עבור סט של הלקוחות שלנו, לא מ אחוז. ואז עולה השאלה של קוורג' אוקיי, לא נצא כשיש לנו תוצאות טובות רק ל-10% מהחברות, נכון? מהלקוחות. 50% כנר מספיק טוב בשביל להגיד יש לנו אבל אנחנו עוד עובדים על זה, ושאלת הקוורג' הצלחנו להגיע לקוורג' יותר גבוה ב ת על ידי אותו מדד ולהגיד אוקיי, בוא נחתוך לפי איזשהו מדד האיכות ולא לפי איזשהו נר לי שחמש מאות זה המינימום. אני חושב שאתה נוגע פה בנקודה מדהימה שכששואלים האם זה גוד אינף, השאלה הב צריכה להיות למי. וגם אני נתקל בזה במוצר שאנחנו רואים אוקיי, אנחנו בונים איזשהו פיצ'ר חדש, ואנחנו באים לשחרר אותו ואנחנו שואלים רגע למי מכל האוכלוסייה הזאתי זה יעשה אימפקט ב ת? כי גם בגונג, גם במנדי ב ת מגוון רחב של לקוחות ותמיד השאלה הזאתי של אוקיי, זה ללקוח מגודל מסוים? זה ללקוח מזמן שימוש מסוים? אולי איזה פיצ'ר שמגיע אחרי שלושה חודשים של שימוש ואין היגיון בלעשות את זה לפני? אני אתן נגיד דוגמה. נגיד לנהל המון המון המון משימות. זה לא יקרה ביום הראשון שאתה תשתמש במוצר. מתי זה יקרה? כשיש לך אומץ וכבר כל הצוות אימץ את המוצר ומייצרים משימות? או עכשיו זה הנקודה שמתחיל לדבר על רגע הבעיה הזאתי של אומץ היא מעניינת ורק בכלל להסתכל על הלקוחות האלה זה יהיה רלוונטי. אני חושב שהרבה פעמים אנחנו כזה אוקיי, זה המדד שאנחנו רוצים והגדרנו את המטריקה להצלחה ואנחנו שמים את זה בדשבורד ואז זה כזה התוצאות . אבל כשאנחנו עושים את הדריל דאון רגע למי זה? אז פתאום אנחנו מגלים אוקיי לאוכלוסייה הזאתי זה עבד מדהים ולאוכלוסייה הזאתי זה פשוט לא מעניין אני חושב שכאילו כשאנחנו שואלים גוד אינף אז הלמי הזה וזה בדיוק הקוורג' הזה שאתה מדבר עליו אני חושב שזה סופר חשוב נכון, נכון אני חושב שזה מה שזה עוזר לנו קדימה זה בתכנון התוכנית עבודה קדימה כאילו אולי אפשר להגיד טוב בוא נשפר את המודל אבל לאו דווקא זה מעניין ברגע שאני מסתכל על קוורג' אני יכול לשאול את עצמי אוקיי האם מעניין אותי עכשיו להתעסק בקוורג' ואיך אני מגיע לקוורג' יותר גדול האם מעניין אותי השתי חברות, הלקוחות האסטרטגיים האלה שהמודל עדיין לא עובד עבורם ואנחנו חייבים לעבוד על סקייל או אני צריך בעצם לעבוד על עוד איזה שלושים לקוחות שיש להם אינטגרציה מסוג אחר שלא טיפלנו בה בהתחלה או שמעניין אותי להסתכל על עוד כמה לקוחות שב ת המודל לא מספיק טוב עבורם ולטייב את המודל עבורם וכל כיוון כזה הוא כיוון אחר שמצריך עבודה מסוג אחר והטיעדוף הזה הוא נטו אצל מנהל המוצר אוקיי אז עכשיו אתה בעצם אתה אומר יש פה איזה שני שלבים אתה אומר שלב ראשון דיאקנו את ההדשה שדרכה כולם מסתכלים ו רנו אוקיי זה הסאבסט של העסקאות שאנחנו רוצים להסתכל חידדנו מה זה אומר בכלל העסקאות המעניינות רגע במרכאות ועליהם שמנו איזשהו ציון איכות שאנחנו מרגישים איתו טוב ואז השלב הבא זה הופך להיות משחק של קוורג' של עבור הציון האיכות הטוב הזה כמה לקוחות אני יכול לחסות ומה שאתה אומר בשלב השלישי זה להגיד אוקיי להשתמש בציון הזה ובקוורג' כדי להכווין את הטיעדוף עצמו זאת אומרת אם אנחנו עכשיו בחמישים מה יעזור לנו להגיע לשבעים אחוז קוורג' עם הציון שאנחנו חיים איתו בשלום אם הבנתי נכון נכון נכון יש פה שאלה של האם בכלל מעניין להגדיל את האיכות של המודל התשובה היא כן כי בסוף אנחנו רוצים להשתמש בו אחרי זה בצורה אגרגטיבית בלחזות את סך כל המחירות ולכן כן חשוב להמשיך אבל תמיד עולה השאלה עד כמה וכל השיקולים והמדדים האלה הם בסוף שיקולים מוצרים ולא שיקולים של דאטה סיינס אתה יכול לתת דוגמה לנגיד שתי התלבטויות של טיעדוף שלך קיבלתם החלטה לפי הקוורג' הזה? אז דוגמה ראשונה זה ב ת גילינו שיש לנו איזשהו סט של לקוחות שהמודל כבד להם ולא מצליח לרוץ

ושקענו הרבה מאוד זמן על להגדיל, לעשות אופטימיזציה לא רק למודל, לכל המערכת האנג'נירית שתומכת בו, בשביל שהוא יוכל לרוץ עבור הלקוחות יותר ויותר גדולים. וכשהסתכלנו לעומק על הבעיה, הבנו שאנחנו מריצים את המודל על אותם עסקאות שלא מעניינות. בעצם אנחנו, מצחיק קצת לחשוב על זה בדיעבד, הרצנו את המודל במקרים מסוימים בקיצון, על פי עשר עסקאות ממה שב ת צריך. ומעצם זה של לחקור את זה ולנטרל את זה ולפלטר נכון את הדאטה שעליו בכלל אנחנו מריצים פרדיקציות, הצלחנו להגדיל את הקוורדג' של אותם לקוחות גדולים, ובמקום עשר לקוחות ששרל לקוחות שאין להם מוצר עובד עדיין, הגענו רק לשתיים בקצה שאוקיי בוא נמשיך ונעבוד. וחשוב לנו לתמוך בהם כי הם גם מייצגים את הלקוחות הגדולים העתידים שלנו. אבל היצי לפרודקשן התקצרה, רנו טוב, הנה אפשר לחתוך ולצאת. וזה מדהים כי זה בעצם לא להתייחס לשלב הקודם שלפניך כגיוון. זה כאילו להגיד אוקיי, הגענו לנקודה הזאת, אנחנו באים לתעדף עכשיו החלטות, והרבה פעמים אני חושב על זה בתור מנהל מוצר, זה כזה אני כאילו מתעדף החלטות קדימה. אוקיי, אנחנו בנקודה הזאת עכשיו, האם שמאלה או ימינה, האם את זה או את זה, ולפעמים פרטי הדופו, רגע בוא נלך אחורה ונצמצם רגע את הסקופ של השלב הקודם, ופתאום זה פותח דווקא את הקדימה. וזה ממש מעניין. אז יש כזה עוד איזשהו טרייד אוף שלקחתם או דברים שכזה ניסיתם ולא עבדו? הייתה שאלה גם של איזה סוג מידע אנחנו מכניסים למודל. דיברנו בהתחלה על לחבר את כל הצינורות, אז באיזשהו מובן חיברנו קודם את מה שהיה קל. את כל המידע של ניתוח השיחות שאנחנו עושים, הרבה יותר קשה לחבר, ואנחנו עוד עובדים על זה, אבל הגענו להחלטה מודעת של אנחנו יוצאים רק עם חלק מה-added value הזה, לא עם כולו, אבל כן הייתה הבנה שאנחנו חייבים לצאת עם חלק ממנו. זאת אומרת אי אפשר להגיד עבדנו שנתיים ואנחנו מוסיפים את כל המידע הזה וזה, ובסוף אנחנו רק מסתכלים על איזשהו נתון אחד מהסיירם. יש לו משמעות גם מרקטיאלית של מסאג'ינג ופוזישינינג, של מה אנחנו עושים ומה אנחנו מביאים לשוק שהוא שונה מהמתחרים, והמסאג' הזה הוא רזונטינג וול, הוא דר קסטמר, ואנחנו, יש לנו איזושהי אינטגריטי של אם אנחנו אומרים שאנחנו מריצים איזשהו מודל based on data sources מסוימים, ב ת לעשות את זה גם אם זה חלקי. אבל החלטנו כהחלטה של it's good enough as is, ובוא נצא עם מה שיש ולא נחכה לגבה של להוסיף עוד מקורות מידע. מדהים, אז כן לקחת חלק מזה גם אם זה לא את ה-full-fledged solution, אבל אם אני עכשיו רגע לוקח את עומר חזרה אחורה בזמן, עם כל מה שדיברנו על זה וכל הנושא הזה, מה היית עושה אחרת? כאילו היום אתה, הם מכסו אותך רגע לכיסא ואתה יכול לעשות דברים אחרת, מה היית עושה? שאלה מצוינת שאני שואל את עצמי הרבה, כי אני חושב אחד הדברים שמבדילים בין מנהלי המוצר טובים למצוינים, זה כמה מהר הם מביאים את אותו תוצר דומה לשוק או לפרודקשן, ואני חושב שאחת הנקודות הכי חשובות פה שהייתי עושה אחרת, זה עוד ועוד לשבת עם צוות הדאטה סיינס ולחבר אותם לביזנס. והחיבור הזה של צוות הדאטה סיינס לביזנס הוא קריטי, גם דרך Education, ממש לשבת ולפתוח להם את המוצר, ולהראות להם איך הלקוחות משתמשים במוצר. זה נשמע בסיסי אבל בעוד צוותי אנג'נירינג שהם בדרך כלל עובדים צמוד איתנו עם הפרודקט, אנחנו רגילים להראות להם דברים ורואים דברים ויזואליים, הם רואים את הפיגמה, הם רואים את הפרונטנד, הם חווים את זה. צוותי הדאטה סיינס הם בדרך כלל לג אחד רחוק יותר, ממש לקחנו את ראש צוות הדאטה סיינס וממש עלה לשיחות עם לקוחות, והציג בעצמו את המודל ואת האיכות שלו ושמע בעצמו את הפידבקים, ולא יושב בחדר ואנחנו נספר לך מה קורה. מדהים, ועכשיו למנהלות המוצר שמקשיבים, איך יודעים שזה good enough מבחינתך? וואו, זו שאלת מיליון הדולר. שוב, צריך בדוגמאות האלה של מוצרים שמבססים AI, מדד שהוא מוסכם, שהוא מוסכם פנימית, שמייצג, שיודע לחבר את הביזנס למדדי דאטה סיינס, למדדים הטכניים, שמסתכלים על דוגמאות.

יתיות על דאטה יתי. שתמיד פיתוח של מדד כזה הוא מתחיל מדוגמאות בודדות, אבל תמיד אנחנו יכולים לטעות ולקחת את הדוגמאות הלא נכונות, ולעשות את זה בסקייל זה מאוד מאוד קשה, אבל זה מ ץ ששווה את זה. זאת אומרת, הגענו לאיזשהו מדד, למדוד אותו על שתיים-שלוש דוגמאות זה אחלה, להשקיע את האקסטרה אפורט ועכשיו לעשות דשבורד על כל הצוח העניין הלקוחות או היוזרים שלכם, ולהריץ את זה אפילו אופליין, אפילו לא להריץ את זה עכשיו בפרודקשן, לעשות איזשהו מ ץ, קחו שבועיים, תריצו את זה על הרבה מקרים, כל זה לפעמים קשה, ותגלו דברים אחרים. פתאום זה יעזור לכם בתיעדוף, זה יעזור לכם להבין באיזה מקרים המודל לא מספיק טוב, באיזה מקומות הוא גוד אינף, וצריך להפסיק להשקיע שם. כי תמיד אפשר להמשיך להעמיק, אבל העתיד הוא לא בלעשות יותר טוב את מה שעשינו. לגמרי, והדברים שאני לוקח מהפרק הזה זה קודם כל שהשאלה האם זה גוד אינף צריכה לבוא אחרי זה עם למי. זה הדבר הבסיסי ואנחנו לא יכולים לאפטם בלי להבין למי אנחנו עושים את הדבר הזה, על איזה עסקאות או על איזה לקוחות או על איזה סגמנט, זה קריטי. הדבר השני זה אני חושב שב ת הפירוק הזה של שני שלבים זה מה שאני לוקח זה קודם כל למצוא רגע מטריקה טובה שהיא מטריקה ביזנסית שב ת משקף את ערך, ואז לשחק על הציר של הקווריג' כאילו לנעוץ רגע את המטריקת ביזנס ואז לזוז על קווריג' ולא לנסות לעשות בהכרח את שניהם במקביל. והדבר השלישי זה שב ת לפעמים כשאנחנו מדברים רגע על מטריקה טובה והגדלנו את הקווריג' השאלה של תיעדוף לא צריכה להיות רק קדימה, איזה דברים אני אעשה, איזה פיצ'רים חדשים אני אוסיף, אלא דווקא לפעמים אחורה, איך אני מצמצם רגע את המודל בדיוק כמו שאתם עשיתם, ואני לגמרי לוקח את זה למוצר כבר עכשיו, אז עומר המון המון תודה, היה לי מרתק לדבר איתך. תודה לך. ולרגע לפני שנסיים אני רק אגיד שאם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. אז תודה רבה עומר. תודה. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי. ביי ביי