פרודקטיבי: איך להתאים בין הבעיה שאנחנו מנסים לפתור לבין מודל AI? (קרן כץ, Apex)

Product TV, פודקאסט המוצר של סטארט-אפ פור סטארט-אפ.שלום לכולם, אני רן ארז, ואתם הגעתם לפודקאסט שבו אנחנו מדברים מנהלי ומנהלות מוצר מחברות שונות,על בעיות מוצריות שהם נתקלו בהן, איך הם נגשו לפתור אותן, ומה השיעורים שהם למדו בדרך.והיום אנחנו מקליטים את הפרק שלנו בכנס מנהלי המוצר של ProductX,ונמצאת לי כאן קרן קאץ, ProductX ב-Apex,שתדבר איתנו על הבעיה שהיא נתקלה בה, וזה איך להתאים בין מודל AI לבעיה שבאנו לפתור במוצר שלנו.מה קורה קרן?היי, איזה כיף.ממש.אולי הולך אתה.נהדר, נהדר, כיף שאת איתנו, ואולי תגיד לנו רגע קצת איך הייתה ההרצ שלך שהייתה על הבמה.היה כל כך כיף, הכל עבר כל כך מהר.מתכוננים להרצ הזאת כמה חודשים, ופתאום אתה עולה על הבמה, והקהל מדהים, וזה נגמר כל כך מהר שאני כבר רוצה לחזור.מדהים, זה ב ת חוויה מיוחדת במינה, ובואי נתן קצת רגע על הבעיה שאנחנו הולכים לדבר עליה, אולי תספרי לנו קצת ולמאזינים שלנו.בטח.אז הסיפור הזה פגש אותי באחת החברות שעבדתי בהן, שבעצם שם הגעתי אחרי חמש שנים שהתחילו לעבוד על איזשהו פיצ'ר, ש ור היה להיות הקילר פיצ'ר הכי מבטיח של החברה.באזור 2017, מנהלי המוצר באותה חברה נתקלו בבעיה, הם הבינו שתוקפים ברשת, זאת חברת סקיוריטי כמובן, תוקפים ברשת, משתמשים על פרטי התחברות של יוזרים לגמרי תמימים כמוני כמוך, כדי לבצע נזק לחברות.והם זיהו שנולד טרנד בשם ובא, שזה יוזר אין אנטיטי ביהבר אנליטיקס, שבעצם מזהים ומנטרים התנהגויות של יוזרים ברשת כדי לדתק התנהגויות שנראות לא תקינות וחשודות בעצם תקיפות סקיוריטי.והם רו יאללה בואו לפתור את הבעיה הזאת, הם הקדימו את הטרנד והם היו ממש על הגלש, זה חלום של כל אחד מכם, נכון? ממש, לגמרי. והם באו לריסרצ'רס, כי מי אם לא ריסרצ'רס הם מגשים מהחלומות, ופחות או יותר העבירו להם את הבעיה. ומה שקרה זה שהם רק העבירו להם את הבעיה ולא צעלו איתם את תוך האקזקיושן. כשפגשתי את הפרויקט הזה חמש שנים אחר כך, חמש שנים? חמש שנים שעבדו עליו. וואו. הריסרצ'רס אנחנו יודעים כמה הם יקרים גם לארגון. מטורף. כן, ממש. אז הוויבה כבר היה בכל מקום, הקומפטיטיב אדוונטג' כבר מזמן מזמן נעלם, והצוות עדיין לא הבין איך מייצרים דאטה ואיך מייצרים את כל הפרוסס סביב אותו מודל כדי לפתור את הבעיה. והיה לי ממש כואב, הייתי צריכה לסגור את הפיצ'ר הזה. וואו. כן. אז בעצם אנחנו מדברים רגע על הנושא הזה של אוקיי, יש לנו איזושהי בעיה מוצרית, העברנו אותה לצוות של דאטה סיינס, ו רנו תביאו לי פתרון, והדבר הזה לא קורה. למה זה להתי חייבנתי לעוד מנהלי מוצר? לגמרי. אני חושבת שקודם כל, אם דיברנו על 2017, אז היום ב-2025 היה היו בכל מקום. מן פעם היינו צריכים לייצר מודלים לגמרי בעצמנו, היום יש לנו אוף דה שב, כל מודל שנרצה כמעט. אז אני מרגישה שזה עוד כלי שנכנס לארגז בכלים שלנו כמנהלי מוצר, ואנחנו עדיין לא לגמרי יודעים איך לעבוד איתו. כלומר, אנחנו מאוד מאוד טובים בלהעביר דרישות לפונטנט ולבקנד ולפיתוח רגיל, ואנחנו שם גם יודעים לצלול קצת יותר לתוך האקזקיושן. אבל כשעשיתי איזשהו אובזרוויישן על מה קרה שם בפרוסס הזה, הבנתי שהעבירו את הבעיה המוצרית במשפט, ואז אני לא יודעת בדיוק להצביע למה. אני חושבת שזה קצת מרתיע לפעמים מנהלי מוצר להיכנס לכל המילים המפוצצות האלה של ריקול ופרסיז'ן ומטריקות. אז קצת נתקעו מגע. והריסרצ'רס הם אנשים כל כך מוכשרים, אבל הם חיים בעולם הבעיה שלהם. הם לא חשופים לפריים הגדול כמונו כמנהלי מוצר, ומכירים בדיוק מה קורה בפרודקשן. אז שם נוצר המיסמאץ' הזה. אני חושב שגם הרבה פעמים בתור מנהלי מוצר, אז יש לנו איזושהי רתיעה מאוד טבעית מכזה עולמות מאוד מאוד פאונדיישן אנג'נירינג העמוקים, שלא בצדק, וכאילו היה לנו קל להשליך את העולם הזה של AI כאילו לאותו מסגרת של אוקיי, זה דברים שהם too technical בשביל שאני ב ת יבין בזה, ושפשוט יפתרו את זה. ואנחנו באים להגיד רגע, לא, עדיין הקונטקסט המוצרי הוא משהו קריטי שאנחנו חייבים להעביר אליהם, גם אם הדבר הזה הוא מאוד מאוד נשמע לנו ורפי, ואנחנו לא יודעים אפילו מה אנחנו רוצים שייצא בקצה השני, נכון? לגמרי לגמרי. אני חושבת שיש איזושהי רתיעה אפילו מתוך איזושהי רעת כבוד כזו של האנשים שלומדים המון שנים, והם מאוד מאוד מושקעים בדומיין שלהם, ואנחנו לא רוצים לבוא ולהגיד להם מה לעשות. אבל מה שאני חושבת זה שאנחנו לא צריכים להתערב להם ממש בביס אן בייטס, אלא להבין איך אנחנו לוקחים את אותם עקרונות מוצרים שאנחנו מכירים וטובים בהם בתחומים האחרים, פשוט עושים להם אימפלמנטציה גם בתחום הזה, כלומר מתקשרים את הדרישות המוצריות בצורה כזו שתיתן לדגשים שדרושים לריסרג'. אוקיי, אז בואי ב ת ניקח את העולם הזה של אנחנו בעצם מצד אחד יש לנו בעיה מוצרית כואבת, ומצד שני יש לנו צוות ריסרג' מאוד מאוד חזק, ואני רוצה שתעזרי לנו לקחת רגע אותנו ואת המאזינים רגע יד ביד לאיך אנחנו עושים את זה נכון, ובעיקר איזה טעויות אנחנו צריכים לשים לב לא ליפול אליהן אולי. מדהים, אז השלב הראשון זה כמובן להגדיר את הדרישות שלנו, את הסקצס קריטריה. אנחנו מאוד מאוד…

להגדיר KPI כשמדובר על פרויקטים כרסים, נכון? זה א' ב' של כל מנהל מוצר. אבל פתאום כשאנחנו מגיעים לפרויקטים עם ריסרצ'ס, רגע, מה זה הריקול? מה זה פרסיז'ן? מה זה FP8? אני טוענת שאנחנו לא חייבים לנבור בתוך אותם המטריקות, אלא אנחנו יכולים פשוט להרחיב את היריעה של מה אנחנו רוצים להשיג מבחינה מוצרית. למשל, הדוגמה שאני הכי אוהבת לקחת היא, אנחנו פי ין בנטפליקס, אני ואתה. איזה כיף לנו, נר לי מטורף. ואנחנו רוצים לייצר מנגנון המלצות. אז יש דבר אחד של זה להגיע לצוות הריסרצ' ולהגיד, אני רוצה לייצר מנגנון המלצות לצופים. אוקיי, מכאן הם יבינו מה שהם יבינו. ויש דבר אחר שזה להגיד, אוקיי, אני רוצה לייצר מנגנון המלצות לסרטים, וחשוב לי בעצם שההמלצות יהיו מדויקות, מעניינות, אינגייג'ינג, אבל אני לא חייב לחסות את כל הסרטים שבעולם. ואז הריסרצ' בעצם הולכים ובעצמם יודעים ככה לתרגם את זה, את הראשון את הריסרצ'יות. בסדר? במקרה הזה, אז אנחנו מדברים על זה שאנחנו רוצים פרסיז'ן גבוה. והריקו שלנו יכול להיות קצת יותר נמוך. זה בסדר אם אנחנו נפספס סרטים מסוימים ולא נגלה את כל הסרטים ביוניברס. אני חושב שזה ב ת נקודה אחת חשובה, זה שהמטריקה הזאת היא מכוינה רגע למה האזור הבעיה שאנחנו מתמקדים, גם בעולמות של ריסרצ', שמאוד קל ברגע שאנחנו מסתכלים על ריסרצ' להגיד, אוקיי, אני רוצה לפתור את זה, נכון. כמו שבאנג'ינירית אנחנו אוהבים להגיד, אנחנו רוצים לחשוב על כל מקרה הקצה ולתפור את כל מקרה הקצה, כאילו אנחנו משליחים את אותה תפיסה פה, ואת אומרת, לא, רגע, אם אנחנו נגדיר את המטריקה המדויקת על עולם הבעיה טיפה יותר ספציפי, זה פתאום פותח עולמות שהם אולי לא ייקחו שנים לפתח. ואולי נרחיב על זה טיפה אפילו. לגמרי. אז זה עוד בשלב בחיית המודל, כי כשאנחנו נותנים לריסרצ' כמה שיותר אטריביוטס וכמה שיותר דאטה על מה המודל שאנחנו רוצים לבנות, כלומר, מה המודל שצריך לעשות בקצה, אנחנו עוזרים להם לבחור את המודל הנכון. יש כל כך הרבה מודלים היום, אם זה סופרווייז ואן סופרווייז והמון המון משפחות, וכל מודל ממקסם על ערכים מסוימים. ולכן כשאנחנו מדברים את הדרישה שלנו בצורה מאוד ברורה, אנחנו עוזרים להם לדעת, אוקיי, זה המודל שאני צריך לבחור. אכן, את מאוד מאוד קל לבחור מודל אחר, או מודל שהחוקר יותר מכיר, או מודל שמגניב אותו, או מודל שב ת נר לו שמתאים לבעיה, כי לא תקשר. אז זה נשמע לי משהו מאוד עדין. איך את לוקחת רגע מה-KPI הזה ועוזרת בכלל, את יודעת, לשאול מה השאלות הנכונות שיעזרו לך ולחוקר רגע לפתח את זה? מדהים. אז אם אני חושבת ממש על מה הנקודה העדינה הזו, זה בעיניי סביב הטרו פוזיטיבס והפולס פוזיטיבס. תרחיבי איזה רגע שמאזינים יבינו מה זה אומר? לגמרי. אז טרו פוזיטיבס זה אומר, מהן כל התוצאות החיוביות שאני מצפה שהמודל שלי יתפוס? ופולס פוזיטיבס זה אומר, מהן התוצאות השליליות שאני כנר לא רוצה שהמודל שלי יזהה? אז למשל, אם אנחנו חוזרים לדוגמה של נטפליקס, טרו פוזיטיבס זה לכל הסרטים שאני רוצה שבעצם המודל ימליץ עליהם ללקוח שלנו, וכנר יהיו מאוד מעניינים עבור המשתמש. פולס פוזיטיבס זה איזושהי המלצה שהמנוע שלנו ימליץ ללקוח, וכנר תהיה ממש אוף טופיק ולא קשורה. ולכן כשאני חושבת על פרויקט ריסטרצ' ואני ב להגדיר דרישות עבור צוות המחקר שלי, אני מתמקדת בשאלה של מה בעצם הפרספקטיבה שלי סביב העולם הזה של טרו פוזיטיבס ופולס פוזיטיבס. וככה אני בעצם מכוינה את החוקרים. כלומר, כמה חשוב לי לגלות את כל ה ת. וכמה מטריד אותי אם אני אגלה איזושהי המלצה שהיא איזושהי ת שהיא שלילית. כלומר, איזשהו שקר. אני חושב שזה ב ת חוזר להרבה דברים שדיברנו בפודקאסט בעולמות האלה שליאלה, על מחיר הטעות. כמה מחיר הטעות, וזה ב ת, האם אנחנו עכשיו מספקים רגע המלצה, אבל לא יקרה כלום אם לא תיקח את ההמלצה, או אם אנחנו מספקים עכשיו משהו שזה רגע רפואי, ואם אתה לא תנקוט רגע בפעולה שאתה צריך לעשות, או בסייבר, או בדברים כאלה, זה יכול לזרוק אותנו למצב מאוד מאוד בעייתי. אז אני חושב שאנחנו תמיד צריכים לשאול את עצמנו על מה מחיר הסיכון, וזה איזושהי הכוונה שרק אנחנו בתור מנהלי מוצר יכולים לדעת על מה יקרה אם הסיכון יתמומש, וזה יכול מאוד לעזור לחוקרים שלנו רגע לתקשר את זה. לגמרי. עכשיו, בטעויות שלנו, כשהרבה מאוד פעמים אנחנו אומרים שאין לנו בעיה שנצ במנגנון המלצה לסרטים, למשל. אבל אני מרגישה שזה לא בדיוק ככה, כי לא כל טעות היא שקולה לטעות אחרת. אם נניח אני יוזר, אני מדבר על עצמי, שאני מתה על סרטי קומדיה רומנטית. אם אני אקבל איזושהי המלצה לקומדיה שהיא אדם סנדלר, היא לא מאוד רומנטית, אבל היא לא בדיוק הצייב שלי, אז הכל טוב, זה מק סנס, אני לא אגיד, אוקיי, כאילו מוזר. אבל אם אני אקבל המלצה לסרט אימה, אז כנר שאני לא אחזור להשתמש במנגנון ההמלצות הזה, נכון? נכון. אתה הוביל אותי לנקודה הב שלי שלא כל שקר הוא אותו שקר. מה מעניין, איזה משפט. לגמרי. יש הבדל בין השקרים, יש הבדל בין הפולס פוזיטיבס, ולכן, אגב, כשאני מסתכלת על תוצאות של מודל ואנחנו חופצים כבר פורוורד, אני לא מסתכלת רק על המטריקות הצלחה שלי. כלומר, כשהחוקרים מגיעים אליי ואומרים, אוקיי, במהלך הדרך אנחנו פוצעת קופצים, אבל הצלחנו לסיים והצלחנו להגיע לתוצ כזו וכזו, והמדדים נשמעים לי מאוד גבוהים, אני תמיד אסתכל גם ממש על הפלט של תוצאות הדוגמה בטסט קייס ולראות מה קיבלנו. אז עוד רגע נגיע לזה, אבל בואי ב ת, דיברנו ב ת על העיקרון הראשון של זה רגע, איך אנחנו מחברים מטריקה מוצרית.

להכווין את המחקר ומה מחיר הטעות שאנחנו מוכנים לספוג ואיך זה מתקשר. מה השלב הבא? שלב הבא הוא ה-data, וזה השלב שצללתי עליו ככה בהרצ שלי כאן בפרודקטיקס, כי הוא לב העניין. אז מבחינתי ה-data צריכה להיות בעלת שלושה פרמטרים. אחד, רלוונטית. אנחנו כמנהל המוצר יודעים מה קורה בפרודקשן אם אנחנו רוצים לקחת מודל ולשלב אותו בסופו של היום בפרודקשן, וה-data שהמודל מת נת עליה צריכה לשקף את פרודקשן אחד לאחד. וזה אומר שאנחנו צריכים לתקשר על החוקרים בדיוק מה קורה בפרודקשן, כי הם לא בדיוק מכירים את כל התמונה הכללית, וזה לגמרי בסדר. שמה קורה בעולם ה יתי? מה קורה בעולם ה יתי? אז למשל בדוגמה הזאת של המנגנון שרצו לייצר באותה חברה של ה-web, בפרודקשן היו הרבה מאוד לוגים של מוצרי רשת, מדובר על אפליקציות רשת, מדובר על רכיב בקצה כמו לפטופים וטלפונים, סוויץ'ים, פיירוולים ועוד ועוד ועוד. חוקרים למשל יכולים לשמוע אותי מדברת בכמה פורומים על אפליקציות ראשתיות ועל סוויץ'ים ולחשוב שעל כל הלוגים שיש לנו ברשת ולבנות ממש מודל שמת ן על אותם האינפוטים. מה שהיה קורה אם לא היינו מקיימים את השיחה הזאת, שבעצם בפרודקשן פתאום המודל הזה היה פוגש לוגים למשל מאיזשהו שרת, ואולי יודע איך להתמודד איתם, נכון? הוא לא מכיר אותם. ויכולנו ממש לפספס התנהגויות חשודות של יוזרים ברשת ולפספס תוקפים ברשת. הוא לא רוצים שזה יקרה. ולכן בצורה די פשוטה אנחנו צריכים לבוא ולקיים את השיחה עם החוקרים שלנו. תשמעו, פרודקשן יש לנו לוגים כאלה ולוגים כאלה, אנחנו צריכים לקחת בחשבון את כולם. אוקיי, אז ב ת בנושא הזה של נתונים, זאת אומרת, האם זה בכלל רלוונטי, נכון? האם זה ב ת רלוונטי למה שקורה בעולם ה יתי? אם אנחנו מת נים, רנו את הדוגמה של נטפליקס, אם אנחנו מת נים על סטא טופ 100 סרטים ב-IMDB, אבל בכלל זה לא הסרטים שיש לנו במאגר, ואנחנו רק יש לנו סרטים מצרים, זה לא יעזור. מה עוד חשוב לשים לב רגע בדאטה? עכשיו, לפני שאני עוברת על הנקודה הב אני רוצה להגיד שזה נורא קל. זה נורא קל, כי לפעמים זה הדאטה שיש לך, ולפעמים זה נורא מפתה לרוץ ולעבוד דברים בדאטה שיש לך, אבל אני ב ת מפצירה בפני כל מי ששומע את זה, לא לעשות את הטעות הזו, כי זה פוגש אותך במלאי הדרך, והמודל פשוט נהיה לא שמיש בפרודקשן. הנקודה הב היא ממש יכולה To make or break a feature, והיא שברה ב ת את פרויקט הוויבה. זה פיזיביליות. אנחנו מדמיינים שהמודל שלנו עובד עם דאטה בסקל מסוים, שמדמה את פרודקשן, ודרך כלל מודלים צריכים הרבה דאטה כדי להביא את עוצרות טובות, ולכן אנחנו צריכים להבין האם המודל שלנו יכול לעבוד עם כמות הדאטה שיש לנו לספק לו, והאם יש לנו מספיק דאטה בכלל. עכשיו זה פוגש במיוחד במודלים מסוג סופרווייז, שאני אספר ככה לשומעים שפחות מכירים שמודלים מסוג סופרווייז זה למודלים שאנחנו בעצם מתייגים דאטה עבור המודל, וככה מתבצע תהליך הטרנינג. אז מה שקרה בפרויקט הוויבה הזה, ולמה הפרויקט נפל, זה שהתייג בעצם של הלוגים מהרשת ר שזה איזושהי מומחיות. מי שתייגה צריך להכיר בדיוק איך נראים לוגים ברשת. מדובר באלפי אלפי לוגים של מוצרים שונים, שיש להם פרוביידרים שונים, נכון? לוגים של מק נראים ממש שונה מלוגים של ווינגוס למשל. הם מתעדכנים כל הזמן, אני לא רוצה אפילו לדבר על לוגים של סוויץ'ים, בואו לא נל אתכם. הם מתעדכנים כל הזמן, ובתוך כל אותן שירות לוג צריכים אינבוב ולהבין אוקיי, מה בכלל מדבר על יוזר. אז הצוות העבודה באותה תקופה ממש חיפש המון המון זמן, חמש שנים, to hire someone או to outsource, והם לא הצליחו למצוא פתרון לבעיית תיוג הדאטה. גם אם בעצם היינו מצליחים לפתור בצורה מושלמת את הבעיה, אם אין לנו מספיק דאטה שיכול להזרים לנו בכלל לדבר, זה לא רלוונטי. כן, לא היינו יכולים בכלל ללמד את המודל, והמודל לא היה יכול להוציא תוצרות מספיק טובות, והוא לא היה שמיש בפרודקשן, ולכן בעצם הפרויקט נפל ממש על זה. אני חושב שזה גם, אבל זה לא רק האיסוף הראשון, נכון? כאילו המודל הזה ור להתפתח עם השוק, עם המוצר שלנו. טוב, אתה עושה לי כבר ספוילר לנקודה הב . שהיא? הנקודה הב היא עניין הססטנביליות. בעצם המציאות שלנו משתנה כל הזמן, וכך גם המודל צריך להשתנות ככל שהמציאות משתנה, נכון? כי הוא פועל בפרודקשן. וזה אומר שאם עכשיו נוספה לי אפליקציות רשת חדשה למשל, ונמצאת בפרודקשן, אם אני לא אלמד את המודל מה זו האפליקציה הזו, אז הוא לא יכיר אותה. בדיוק. ושוב, נוכל לפספס דאטה ושוב, נוכל לפספס תוקפים ברשת. ולכן אנחנו צריכים מראש בעצם ליישם איזשהו תהליך של מה קורה כשהמציאות משתנה, איך אנחנו כצוות עבודה דואגים לתקף את המודל. עכשיו, התשובה הזאת יכולה להגיע מהרבה מאוד דרכים ותהליכים שקשורים בריסרצ'ר, אבל אם אנחנו מתמקדים רגע בדאטה, אז איך אנחנו מתקפים את הטרנינג דאטה ועושים ממש אימון מחדש ככל שהמציאות שלנו משתנה. מדהים. יש איזה שכלים למנהל למוצר שאת כזה ממליצה לשים לב בהקשרים האלה? אז אני חושבת שאנחנו מאוד מאוד חדים על הפרודקשן ומה קורה שם ומה משתנה. בדרך כלל אנחנו מתקשרים את זה בפורומים שהם יותר מוצריים ומה קרה עכשיו ומה הוספנו במוצר, אבל אני חושבת שלכלול את צוות הריסרצ'ר בפורומים האלה יכול מאוד לעזור. מעניין. כאילו לשתף אותם, רגע, שמנו לב לאיזשהו שינוי התנהגות, ואז אולי זה יבוא אפילו מהם באיזשהו נקודה. לגמרי, ואני חושבת שגם מדבר על זה מראש של איך אנחנו מדמיינים את עצמנו עכשיו, תפסים מקרים נוספים.

זה משהו שהוא מאוד מאוד משמעותי. אני יכולה גם לשתף שעכשיו בתפקיד הנוכחי שלי אני מובילה את ציר הדיטקשן באייפקס. ואנחנו גם מנסים לתק את כל מיני תקיפות סקיוריטי בעולם הג'נרטיב ב-AI על ידי מודה AI. אז אנחנו ממש שואלים את עצמנו מה קורה עכשיו כשתקיפה חדשה קורית? איך אנחנו מתקפים את המודלים שלנו? או איך אנחנו עושים את המודלים שלנו מספיק אג'ילים לזה שברגע שווריאנט חדש של תקיפה יוצא אנחנו נדע גם לתפוס אותו? אוקיי, אז בעצם דיברנו רגע על המטריקה ודיברנו רגע על הדאטה, אבל אני פרודקט, אני חי MVP. מה זה אומר MVP בעולם הזה? איך את חושבת על זה? זו שאלה מדהימה כי אני מרגישה שתמיד כשמדברים עם חוקרים על MVP הם יגידו אי אפשר, לוקח מלא זמן לפתח ואי אפשר וזה לא יהיה מספיק מושלם ואני לא יכולה לצאת לדרך. וכאן אני מרגישה שיש נקודת מפתח שזה עלינו לתקשר לפריסרצ'רס מהן האפשרות שאנחנו מוכנים לקחת. יכול להיות שבנטפליקס אני אדיף לצאת לדרך עם מנגנון המלצות שנותן לי ב-80% המלצות טובות כי אני רוצה to test the feature, כי אני רוצה להרגיש בעצם את המשתמשים שלי, כי אני רוצה לראות אם זה בכלל עונה לי על מה שאני מחפש מבחינה המוצרית, אם זה בכלל מקסם לי על המטריקות המוצריות. הרבה פעמים נשארים באיזשהו וויט כזה שהריצרצ'רס רוצים להגיע לשלמות כי בדרך כלל הם אנשים מאוד יסודיים וחשוב להם שהמודל יהיה 100% מושלם או קרוב ל-100%. ואז אנחנו מוצאים את עצמנו בעצם נסחפים במשך תקופה זמן מאוד מאוד ארוכה בכלל מבלי להגיע לפרודקשן בכלל מבלי להתחכך. לגמרי, אני נגיד עובדתי לפני כמה חודשים על איזשהו פיצ'ר איי עיי עמוק יחסית והיה לנו הרבה שאלות על האם זה ב ת נותן value יתי וברור שכשהראינו נגיד פיגמות או דברים כאלה אז ברור שהרעיינות היו טובים וזה עבד ואנשים הבינו וזה סבבה זה בסיס אבל רק ברגע ש רנו טוב בוא נעריץ את זה על דאטה של לקוחות וניתן להם פלט בלי איי רק פלט בטקסט של מה המודל היה מוציא אם זה היה בפרודקשן ושהם יקראו את זה על הדאטה שלהם זה היה game changer כי זה העלה את השיחה לדברים שלא היינו חושבים למשל הם שאלו למה לקחתם את המידע מהעמודות האלה ואלה ואלה בטבלה ולא ממקום אחר או האם זה תופס גם את 1,2,3 ו רנו וואו ה ת שלא או זה הוציא כל מיני דברים ש רנו וואי את זה אנחנו חייבים לחסום כדי שזה לא יפגוש פרודקשן והMVP הזה על הדאטה הוא קריטי בשביל שאנחנו נוכל לקבל החלטות מוצריות על האם זה עכשיו המלצה שאנחנו רוצים לתת רגע אוקיי בוא תבחר אחת משלוש או זה המשפט שאומר הנה זה מה שאתה צריך לעשות זה מביא תוצאות שונות וזה גם משפיע על החוויה בצורה קריטית לגמרי ואני חושבת שפה גם נכנסת הבדיקה האיכותית הזו שדיברנו עליה שהרבה מאוד פעמים אנחנו מקבלים איזשהו מספר מהמודל איזושהי תוצ נגיד ריקול 90% אוקיי מה זה אומר לנו כמנהלי מוצר בדיוק מה זה אומר בעולם ה יתי וזה מה זה אומר 90% האלה וכשאנחנו לא בודקים את ה90% האלה ולא בודקים בדיקה שהיא איכותית אנחנו יכולים לפספס בעצם מידע מאוד מאוד חשוב ברגע שאנחנו עושים איזשהו MVP ואנחנו רואים מה המודל מוציא הפרודקשן אנחנו יכולים להת ד עם התוצאות ולהבין האם זה מה שאנחנו מצפים לו האם זה מה שהיוזרים מצפים לו והאם זה בכלל מביא ערך מדהים יש עוד איזה שהם עקרונות או דברים שחשוב שנשים לב אליהם בעבודה מריסרצ' אני חושבת שהגישה היא חשובה כלומר זה מאוד מאוד נוח וקל להגיד אוקיי אנשים מאוד מאוד חכמים הם עמדו את הדיסציפלינה המון שנים בדרך כלל הם דוקטורים והם יודעים מה הם עושים אבל המקום הזה שלנו של להבין שאנחנו לא צריכים ממש להתערב להם אלא רק to empower them וב ת לתקשר להם מה אנחנו כמנהלי מוצר מצפים זה המפתח להיות מוביל של הסיטואציות ולא מובל על ידי מה המודל יכול או לא יכול לעשות אלא להגיד מה אנחנו דורשים מהמודל שיעשה או לא יעשה מדהים אני ב ת לוקח מהפרק הזה אחד זה מה מחיר הטעות ולהבין גם שיש כל מיני סוגי false positive ושכמו ש רת רגע באחד החלקים זה ב ת להסתכל על הפלט לעשות את הניתוח האיכותני על מה שיצא מהמודל של data הדבר השני זה שהMVP על הדאטה הוא קריטי על מידע של לקוחות כי זה מכבין לנו רגע את הפתרון המוצרי זה משהו שהוא אינרנטי הvalue שאנחנו מסוגלים לייצר משפיע גם על איך אנחנו נתפור את החוויה וככל שנגיע לזה יותר מהר ולא נחכה חודשים או שנים זה משהו שיכול להיות ממש ממש דרמה

מתי להיר איך שמשתמשים מקבלים מהמוצר שלנו. לגמרי. קרן, המון המון תודה, ובזה אנחנו נסיים, אבל רגע לפני שאנחנו הולכים, אני אגיד שאם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה קרן. תודה רבה, איזה כיף. ותודה לכם שהזנתם. ביי.