פרודקטיבי: איך עוזרים למשתמשים שלנו להתחיל, או: מה עושים עם בעיית הדף הלבן? (רזיאל איינהורן, Pecan AI)

Product TV, פודקאסט המוצר של Startup for Startup. שלום לכולם, אני רן ארז, ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן, ומה השיעורים שהם לדו בדרך. ובפרק של היום נדבר על הבעיה המוצרית הב . איך עוזרים למשתמשים להתחיל להשתמש במוצר שלנו, או כמו שאנחנו קוראים לזה, בעיית הדף הלבן. ומי שסיפרנו על ההתמודדות שלו עם האתגר הזה, הוא רזי איינהורן, פרודקט בפקן AI. היי רזי. לן רן, כיף להיות פה. ממש כיף שאתה פה, ואולי כזה, לפני שנתחיל לספר כזה קצת עליך ועל פקן? כן, אז עליי קצת, אני בן 41, אני בפקן כמעט שלוש שנים, בהיסטוריה שלי כמנהל מוצר יצא לי לעבור בין כל מיני חברות, אני התחלתי בכלל בעולם של הדיפנס, ועברתי לסייבר סיקיוריטי, משם קפצתי לאנטרפרייס סאס, ופקן זה התחנה המחריכית שלי, של גם בי-טו-בי סאס וגם מוצר דאטה. אולי ב ת ניתן גם כמה מילים על פקן לפני שאנחנו צוללים? כן, בהחלט. אז בעצם מה שאנחנו מנסים לעשות בפקן, פקן הוקמה כבר ב-2018, והמטרה שלנו היא בעצם לעזור לארגונים להשיג את המטרות העסקיות שלהם בעזרת AI. ההתמחות שלנו היא בעולם שנקרא פרדיקטיב אנליטיקס, שזה בעצם עולם בעיה שמגדיר בעיות עסקיות על פני ציר זמן. דוגמאות מאוד מאוד פופולריות לזה, למשל יכולת חיזוי נטישה של משתמשים, יכולת חיזוי כמה כסף המשתמש שלי ייצר עבורי כעסק על פני תקופת זמן וכו' וכו'. עכשיו, העולם של פרדיקטיב אנליטיקס, יש כל מיני גישות, יש גישות של יוריסטיקה, יש גישות של כל מיני רולים, ומסתבר שכשהבעיה מוגדרת היטב, כשהדאטה הוא דאטה שבנוי נכון, ושנבחרים המודלים המתאימים, אז גם AI יכול לתת פה תוצאות מאוד מאוד יפות. מדהים, ובעצם מה הבעיה שאנחנו יכולים לדבר עליה? אז בעצם הסיפור שלנו מתחיל לפני קצת יותר משנה וחצי, אנחנו, פקאן היא בעצם כ ור פלטפורמה שעוזרת לאנליסטים, לבוא החל משלב הבעיה העסקית שיש להם בראש, עד לשלב שבו יש להם, שהם דרך עיצוב של הדאטה, בנייה של מודלי AI, ושימוש שלהם בארגון. ובעצם בגדול, כדי לסבר את האוזן, המוצר שלנו היה בנוי בזמנו, מאיזשהו משהו שנר כמו SQL קונסול, מוצרים כמו DB-Ver או כמו DataGrip, מוצרים שבהם יש איזשהו חלון שאתה כותב בו שאילתת SQL, ואתה מריץ לה, מקבל תוצאות. ובעצם בכל מה שקשור למה אנחנו עושים עם המשתמשים כשהם מתחילים לעבוד בתוך פקאן, אז פקאן תמיד הייתה כזה על הספקטרום בין להיות מאוד גנריים, לבין מאוד להיות יוסקייס ספציפיק, והצורה שבעצם בחרנו להתמודד עם הדבר הזה, ובעצם עם מה מה אני עושה מהמשתמש כשהוא מגיע, זה טמפלטים. בעצם משתמש היה נכנס, היה מדמיין את הבעיה שלו, הוא בא כבר עם הבעיה בראש, היה מסתכל על הטמפלטים, מזדהה עם אחת הטמפלטים ומתחיל משם. ובעצם מה שראינו, שב ת ראינו פה בעיה, ראינו שזה לא מספיק למשתמשים שלנו, וכשהתחלנו לחקור את זה, אז בעצם גילינו שהמרחק בין איפה שהמשתמש שלנו נמצא בראש כשהוא מתחיל לעבוד בפקאן, לבין הפתרון הזה של טמפלטים היה מאוד מאוד רחוק. אוקיי, איך בעצם המשתמשים מגלים אתכם? איך הם מוצאים אתכם? אז בזמנו מה שעשינו, פקאן היא מוצר B2B, אנחנו בזמנו עשינו מהלך אסטרטגי של לפתוח את הפלטפורמה למשתמשים, היית יכול להיכנס לאתר של פקאן, לעשות סיינאפ. כאילו PLG קלאסי. כן, PLG קלאסי, ובעצם היו לנו ב ת כמויות מאוד מאוד יפות של משתמשים שהיו נכנסים לפלטפורמה, היו לנו כמויות יפות של משתמשים, שהם ב ת היו target audience, שראינו שהם מנסים לפתור את הבעיות העסקיות. אוקיי, אני חושב שזה ב ת רלוונטי לעוד מנהלי ומנהלות מוצר, כי בסוף כולנו מתחילים בהתחלה באיזשהו מקום. הרבה מהמשתמשים מגיעים, צריכים להתחיל להשתמש במוצר, ויש מקומות שמלווים אותם, נותנים להם יד ביד, אבל הרבה מהמוצרים שלנו אנחנו לא מלווים את כל המשתמשים מן הסתם בהתחלה, וכאילו בתור פרודקט זה כאילו מין הפתרון הזה של בוא ניתן להם טמפלטים, הוא כאילו ה-go-to של הרבה מאוד מנהלי ומנהלות מוצר, ואתה אומר, אוקיי, לנו היה כבר טמפלטים, בעצם היה לנו יוזרים שמצטרפים, הם הגיעו לטמפלטים, מה קורה ברגע הזה? בעצם ברגע הזה אנחנו רואים שהם נתקעים, הם לא מצליחים. מה שאנחנו עשינו כצוות מוצר, אנחנו לקחנו owner שהיא בעצם על תהליך ה-onboarding, גם היה לנו אדם שישב יהודי והתעסקה כמעט תקשורת עם היוזרים, וגם אנחנו בעצם כצוות מוצר היינו קופצים כמעין, היינו מציעים בכמה מקומות במוצר את היכולת…

זה כבר הייתה לנו שיחה, זה כבר הייתה לנו פגישה, ובעצם היינו קופצים לשיחות זום והיינו מנסים לעזור ליוזרים שלנו, ודרך זה בעצם הבנו כמה רחוק מהשהיוזר מדמיין או מהשהלקוח הפוטנציאלי מדמיין, לבין מה שאנחנו, לאן אנחנו מנסים להביא אותו. אוקיי, בעצם סיגנל איכותני שבעצם הייתם שמים, אתם כאילו עזרתם לעשות את העון בורדינג ודרך זה למדתם שזו הייתה גם שיטה מצוינת. היה לכם גם משהו בדאטה שראיתם שכאילו שזה לא זה או שזה הכל היה אנקדוטלי מבחינת רגע דברים? אז ב ת, אולי הסיגנל הדעתי הכי מובהק היה זה שפשוט הסתכלנו על כמות המשתמשים שמצליחים ל ן מודל והכמות הזאת הייתה בהחלט לא מספקת בעינינו. וכמובן שכשהסתכלנו בדרך אז ראינו שאחד, כשאתה מסתכל על השלבים בתהליך ועל הדאטה שמופק ממנו, אז אתה רו שיוזרים נכנסים, יוזרים עוברים את העון בורדינג בהצלחה אגב, שזה גם לא תמיד טריוויאלי. ואז הם נכנסים ומתחילים להסתכל על הטמפלייטים ומשהו שם נתקע, הם לא מצליחים להתקדם. אוקיי, זאת אומרת, הם עברו איזשהו עון בורדינג בסיסי, מילאו את הפרטים שלהם, אבל דווקא הדרופ המרכזי הוא בטמפלייטים, מה שאתם רואים? כן, זה מה שראינו וגם אלה שהצליחו איכשהו לדמיין, כי לפעמים הם דמיינו משהו, לפעמים אגב זה לא היה נכון, לפעמים היו כמה אפשרויות שזה היה מאוד מעניין לראות, כי ב ת מה שגילינו זה שהווריאטי של הבעיות העסקיות הוא הרבה יותר ממה שחשבנו. לקוחות, אני סתם אתן דוגמה להמחשה, כשאנחנו מדברים על בעיית נטישה של יוזרים או נטישה של לקוחות, אז בגדול יש לנו אותה תמונה בראש, אבל כשאתה נכנס לזה ואתה מסתכל על לקוחות שהסתכלנו על הלקוחות שלנו, אז בעצם כל אחד מגדיר את זה בצורה שונה. יש כאלה שמסתכלים על חוסר פעילות במערכת שלהם כצ'רן, למשך זמן מסוים, יש כאלה שיש להם איבנט מובהק שהם אומרים נגיד close the account או delete the account, ויש כאלה שזה אף פעם לא צ'רן עד שהCRM לא אומר שיש צ'רן, נכון? אז ב ת ראינו שיש שונות מאוד מאוד גדולה, ולבוא ולבנות טמפלטים שמתאימים ב ת לכל אחת מהקומבינציות האלה, זה כנר משימה שהיא מאוד מאוד גדולה. אוקיי, אז בעצם אנחנו נמצאים עכשיו בתור צוות מוצר, יש לנו סיינאפים, אנשים עוברים את ההון בורדינג, השתמשנו כבר בכלף החזק שלנו של טמפלטים, ואנחנו תקועים, זה לא עובד. נכון. מה עושים מכאן? אז בעצם אנחנו עשינו כמה דברים. קודם כל ב ת עוברים למוד של ללוות את המשתמשים שלנו כדי ב ת להעמיק ולתפוס את הבעיה הזאת בצורה הכי טובה שאפשר, וכמובן מתנסים ומסתכלים על העולם ובודקים מה קורה. ובאותה תקופה, אפלב אפלה, קורה משהו מאוד משמעותי בעולם, שזה כל העולם של LLMים, של מודלי Generative Text, ואנחנו מתחילים להסתכל על הדבר הזה, אבל זה עדיין לא היה מספיק לנו. כלומר בשלב הזה בעצם אנחנו באים ואומרים, הסתכלנו מן הסתם על המודלים האלה, כמו הרבה חברות אחרות שהיו אז, אבל עדיין משהו לא, הסימון עדיין לא נפל. מה שכן, אנחנו במקביל, הזכרתי כ ור שהממשק שאיצנו בזמנו, היה ממשק של SQL Console כזה, ובמקביל אנחנו בעצם בודקים את האפשרות לשנות את הממשק לממשק של מחברת דאטה, מחברת דאטה אינטראקטיבי, למי שמכיר, מוצרים כמו Jupyter, קולבורטורי, Hex, DeepNote, זה בעצם ממשק שהוא מורכב מתאים, שבתאים האלה אתה יכול או להריץ קוד, או לשים טקסט כמארקדאון, גרפים, דיאגרמות וכו'. ואז בעצם תוך כדי אנחנו מתחילים לבשל את הרעיון הזה, במקביל לבשל הרעיון של LLM, ופתאום נופל לנו הסימון שאנחנו יכולים לא רק להשתמש ב-LLM כאיזשהו צ'אט או כאיזשהו פופ-אפ שקופץ ועוזר ליוזר, אלא אנחנו בעצם יכולים ליצור חוויה שה-LLM יייצר עבור המשתמש את כל המחברת, את כל המרכיבים של המחברת, ואז נוצרת פה בעצם הזדמנות לעשות משהו מאוד מאוד משמעותי, שהוא גם משלב את ה-LLM בצורה מאוד אינטגרלית בתוך המוצר. זה כבר לא עוד איזשהו צ'אט סידי, כי הרי מאוד מאוד קל לבוא ופשוט לזרוק איזשהו צ'אט. לעטוף מוצר בצ'אט. בדיוק, ועושים את זה מלא, ובזמנו ב ת המון חברות עשו את זה, כי זה מה שהכרנו. אנחנו איכשהו הרגשנו שזה לא מספיק, ורק כשהבנו שאנחנו יכולים בעזרת ה-LLM לעשות יותר מאשר סתם צ'אט, אלא לשלב את זה ביצירה של אובייקטים משמעותיים בתוך המערכת, לעלן השאילתות וההסברים, ובעצם כל המחברת הזאת שמעצבת את הדאטה של הלקוח, בעצם הבנו שיש לנו פה משהו שיכול לעבוד, ופסט פורד קדימה זה ב ת הוכיח את עצמו. אוקיי, אבל לפני הפסט פורד קדימה, בוא נעשה רגע רי וויינד. אתם בעצם מקבלים פה שתי החלטות. אחד, אוקיי, יש טרנד חיצוני שקורה,

יש פה משהו מעניין להעמיק בו ולבדוק, ואתם עושים את האינטרפרטציה שלכם, אבל מעניין אותי רגע לגעת, שיניתם גם UI, שיניתם גם חוויה. מה הייתה היפותזה פה? ההיפותזה הייתה בעצם שהעורך, שאותו ממשק קיים, הוא ממשק שהוא לא מספר את הסיפור. כשאנחנו בעצם באים ומסתכלים על התהליך הלוגי שמתחיל בשאלה שהמשתמש שואל את עצמו, שאלה עסקית, אני רוצה לחזות את הנטישה של המשתמשים שלי, או צוות המרקטינג רוצה לדעת באיזה קמפיינים להשקיע עכשיו, איזה קמפיינים הם הכי מוצלחים. התהליך שהוא עובר בראש זה תהליך ראשון של בעצם סטרקצ'רינג, הבנייה של השאלה שלו, במה שאנחנו קוראים שאלה פרדיקטיבית, בעצם בצורה שהיא צעד אחד בדרך ללמדל את הדאטה שלו, בצורה שמתאימה לאימון של מודלי משין לרנינג. צעד לאחר מכן, אחרי שאנחנו עושים את זה, הצעד הבא הוא להשתמש בניסוח הזה כדי לבנות בעצם שרשרת של שאלות שלוקחות את הדאטה של הלקוח, אגב לא רק לפעמים ממקור אחד אבל לפעמים גם מכמה מקורות, ולעצב אותו עד שהוא מגיע לשלב שיש לו טריינינג סט ביד. שטריינינג סט זה אומר שאני יכול עכשיו לקחת תהליך של אימון מודלים, להשתמש בטריינינג סט הזה שהוא יהודי עבור אותו לקוח כדי ל ן מודל ולבנות את המודל בהתאם למה שהלקוח צריך. את כל השרשרת הלוגית הזאת בצורה שבה עבדנו עם ממשק של איזשהו חלון שאתה מריץ בו שאילתות ואז היו משולבים שם כל מיני טאבים, אנחנו הרגשנו שהדבר הזה לא מספר מספיק טוב את הסיפור, ובעצם המעבר לממשק של מחברת עשה שני דברים. הוא עשה בעצם כמה דברים. הוא גם עזר לנו לספר את הסיפור בגלל שהוא בנוי בצורה לינארית, יכולנו לעשות את זה, יכולנו לשלב הסברים כחלק מהשאלתות, יכולנו לשלב דיאגרמות, וכ ור יכולנו גם לג'נרט את זה בעזרת LLM כמו שראינו בעצם שאנחנו מסוגלים לעשות. כן, אני חושב שיש פה פיצוח שהוא שני דברים. אחד זה להבין רגע מה המשימה שהמשתמש מנסה להשיג. זאת אומרת, במצב של קונסול או במצב של טבים זה ב ת כל משימה היא בדידה בעולם. היא כזה בניתי את השאלת, קיבלתי תוצ זהו, סיימתי את היחידת עבודה הזאתי. ודווקא הסיפור הזה הוא בדיוק הרגע ללקחת את התהליך הלוגי שעובר לאנליסט בראש ולייצר לו מודל UI שזה דרך שהוא חושב, הוא אומר אוקיי, בוא נתחיל רגע בלנקות הנתונים, אחר כך נעשה את השלב הבא, אחר כך נעשה את השלב הבא, והסיפור הזה הופך את זה ליותר זה ואני חושב שעוד נקודה היא שבעצם זה איזשהו פטרן מוכר מהעולם. כאילו בעולם של אנליסטים הם מכירים את הפטרן הזה. נכון מאוד, אני חושב שגם מעבר לזה מה שב ת עבד מאוד חזק זה ב ת שראינו שהאינטרפייס הזה תופס תאוצה בעולם הוא יכול להיות מאוד טרנדי וה ת היא שגם הייתה תקופה של כמה שבועות עד שב ת בנינו את האינטרפייס עצמו אנחנו הלכנו למוצר מתחרה לקחנו את אחד המוצרים, אני לא זוכר אם זה היה אני חושב שזה היה היקס ופשוט עשינו יוזיביליטי עם משתמשים על גבי המוצר ההוא וזה מאוד מאוד עזר לנו גם לקבל אינדיקציות ראשוניות וגם ב ת להבין כמה דברים שבאותו מוצר הפריעו להם שכבר ידענו בזמן ת לתקן תוך כדי שאנחנו בונים את המשק שלנו ה ת שזה נקודה מעולה, יש לי ממש הרצ ל-competitive user research שאנחנו עושים מחקר משתמשים על המוצר של המתחרים וזה בדיוק זה, זה בדיוק להבין את התובנות כי בעצם על המוצר שלנו לפעמים חסר לנו קונטקסט היכולת רגע לראות איך הם מתנהגים על מוצר של מתחרים פתאום פותח המון המון תובנות ונורא קל לנו להתייחס לפיצ'רים של מתחרים בסיילו אבל תכל'ס הם חווים את כל המוצר end to end ואני חושב שזה פיצוח ממש ממש טוב לבוא ולהגיד בוא נעשה מחקר משתמשים על המוצר של המתחרים במקום שנבנה את זה ואז נר מה קורה אז אוקיי אז פיצחתם את הדבר הזה אנחנו מחזיקים עכשיו משהו שיש לנו תובנות שהמודל המנטלי הזה עובד ושהיועץ זה עובד עכשיו החלה להם נכנס לתמונה פה אנחנו מתבשלים עוד יותר עם ה-LLM וב ת נופל לנו הסימון שמאחורי הקלעים הרי ממשק של מחברת הוא טקסטואלי ואנחנו מבינים שטכנולוגית אנחנו מצליחים לייצר את זה על ידי פרומפטים מתאימים ל-LLM ואז בעצם אנחנו אני זוכר שהיה לנו כזה אירוע שבו אנחנו הפיתוח הדגימו לנו את הדבר הזה ואז בעצם מה שאנחנו מה שאנחנו רואים זה שבעזרת ה-LLM אנחנו יכולים לעזור ליוזר בלי שאנחנו נהיה מעורבים להגיע ממה שיש לו בראש מההמחשבה המעורפלת ה-LLM יכול לעזור לו לנסח את השאלות שלו בצורה נכונה

גם לתת פידבק למשתמש על האם השאלה שלו היא מנוסחת היטב או לא מנוסחת היטב, לנסח את זה בשבילו, ואז בהינתן שהיוזר מאשר ואומר כן, זה הניסוח, אני מסכים עם הניסוח הזה, מאותו רגע אללם יכול לקחת את התוצר ויכול עכשיו, יחד עם הדאטה של המשתמש, ליצור את כל המחברת עם כל המידול של הדאטה שלו, בהתאם לשאלה שהוא שאל. אוקיי, אז אני רוצה אבל לדייק את זה פה, כי אני חושב שזה נקודה, זה ניואנס מאוד מאוד חשוב. בעצם הצ'אט בהתחלה הוא לא נועד כדי שהיוזר יספר מה הוא רוצה, כי אנחנו עדיין באותה בעיית דף לבן, אלא אתם בעצם החלפתם בעזרת הצ'אט את השיחה שלכם, את הלקחת את זה יד ביד ולשאול אותו רגע, בואו נשאל אותך את השאלות הנכונות, כדי שאם אני אשאל אותך את השאלות הנכונות, אני אקבל בסוף אוטפוט שאני אצטרך. ואני חושב שזה ניואנס מאוד מאוד חשוב, כי אחרת אתם פשוט בבעיית הדף הלבן עם אללם, מה אני כותב לצ'אט, ואנחנו רואים את זה בהמון מוצרים שהם צ'אט בייסט עכשיו, של לא פתרתם לי את הבעיה, כי אני עדיין לא יודע מה לכתוב. נכון מאוד. זו נקודה מאוד מאוד מאוד חשובה, כי ב ת זו הייתה החלטה מוצרית להתמקד במשתמשים שבאים ויודעים מה הם רוצים. וממש עשינו עבודה כדי לתייג וכדי להתמקד באותם משתמשים. אנחנו רצינו לראות שמשתמש שבאים, אפילו עם המשהו הוויגי הזה בראש, שהצ'אט יוכל לקחת אותו מהנקודה שבה יש לו את הבעיה, לנקודה שהוא יכול ממש לבנות מודל על בסיס הבעיה הראשונית הזאת. אוקיי, יחסתי למזה, אבל לדעתי זה ב ת, אנחנו התחלנו מטמפליטים, ראינו שיש לנו בעיה, יוזרים לא מתכוונרתים, עשיתם את הדבר הזה, איך אתם עושים לזה ולידאציה? מה אתם רואים? אנחנו, קודם כל אנחנו קיבלנו החלטה שאנחנו בונים את זה, אפילו כמשהו שהוא מאוד רו, כלומר לא התחלנו מלטייב את חוויית שימוש בצורה הכי מושלמת, והמרכיב ב ת המשמעותי שעשינו היה להשתמש בפייד אינטרוויוז. אנחנו שילמנו לאנשים כדי שיעשו סיינאפ, אנשים שהם הטארגט אודיאנס שלנו, שיעשו סיינאפ לפלטפורמה, ורצינו לראות את כל התהליך, איך הם נכנסים לצ'אט, מה הם מדברים עם הצ'אט, והאם הם מצליחים ב ת להגיע למשהו שהוא קוהרנטי ול ן מודל. יש לך איזושהי המלצה למנהלי ונות מוצר איך לגייס ב ת את הפייד אינטרוויוז הזה? למה אתם עושים להגיד כדי למצוא את הטארגט אודיאנס? כי זו שאלה שאני שומע אותה המון המון. אז למזלנו, ב ת היה לי את הכבוד לעבוד עם מייקל מרגוליס מגוגל ונצ'רס, הוא לאחרונה התראיין אצל לני, בפודקאסט של כמעט שעה וחצי, שאני מאוד ממליץ לכל מנהל מוצר שרוצה להתחיל לעשות פייד אינטרוויוז להקשיב לזה. אז זה בעצם תהליך, זה תהליך שאולי החלק הכי חשוב בו זה דווקא המיקוד. זה לדעת באיזה יוזר אם אני מתמקד ואיך אני מוצא את היוזרים האלה. כמובן יש את החלק של למצוא את הפלטפורמה, ויש פלטפורמות שונות, יש userinterviews.com, יש את respondent.io, וכל אחד מהפלטפורמות האלה יש לה את היתרונות והחסרונות שלה, גם מבחינת גיוס של משתמשים. ואז בעצם יש תהליך שבו אנחנו, תהליך מתמשך, שבו אנחנו מגדירים את הטארגט יוזר שלנו, אנחנו מגדירים אותו בתוך אותה פלטפורמה, אנחנו מקבלים רשימה של מועמדים, שורקים אותם, מנסים להבין אם הם ב ת הטארגט אודיאנס שלנו, עושים תיוב, עשינו מספר תיובים לדבר הזה עד שהגענו למשהו שאנחנו מרוצים מנו, ואז כ ור להזמין אותם לרעיון, ליוזביליטי טסט, לתקשר להם מה הולך לקרות. במקרה שלנו למשל, היינו צריכים לבקש מהיוזרים שלנו שיעבירו את הדאטה שלהם, יבואו עם בעיות כבר משלהם, אז היינו צריכים לא רק למצוא אנליסטים שהם נמצאים במוקד בין בעיות עסקיות לבין ידע על הדאטה שלהם, אלא גם היינו צריכים לוודא שיש להם איזושהי בעיה שעכשיו יושבת להם ושיש להם דאטה רלוונטי. וזה אכן מאוד מורכב וזה מאוד מצמצם את האפשרויות, אבל כן הגענו למצב שאנחנו עושים כמות לא מבוטלת, אני מדבר על כמה עשרות של רעיונות, ולמדנו מזה המון. מדהים, אז ב ת כאילו השקעתם בפרונטנט כדי למצוא את האנשים הנכונים, אבל אז יצרתם לכם פייפליין מאוד מאוד חזק מהטארגט אודיאנס דרך זה. לחלוטין, והדבר הזה אגב הוא היה מ ץ שהשתלם לנו בצורה שעד היום אנחנו משתמשים באותם תוצרים. כלומר ברגע שהגדרת לעצמך בצורה טובה את היוזר שלך, אחר כך מאוד קל כזה לטייב ולשנות קצת וזה גם אני חושב שזה מאוד מחדד את הדיון בתוך הצוות על ב ת את מי אנחנו רוצים להביא. על המיוזר, נכון? בדיוק, זה מי היוזר. זאת שאלה של מי היוזר וזו שאלה קצת יותר מתחכמת כי זה לא רק מי היוזר שלי, אלא גם אם היה לציין מעניין אם הייתי יכול לשאול אותו שאלות, איך הייתי יודע אם זה היוזר שלי או לא. מה הקוליפיקציה שלו בכלל. בדיוק, בדיוק. אוקיי אז אני רוצה רגע לחזור רגע בעצם לסיפור, אנחנו בעצם גם הכנסנו שינוי UI וגם הכנסנו שינוי של LLM ביחד בסוף. קודם כל מה הייתה תוצ ? מה קרה בשטח? אוקיי, אז כדי להבין שניית נקודת ההתחלה שלנו, אנחנו מדברים על זה שמתוך אותם יוזרים שהם

ב ת המשתמשים, הטארגט אודיאנס שלנו, היינו בקונברז'ן רייט של בערך באזור ה-5 אחוז. פאסט פורוד כמה חודשים אחר כך, בערך חצי שנה אחר כך, כמובן אנחנו עושים כל מיני תאומים וכו' וכו'. אנחנו מגיעים ל-40 אחוז של קונברז'ן, ואנחנו גם מגיעים אבסולוטית, המספר של המשתמשים עלה. אני ממש זוכר שבאיזשהו שלב אנחנו ממש מדברים על זה שיש פה איזושהי פריצת דרך. הצלחנו להפקיע פה, שזה היה משהו, זה היה אחד ההיפותזות המרכזיות בפקאן, והצלחנו להוכיח אותה, וזה היה… איזה הרגשת טובה זה בתור המנהל המוצר, שזה גם הזניק ב ת המטריקה. כצוות זה היה ב ת משהו מדהים. מדהים, אבל ב ת אנחנו כולנו מנהל למוצר, וגם הצלחות, אבל גם כישלונות. אתה יכול לספר קצת על טריידופים שהיו בדרך, או דברים שנגעתם, שחשבתם, ובסוף ויתרתם? כן, סליחה, בוודאי. בסוף מה שרצינו לאפתם זה, אני מזכיר, זה ל ן את המודל הראשון. זה היה הפוקוס הראשון שלנו. ואנחנו, בשם המ ץ לעשות את זה, אנחנו הגענו למצב שבעצם יוזר, תיארתי את התהליך, יוזר נכנס, פותח צ'אט, מתחיל לעבוד עם הצ'אט, באיזשהו שלב הוא עובר למחברת, הוא כמעט לא היה צריך להיכנס ולהעמיק בתוך המחברת, כל מה שהיה צריך זה ללחוץ על טריין מודל, ובהרבה מקרים זה פשוט עבד. וזה היה הטרייד אוף שאנחנו נדבר תכף על איפה זה פגש אותנו בהמשך, זה היה הטרייד אוף שבאותה נקודה עבד לנו, ידענו שזה משהו שאנחנו עושים שהוא יכול אולי להיות סיכון, וב ת אנחנו נדבר על איך זה התממש. אז מה ב ת הסיכון פה? בוא נגדיר אותו מדויק. אוקיי, אז בעצם הסיכון היה אם, במקום שבו אתה בעצם רוצה, המטרה שלנו היא הרי לא רק שהמשתמשים שלנו יבצעו את העבודה, אלא אנחנו גם רוצים to empower our users, אנחנו רוצים לקחת אנליסטים, אנשי דאטה שהם לא data scientists, ואנחנו רוצים לעזור להם להגיע למצב שהם מ נים מודלים ושהם עובדים עם AI, וזה משהו מדהים בפני עצמו. אבל בתוך הדבר הזה, וגם כדי שהם יוכלו להמשיך ולעבוד באזורים האלה, להמשיך ולטייב את המודלים שלהם, אולי לחשוב על יוסקיסים חדשים, אתה רוצה שהם יבינו מה הם עשו. ובעצם זה היה המודל המנטלי. אז בעצם מה שעשינו, אנחנו עשינו הרבה עבודת הפשטה כדי שנוכל להגיע לcompletion, אבל הסיכון היה שבדבר הזה, אנשים שלא מעמיקים לא יבינו את זה עד הסוף. זאת אומרת, חוויה קלה מדי באיזשהו אופן. באיזשהו אופן. כל כך ב-one-click, הם קיבלו את כל מה שהם רוצים, אבל ללכת לערוך את זה עכשיו, אין להם סיכוי להבין מה קרה. נכון, ואיפה אנחנו מגלים את זה, וזה המדהים, הקסטמר סקסס שלנו יושבים עם אותם אנשים, שממשיכים לטייב את המודלים, והם חוזרים עלינו אחרי הפגישות. ואומרים, תקשיבו, הבן אדם הזה, הוא אומנם עשה ארבעה מודלים, אבל הוא לא ב ת הבין מה הוא עשה. וזו הייתה תובנה מאוד כזה, שנפלה ממש כבום. פתאום אנחנו מבינים שהסיכון הזה התממש, ועכשיו האחריות שלנו היא לא רק לגרום לזה שהם יסיימו, אנחנו גם צריכים לוודא שהם מבינים מה הם עשו. אני חושב שזו נקודה מעולה, כי בדאטה מה שאנחנו נר זה שאנשים יוצרים יותר מודלים, ונגיד, וואו, מדהים. במטריקה, נוסטר מטריקס שלנו זז יפה, אבל אז אנחנו מדברים איתם, ואנחנו מבינים שבגלל שהם לא יודעים לעשות אדיט, הם עושים את התהליך מההתחלה שוב, ומצאו את עצמם עם ארבעה מודלים, שהם מהלכת ימין, המהלכת שמאלה, אבל זה אותו דבר, כי הם לא הבינו. ואם אנחנו נסתכל רק על הדאטה, זה ייר מדהים, כן? הגרף מטורף, אבל יש פה פריקשן שלא נתפוס אותו בצורה שהיא דתאית, אלא רק רק דרך קוואל. אז מה ב ת עדיין לא עובד, או מה עוד יש לנו לעשות? אז ב ת מה שעבד בזמנו, מה שב ת ראינו שזה לא עבד, זה קרה ב ת לפני סדר גודל של חצי שנה בערך, כשראינו את זה, ואנחנו יושבים וחושבים מה לעשות. איך אנחנו מגיעים למצב? מצד אחד אנחנו רוצים להקל על המשתמשים, מצד שני אנחנו צריכים שהם יבינו, איפה שאנחנו צריכים להעביר אותם בתוך המסלול הזה. באותה תקופה אנחנו מסתכלים החוצה, ואנחנו בדיוק יש את הפריחה של כלי קופיילוט. הדבר הראשון שכזה היה, הסנונית, זה היה כשקלוד הוציאו את פיצ'ר הארטיפקט שלהם. בעצם זו הייתה פעם ראשונה שיש עבודה של בן אדם עם צ'אט על איזשהו תוצר משותף, שהוא לא כזה על הדרך בתוך הצ'אט. וקלוד התחילו עם זה, וקרסר המשיכו עם זה, וכמובן לבבל ובולט וכל המוצרים הנפלאים שיש לנו היום. בייס 44, אגב, עם ישראלים אנחנו רוצים להמליץ. נכון, מאור. נכון, גם מוצר שהוא מוצר מדהים באזור הזה. אז זה דבר אחד שאנחנו רואים בחוץ. אנחנו במקביל גם מעמיקים בבעיה. אנחנו מראיינים, כ ור, משתמשים, ממשיכים עם הפייד אינטרוויוז. אנחנו בזמנו שמנו, השיטה שלנו כדי לחנך יוזר, אם הייתה שה-LLM ג'ין רט גם הסברים בתוך המחברת. ממש תאים עם טקסט. והיו מחשבות, האם הטקסט הזה הוא יותר מדי או פחות מדי? היו כל מיני מחשבות אולי להוסיף דיאגרמות, אבל מה שב ת ראינו זה שיוזרים שונים בעצם…

לומדים בצורה שונה, וזה היה גם תובנה שהייתה מאוד משמעותית עבורנו. בוא נרחיב את זה רגע. כן, אז ב ת, מה קורה? אנחנו יושבים באינט Reviewed, ב-Usability Test, על פני, לא יודע, חמישה יוזרים, ואתה רו יוזר אחד שב ת בא ומתחיל לקרוא את המחברת ומתעמק ומנסה להבין. אתה עובר לרעיון שני, פתאום אתה רו מישהו שמתחיל לקפץ. אתה רו אותו גם בעיניים וגם כזה, אתה רו אותו גולל ואתה שואל אותו, בוא תתאר לי מה אתה עושה. אגב, הדברים החשובים באינט Reviewed, והוא אומר, אני כזה, ככה אני לומד, אני קופץ, פחות מעניין אותי הטקסט, אני רוצה, האורגן שלי בראש זה השאלתות. יש כאלה שהם מתעמקים בכלל לא בשאלתות עצמם, אלא בתוצר, רק בתבלעות. הישראלים. לא, לא דווקא, ה ת שלא דווקא ישראלים, אבל זה היה ב ת מאוד משמעותי, כי הבנו שיוזרים שונים לומדים בצורה שונה. שזה, אנחנו בעצם מבינים את זה, נכון? חינוך לנער הפידרקו. אבל בקונטקסט שלנו אנחנו פתאום מבינים את זה, וזה אומר שאם היה לנו, והיו לנו על השולחן כל מיני אפשרויות לתייב את הטקסט, להוסיף דיאגרמות וכל מיני, אנחנו מבינים שזה לא משנה איזה פתרון נבחר, זה לא יעזור, זה יהיה איזה שהוא מקסימום אולי לוקאלי, אבל זה לא יפתור לנו את הבעיה. כי אנשים לומדים שונה, אז אם אתם תשפר את הדיאגרמות, אבל אנשים בכלל, יש לך סגמנט שקורא רק את התוצ הסופית, כאילו להם זה לא מעניין בכלל. זה לא מעניין, זה אגב, זה יכול לפגוע בהם, כי אם יש המון המון טקסט, הם פתאום יכולים לקבל ממש, היו כאלה, אלה שב ת מסתמכים רק על התוצאות, הם העידו שיש להם איזושהי תחושה של שוק, של overwhelming, בגלל שהם פתאום רואים איזה משהו מאוד מאוד עמוס בעיניים. ממש מעניין. אז אני רוצה רגע לקחת אותך, ב ת עברתם פה תהליך מטורף, גם פיצוח של המטריקה וגם השילוב הזה בין קוואלדאטה שביניי הוא מרתק וממש ממש מעניין. מה כזה התובנות המרכזיות שלך? אם עכשיו יושבת איזה מנהלת מוצר בבית וחושבת רגע להטמיע את הדבר הזה, מה כזה אנחנו יכולים לעזור לה? אז הדבר הראשון אולי שהכי חשוב זה ship it, כלומר אנחנו ממש נלחמנו כדי להוציא את הדבר הזה, אנחנו עשינו המון המון ויתורים כדי בעצם לאפטם גם למידה. אנחנו הבנו שככל שאנחנו נמתין יותר תמיד יש שאלות, תמיד יש דברים לא ברורים, בטח ובעולםות של האלה להם. העולם הזה מתקדם בקצב מטורף, גם UX patterns וכל מיני ממשקים חדשים נולדים כל יום ואם אנחנו לא נצא אז אנחנו אף פעם לא נצא. אז קודם כל לצאת כמה שיותר מהר כדי לאפטם את הלמידה. גם אם זה אומר אגב חוויה שהיא טיפה שבורה, גם אם זה אומר חוויה לא מל לחלוטין, זה עדיין ילמד המון ולשמחתנו היום מוצרי תוכנה אפשר לתקן מאוד מאוד מהר. אז זו הייתה תובנה אחת, תובנה שנייה לשימור נקרא לזה, כן? זה ב ת שה-paid interviews היו invaluable בשבילנו. הם אפשרו לנו גם מצד אחד הדאטה נתן לנו את התמונה ה-quantitative והרעיינות נתנו לנו את היכולת להעמיק בעצם ולהיות מסוגלים בצורה נינוחה לשאול את השאלות וזה היה מדהים לראות איך אנחנו נעים בין להסתכל על פאנלים, היינו מסתכלים על פאנלים ממש ברמה שבועית, לבין לקפוץ לרעיינות משתמשים ולומר אוקיי, ברעיון הבא אנחנו צריכים לשאול אותם א' בית ג' ד'. אז בעצם את מה אתם עכשיו חוויית קו פיילוט שזה משהו שהוא גם מאוד מאוד חם וגם אני רו הרבה מנהלת ומנהלות מוצר שואלים על זה ורוצים כזה אינסייטס, אז כזה מה האינסייטס שלכם רגע מה הדבר הזה מה אתם מבינים, מה למדתם? אז קודם כל כמו ב ת ש רנו מקודם, להטמיע סתם קו פיילוט זה מאוד מאוד קל, אבל צריך ב ת לחשוב האם הדבר הזה מתאים למודל המנטלי שלנו למה שאנחנו מנסים להשיג או לא. במקרה שלנו למשל אני יכול לתת כמה הבדלים שלנו היו, במוצרי קו פיילוט שהם כותבים קוד, אז בעצם העבודה היא גם בתוך החלון של עריכת הקוד הוא מאוד מאוד משמעותי והצ'ט הוא כזה מלווה. אצלנו מה שראינו זה שהמשתמשים מאוד נוטים לעבוד עם הצ'ט, עד לרמה שהם היו, אני זוכר שזה היה באחד ה-Usability שעשינו, זה היה כל כך משמעותי שהבנו שהיוזרים אצלנו הקו פיילוט נמצא בצד שמאל של המסך, הבנו שכפתורים שנמצאים בצד ימין של המסך היוזרים פשוט לא שמו לב אליהם, שזה היה מאוד מאוד מדהים, ואז בעצם אתה יודע ההחלטה המתבקשת היא בוא נשים עוד דברים בתוך הצ'ט, בוא נשים שם עוד ממשק ובעצם אם היוזר שלנו נמצא בצד שמאל ומסתכל עם העיניים בצד שמאל של המסך, בוא נשים שם גם את הכפתורים ואת מה שצריך, זה בסדר להשאיר אותם בצד ימין, אבל כדאי שזה יהיה לו מול העיניים, אם אנחנו רוצים שזה יהיה מול העיניים זה צריך להיות לו במקום שהוא מסתכל. בעצם זה להבין שזה לא קופיילוט זה הפיילוט, האם הוא משנה או ב ת התהליך? נכון אז זה דבר אחד, דבר שני צריך משהו שאנחנו למדנו, למשתמשים היום יש…

המון המון ציפיות מהקופיילוט. הוא כבר לא יכול רק להיות שט. הוא צריך להיות ב ת משולב בצורה מאוד מאוד טובה עם האובייקטים. ואם זה לא קורה, אז למשתמשים יש חוויה של ניתוק. מרגישים שזה שני מוצרים שונים. אז במקרה שלנו נגיד, הקופיילוט שלנו יודע גם לחולל שאילתות, הוא יודע גם לתקן שאילתות. הוא יודע גם, אם יוזר שואל אותו שאלה שהיא צדדית, שהיא לא קשורה אגב לפקאן, שאלה בי.אייט בכלל. הוא אומר, אני רוצה, תר לי שנייה את ההיסטוגרמה, את הפיזור של המשתמשים שלי על פני זמן. הקופיילוט גם יודע לג'נרט לו דבר כזה, וב ת להפוך את הצ'אט למשהו שהיוזר מרגיש שהוא וליובל, שב ת יחסוך לו זמן. כי אם לא, אז ב ת זה פשוט תחושת ניתוק ודיסוננס בין המוצרים. וואו, סופר משמעותי, ממש. אני חושב שמה שאני לוקח רגע מבחינת השיחה הזאת והבנות שלי נפלו, זה אחד, כמה חשוב שהחוויה תהיה לפי המודל המנטלי, אבל של ה-target audience. יש המון המון מודלים מנטליים והמון המון product patterns שאנחנו רואים בחוץ, אבל כמה חשוב להתאים בין הדבר הזה לבין ב ת מי ה-target audience. דבר שני, לגבי ב ת, אולי זה קצת לוקלי על התמ של צ'אטים וזה, ההבנה שזה שנשים צ'אטבוקס בהתחלה, זה לא יפתור את בעיית הדף הלבן. דווקא העובדה הזאת של רגע לשאול ולעזור עם האינפוט היא דרמטית כדי ב ת להתחיל את השיחה, ולא לצפות שה-user יבין מה הוא צריך להכניס בצ'אטבוקס, זה נר לי דבר משמעותי. משהו אחד מעניין שכזה אף פעם לא חשבתי עליו, אבל שיכול להיות חוויה קלה מדי, כי אתם ממש רוצים לעשות empower ל-users, ואם עושים את החוויה קלה מדי, אז יכול להיות שמאוד יעשו מודלים, אבל הם לא ב ת יבינו לעומק מה הם עשו, והתובנה הזאת גורמת לי להבין שלפעמים, גם כשאנחנו רואים שה-north star שלנו עולה, נגיד פה זה יצירת מודלים עלה משמעותית, זה עדיין לא אומר שאין בעיה, כי יכול להיות שיצרנו חוויה קלה מדי, ועכשיו במקום לעשות edit למודל הקיים, הם לא הבינו איך עושים את זה, הם פשוט מתחילים מחדש, אז בעיניי זה היה ממש ממש מרתק, ותודה רבה רזי על השיתוף. תודה לכם. ורגע לפני שנסיים, אני אגיד שאם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה רזי. תודה. ותודה לכם שהזנתם. תודה רבה.