פרודקטיבי: איך עוזרים ליוזרים שלנו כשהם נתקעים במוצר? (רונן פריצקי)

Product TV, פודקאסט המוצר של Startup for Startup. שלום לכולם, אני רן ערז, ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות על בעיות מוצריות שהם נתקלו בהן, איך הם ניגשו לפתור אותן, ומה השיעורים שהם למדו בדרך. ובפרק של היום נדבר על הבעיה המוצרית הב . איך עוזרים ליוזרים שלנו כשהם נתקעים בתוך המוצר? ומי שיספר לנו על ההתמודדות שלו עם האתגר הזה הוא רונן פריצקי, Senior Product Manager ו- CX Lead במאנדיי. היי רונן. לן רן. מה שלומך? בסדר, מה נשמע? מעולה, אז ככה לפני שנתחיל, אולי תיתן לנו כזה קצת קונטקסט וספר לנו על עצמך? כן, בטח, אז אני במאנדיי כמעט שנה וחצי, בעולמות ה-CX שעוד נהיגה בהם, ואני אגיד שלפני מאנדיי עבדתי בריטל, ב-B2C, בחברת וולמארט, גם שם התעסקתי בלעזור ליוזרים בצ'אט בוטים, וטוב, תכף נצא לתוך מאנדיי, אבל אני חושב שבגלל זה זה מספיק כדי להבין את הקונטקסט שתכף נדבר עליו. מעולה, אז במקום הזה בוא ננסה לדבר רגע על מה הייתה בכלל הבעיה, או כאילו מה הבעיה הזאת ולמה זה בכלל רלוונטי לעוד מנהלי ומנהלות מוצר? בטח, אז כשאני הגעתי בגדול הכניסו אותי לעולם ה-CX, רו תקשיב, אנחנו רוצים להביא צ'אט בוט. AI, באזוורד בעולם היום. צ'אט בוט ו-AI. מוצדק, באזוורד מוצדק, אבל כשאני הגעתי היה לנו צ'אט שהוא לא בוט. עכשיו למי שלא מבין מה שזה אומר בעצם שאתה פונה לצ'אט, וישר זורקים אותך לנציג אנושי שעוזר לך. אבל המחשבה הייתה שצ'אט בוט יכול בעצם לעזור ליוזרים בזמן תגובה מיידי, נכון? כאילו אם אתה שואל שאלה ובוט עונה לך, לעומת אם אתה שואל שאלה, מחכה לדבר עם בן אדם, להסביר לו וכן הל וכן הל . אז זאת הייתה נקודת המחשבה, ונקודת ההתחלה שלנו הייתה באיזשהו מקום בתוך המוצר, שנקרא Help Center. כל אחד יכול לדמיין שהוא צריך עזרה באיזשהו מוצר שהוא משתמש בו, יש בדרך כלל תפריט גדול כזה עם מיליון ואחת אפשרויות, אחת מהן איפשהו מתחבא קונטקטס, אצלנו הקונטקטס דווקא במקום די בולט, ושם רו בואו נכניס את הצ'אט בוט, ובעצם משם הסיפור התחיל להתגלגל כאילו עם ההתמ שלו. אוקיי, אני אגידת ב ת בנושא הזה של כשיוזר צריך עזרה, ואז איך אנחנו עוזרים לו כמה שיותר מהר, לי זה ישר הדליק כזה רגע נורא בראש, של כזה רגע, איך בכלל מודדים שעזרנו ליוזר או שלא עזרנו לו? אז זה שאלה מעולה, המטריקות ב ת בעולם ה-CX הם מטריקות אקספיריאנסיות נקרא לזה. מה הכוונה אקספיריאנסיות? זאת אומרת שאיך היוזר בעצם חווה את השירות שהוא מקבל, איך היוזר חווה את חוויית התמיכה עצמה, והמטריקה הנורסטארית בעולם הזה נקראת בעצם קונטיינמנט.

קונטיינמנט, תחשבו על המילה קונטיינד מאנגלית, שזה אומר שאתה תחום, או נשארת סגור בתוך העולם שמציעים לך, וקונטיינמנט זה יוזרים שהשתמשו, במקרה שלנו בצ'טבוט, אפשר לקחת את זה לכל סלף סרוויס ריסורס, ולאחר מכן לא הגיעו או לא ביקשו להגיע יותר נכון לנציג אנושי. אוקיי, אז בעצם זה אחוז, זה אחוז? כן, זה אחוז, אז המונה הוא בעצם היוזרים שהשתמשו בכלי שלך ולא היו צריכים להגיע לנציג, אז ה-CISAT שלך ירד והפוך, אם אני מאפשר לך הכי בקלות בעולם להגיע לנציג בלי להציע לך כמעט כלום, אתה תהיה מאוד מבסוט בהנחה שהנציג עונה מהר, בסדר? ונכון. ונכון, אבל הקונטיינמנט ירד, אז זה איזשהו משחק לימבוק כזה שהרבה פעמים משחקים, ב ת אפשר לגרום להם לזוז ביחד אם עושים דברים בצורה מאוד מאוד רגישה ונכונה, ולכיוון הזה הלכנו, זאת אומרת לא להתפשר על CISAT מצד אחד, כי שוב, הכל לפני זה היה ישירות ל-AGENTים, ומצד שני גם להכניס קונטיינמנט מאוד מאוד גבוה, מתוך הבנה שזה עוזר ליוזרים הרבה יותר מהר, כשהם מדברים עם הבוט ולא מחכים לבן אדם. אוקיי, ואיפה הייתם כשהתחלתם רגע את כל התהליך הזה? אז קונטיינמנט היה 0% כי לא היה… כי הכל היה ישירות. הכל היה ישירות לאייג'נט, היו SLA מסוימים שהיו לנו לגבי זמן הג למענה לנציג, יש אגב הבדלים גם בצ'אנלים בין אימייל לצ'אט, שוב, בלי עולם הבוט, זאת אומרת שאתה פונה באימייל או פונה בצ'אט, ה-SLA שלנו הם מאוד מאוד שונים, ברמת כמה דקות מול כמה שעות, בסדר? רק שנבין את סדרי הגודל, ולא ידענו לאן לכוון גם ברמת הקונטיינמנט, שזו אגב בעיה, אני חושב שהרבה מנהלי מוצר יכולים להזדהות איתה, אתה נכנס לפרויקט, אתה מתחיל פרויקט מאפס, אתה לא יורש אותו, משפר אותו. מה הבייסליין כאילו, מאיפה אני מתחיל, מה אני עושה? בהקשר הזה אני אגיד שפרק שהקלטנו עם דוד ברסם בדיוק דיבר על איך אנחנו שמים בייסליין למטריקות, ונר לי ממש ממליץ לשמוע לכל מי שנתקע באתגר הזה. אז תומר, אני לא יודע להגיע רגע עם בייסליין. אז מה שעשינו זה, השתמשנו במיקום שהיה לצ'אט הקודם, שוב צ'אט שהוא לא בוט, שזה דיברנו מקודם על החלונים ה-80 אפשרויות, שאחד מהם זה ליצור קשר, נשים שם את הצ'אט בוט, נר מה קורה. ומשם גזרנו את הבייסליין שלנו, זאת אומרת ברגע ששמנו שם כמעט בלי מ ץ, שאני אומר בלי מ ץ, היה הרבה מ ץ פיתוחי, אבל בלי מ ץ של ג'רני, של יוזר, ולחשוב על מה הוא חווה, ראינו את קונטיינמנט מסוים, ו רנו אוקיי, והוא היה די יציב, רנו זה הבייסליין, ומפה אנחנו מתחילים לעבוד על להרים את הבייסליין למעלה. מעולה, אז אם אני מבין נכון, עשיתם רגע איזה משהו כזה יחסית נאיבי, כדי לייצר בייסליין, שמתם את זה בחוץ, וגיליתם שאחוז ההכלה שלכם, הקונטיינמנט הזה היה מה? הוא היה באזור ה-45 אחוז, שזה אגב הרבה מעל למה שציפינו בהתחלה, אף אחד לא תשאיר לעצמו שזה מה שיהיה, אני כן אגיד שמאוד קל להגיע לנציג, זאת אומרת לא רימינו בקונטיינמנט שהקשה להגיע לנציג, אז כביכול הוא מנופח, אבל עדיין אנחנו אנשים רעבים, כולנו להצלחה, וכל הזמן חשבנו איך אנחנו בעצם יכולים למנף את זה עוד יותר כלפי מעלה. מעולה, אז אני רגע רוצה לעצור פה, בעצם אנחנו מבינים שאנחנו רוצים לפתור בעיה, שבו לא כל יוזר יכול לקבל את המענה האופטימלי ומהר, אנחנו יוצאים למשימה שבה אנחנו רוצים לעזור ליוזרים, לעזור לעצמם, איך אנחנו יכולים לעשות את זה? אנחנו יכולים לעשות את זה עם צ'טבוט, ואנחנו נמצאים בנקודה שבו הגדרנו בייסליין, מצאנו שאנחנו מגיעים לאחוז החלה בעזרה יחסית נאיבית של צ'טבוט, אנחנו מגיעים לאיזשהו מספר של 45 אחוז, ומכאן עכשיו אנחנו שואלים את עצמנו, איך אנחנו יכולים לוודא שאנחנו עוזרים ליוזרים ב ת איפה שהם צריכים? אז בוא תעזור לי רגע להבין מה השלב הבא. אז השלב הבא היה, קודם כל אנחנו עשינו QA לכל אורך הדרך, ב ת לוודא, הנקודה האחרונה ש רת היא מאוד קריטית, לוודא שאנחנו עוזרים ליוזרים, שהן בגים, הן תקלות, קל להם ב ת להגיע, וברגע שוולדאצנו את זה, וווידאנו שזה נכון, אז רנו אוקיי, איך אנחנו ב ת יכולים להעלות את הקונטיינמנט? כי זה לא גזרה משמיים, 45 אחוז, גם לא 50, גם לא 60, הגענו למספרים אפילו יותר,

והתחלנו לחשוב על איפה היוזר ב ת פוגש אותנו, ואיפה אולי הוא היה רוצה לפגוש אותנו. ועל הפער הזה בין איפה שהוא היה מצפה לעזרה, לבין אם הוא היה צריך להת ץ להגיע אליה. ושם התחלנו לזהות כל מיני פאטרנים שעזרו לנו להעלות את הקונטיינמנט ולעזור ליוזרים. בוא נעשה על זה זום אין. מה זה אומר? איפה שהם מצפים ואיפה שהם רוצים? אז דיברנו מקודם על החלון הזה שאפילו אתה רת שכולכם מכירים, כל מי שמאזין, שיש איפשהו במוצר שזה לא שלי ולוחצים. חצר אחורית. כן, איזה חצר אחורית כזאת עם כל מיני דברים ששמים שמה. משם התחלנו, אבל כמו שזה חצר אחורית בשבילנו, זה גם חצר אחורית בשביל יוזרים. ומה שאנחנו הבנו זה שאוקיי, איך היוזר מגיע לשמה, הג'רני שהוא עובר לפני זה. עכשיו, מה שזיהינו שם ספציפית זה שיוזרים שצריכים תמיכה במאנדיי, אני מניח שזה נכון להרבה מאוד מוצרים, הולכים לגוגל. אגב, בעתיד יכול להיות שהם ילכו ל-GPT או לכל מיני מקומות אחרים, כרגע הם הולכים לגוגל. ואז הם שואלים שאלה בגוגל, מוצאים תשובה לשאלה שלהם בגוגל. בגוגל, ישירות שמה, בכלל לא במוצר. כן, זה חצר אחורית, לא בפלטפורמה, לא במוצר, מוצאים תשובה בגוגל, או שהם קוראים בגוגל והולכים לדרכם, שאגב, מבחינתי זה אחלה כי גוגל עזר להם, אז מבחינת מבט של היוזר זה אחלה, או שהם רוצים לדעת קצת יותר והם לוחצים על הלינק. ברגע שהם לוחצים על הלינק, הם נוחתים במה שאנחנו קוראים knowledge base, חברות אחרות קוראות לו FAQs או Help Center, שזה אזור הרבה יותר מעמיק, זאת אומרת, זו תשובה לא בתמצות, שמפרטת ממש איך לעבוד עם הפלטפורמה, מה לעשות, איך לעשות וכן הל והאזור הזה הוא לא מה שדיברתי עליו מקודם, החצר האחורית, זה אזור שהוא קצת יותר shiny הייתי קורא לזה, קצת יותר ב ת עם המון כוונה ומחשבה לעזור ליוזרים, אבל אין בו צ'אט בוט, לפחות כשאנחנו הגענו. אני חושב שזה לא רק שאין בו צ'אט בוט, הוא בכלל לא במוצר. נכון, זה נקודה מעולה, טכנית הוא מחוץ למוצר, מה שזה אומר זה שאין בו הרבה ריסורסים שיש למוצר, הצ'אט בוט זה אחד מהם, כל מיני דרכים אחרות ליצור איתנו קשר, אנחנו לא בהכרח יודעים תמיד, לא ידענו בהתחלה מי היוזר, אם מבקר, האם זה בכלל יוזר. זה יכול להיות אנונימי לגמרי, מישהו שחיפש, מתחרה שרוצה ללמוד על הפיצ'ר שלך. לגמרי, כל אחד יכול בעצם להיכנס לעמודים האלה, ואז משם התחלנו לטוות בעצם סוג של רודמפוק, איך אנחנו, א', מבלדצים את מה ש רתי עכשיו, כי לך תעקוב אחרי דאטה שאתה לא יודע אפילו מי היוזר ואיך נכנסים, אז בנינו כל מיני תשתיות כדי לדעת מי נכנס לאזורים האלה, האם הם יוזרים או לא יוזרים, ודבר שאני חיברנו את כל זה בעצם לצריכת הספורט של היוזרים, כמה פתחו טיק את אחרי שביקרו, לפני שביקרו וכן הל והגענו למסקנה שהיוזרים, הג'רני שתיארתי הוא מאוד מאוד קוהרנטי אצל הרבה מאוד יוזרים, הולכים לגוגל, נכנסים לנולדג'בייס, בנולדג'בייס מקבלים FAQ מאוד מפורט וארוך עם וידאויים, ומשם אחרי זה הם חוזרים בחזרה במקרה הטוב לתוך המוצר, ו רנו אוקיי, אם הם חוזרים למוצר ואז במוצר מבקשים צ'אט בוט, למה הם צריכים לעבור את כל הסיפור הזה? הם חזרו לתוך המוצר כדי לפתוח את הצ'אט בוט כי זה בתוך המוצר. נכון, כי זה בתוך המוצר וכי אם היו צריכים השלמה של משהו או כי המ ר ארוך מדי ו… איך גיליתם את זה בכלל? לפי אנליטיקות, יש לנו אנליסטים מדהימים פה בחברה, ועזרו לנו בעצם לראות, לנפלח את כל הפאטרן של היוזרים, אנחנו מדברים על מאות אלפי ויזיטס בנולדג'בייס בחודש, באפרלימית של המאות אלפי, ובגדול הפאטרנים שם כשזה חוק המספרים הגדולים, הם די ברורים בהיבטים האלה, אז היה מ ץ אנליטי מאוד מאוד גדול לזהות את זה, לעקוב אחריהם לתוך הפלטפורמה, לראות מה הם עושים בפלטפורמה, לחבר אגב יצירת טיקטים גם אחורה, לראות אם הם עברו שם או לא, אני כן אגיד שיש אינסוף לאנליטיקה, באיזשהו שלב עשינו קט ו רנו אוקיי, בואו נלך, נטמיע משהו, נעשה טסט, נר מה קורה, ותכף נגיע לאזור הזה. אוקיי, אבל ב ת זיהיתם בסוף שהיוזר ג'רני דרך דאטה, מעניין אותי להבין רגע איך בעצם זיהיתם שזה אותו יוזר שעובר את כל הג'רני הזה, אבל זיהיתם רגע שהיוזר, הוא נמצא בתוך המוצר, יש לו שאלה על מה שהוא הולך לעשות, הוא יוצא לגוגל, הוא מחפש את השאלה, אחרי שהוא מחפש את השאלה הוא נכנס לנולדג'בייס כלשהו, מוצא תשובה או לא מוצא תשובה, חוזר למוצר, פותח שם מהצ'טבוט, זה אם אני מבין את הפלואו. נכון, ויש גם אגב יוזרים שחזרו למוצר ולא פתחו צ'טבוט, ואז תמיד אתה אומר אוקיי, אני יכול לעזור גם, חלק מהם פתרו לבד, חלק מהם אני יכול לעזור להם, ש רתי מקודם שעשינו קט לאנליטיקה, אפשר לפרק את זה עוד, האם הם עזרו לעצמם, האם הם יצרו את המ ר שהם קראו, שם עשינו קט ו רנו, גם אנחנו רוצים כל התנחה שיש יוזרים שמתאיפים בדרך, אני קורא לזה, חזרו לתוך המוצר וכבר לא פתחו את האלפ סנטר ולא זה.

קיבלו נוטיפיקציה ועברו על היום שלהם, אבל איך זיהיתם ב ת שזה אותו יוזרים בג'רני הזה? זה נשמע לי מעניין. אז בנינו בעצם פייפ דרך, כשאני אומר פייפ הכוונה לאיזשהו טרקינג אחרי היוזרים שלנו, לדעת מי מחובר למערכת, לאחר מכן מפתח טאב חדש ב-knowledge base, מה ש רתי מקודם, האזור של המ רים מחוץ לפלטפורמה, וזה אפשר לנו בעצם לעקוב אחריהם לכל אורך הדרך, אפילו הוספנו איבנטים לתוך ה-knowledge base כדי שנדע על מה הם לוחצים שם, איזה מ רים הם היו, זאת אומרת, לתפור את כל הסיפור הזה בחזרה, כן יוזר יכול לפנות מאינקוגניטו או מבראוזר אחר, יש כאילו workarounds, אבל זה ממש edge cases שבפרטו, כאילו אין בכלל מה להתייחס אליהם. בשביל הוולידציה ברור לי, אז אתם מבינים שבעצם היוזרים משתמשים בצ'טבוט, ומצד שני משתמשים ב-knowledge base, והם עושים את המעבר הזה בעצמם. נכון, ושוב, יש את אלה שלא משתמשים בצ'טבוט, רק השתמשו ב-knowledge base, ואז איך אתה מביא אותם להשתמש בצ'טבוט. אוקיי, אז מה עושים? אז מה שעשינו זה, בזכות זה שאנחנו יודעים שהם יוזרים, התחלנו להנגיש את הצ'טבוט ב-knowledge base ליוזרים בלבד כרגע, מכל מיני שיקולים אופרטיביים גם שחשבנו עליהם, ופתחנו פשוט את הצ'טבוט כמו שהוא בתוך מה שתיארתי, אין אפל סנטר בחצר האחורית, פתחנו אותו בהקלקה ישירה ב-knowledge base, יש כפתור help קטן למטה, כל מי שיוזר של מנדי ומאזין יכול להיכנס ל-knowledge base ולראות את זה ממש שם, והצ'טבוט נפתח באופן אוטומטי. ומה שראינו זה שיפור ממש פילי באחוזי קונטיינמנט, וקונסיסטנטים מאוד, זאת אומרת זה פתוח כבר כמה חודשים, מ-45% לאזורי ה-70-75%. וואו, איזה קפיצה. כן, זה קפיצה מטורפת. ההיפותזות שיש לנו מאחורי הקפיצה הזאת, היא דבר ראשון שהצ'טבוט שם הוא בעצם כלי משלים לתוכן, זאת אומרת יש לך מ ר מאוד מאוד ארוך וצ'ט מאוד מאוד מצומצט. וכשאתה קורא את המ ר ומדבר עם הצ'ט, זה קצת כמו לשאול איזה חבר על כל מיני דברים שאתה פחות מבין, זה עובד מעולה כשזה כלי משלים. כשאתה בתוך… כן, זה כמו קרי מודרכת גם, השאלות שראינו הן שאלות יותר מדויקות למ רים. מצד שני, כשזה בחצר האחורית, אין לך… זאת אומרת, היוזר עם המוצר מולו, לא עם ה-FAQ המאוד מאוד ארוך, והיוזר לא ב ת מבין עד הסוף את התשובות, יודע איך להתייחס אליה. אז זאת היפותזה אחת שהייתה לנו, והיא וולדזה אגב אחרי זה, זאת אומרת ראינו שזה קורה בעוד אנטרי פוינט שפתחנו לצ'טבוט. החלק השני, שהוא גם מאוד מעניין, זה שיוזרים פחות עייפים. זאת אומרת, אם זה בחצר האחורית, כבר כשהגעת וזה, תן לי לדבר עם בן אדם. כולם בטוח מזדהים עם זה. לא רוצה בוט, תן לי לדבר עם מישהו, חיפשתי בעצמי, לא מצאתי, כן מצאתי. שחרר אותי. שחרר אותי, תן לי מישהו. וכמו ש רתי, אנחנו עושים את זה מאוד קל להגיע לבן אדם, אז זה משפיע על הקונטיינמנט. אבל ברגע שאתה פוגש את היוזר מאוד מוקדם, תחשבו שאתם רצים מראטון ואתה בהתחלה, אז יש הרבה יותר סיכוי שיהיה לו את האנרגיות לעבוד עם הצ'ט, והצ'ט בסוף כשיש אנרגיות לעבוד איתו, הוא נותן עבודה טובה. אז זה גם עוד משהו שלמדנו, ששוב, לפגוש את היוזר, דיברנו על זה בהתחלה, לפגוש את היוזר איפשהו ב ת צריך, ולא לתת לו להתאייף ולהזיע עד שהוא מגיע אלינו בסוף. אוקיי. בעצם אם אני מבין נכון, אז רק בעצם העובדה של קונטקסט, זאת אומרת, עצם העובדה ששמתם את זה במקום הנכון, בזמן הנכון, זה כמעט הכפיל את המטריקה. נכון. כן, זה נשמע עזוי, נכון? כן, זה נשמע כאילו, וואו, איך זה לא עלה רק ב-10 אחוז? אני גם כשראיתי את זה, אגב, 10 אחוז זה מעניין, כי זה הסטנדרט שלי תמיד, אגב, זה כאילו כשמתפרים אומרים אני יעלה ב-10 אחוז, לא חתמתי על כלום לפני, רנו נר מה יקרה, הנתון הזה ב ת מטורף, ובדקנו ובדקנו ובדקנו, כי זה נשמע עזוי, וכן, כמו שמעתי, זה גם קונסיסטנטי כבר כמה חודשים, שזה הנתון. מדהים, אז כאילו מה המחשבות מכאן, כאילו איך אתה מסתכל על זה עכשיו? אז זהו, אז אז רנו, אוקיי, בואו נשים את זה בעוד מקומות שסביר להניח שהיוזר מחפש בהם עזרה, אז אני חוזר לעניין של גוגל נולג'בייס, אנחנו יודעים שבנולג'בייס יוזרים מחפשים עזרה, בואו נפגוש אותם שמה. הכנסנו אותו בעוד מקומות, פרייסינג פייג' זה דוגמה שיכולה להיות רלוונטית, אני חושב להרבה מהמאזינים גם, איזה תוכנית אני צריך, על מה אני משלם, על מה אני לא משלם, וואלה, בואו נשים צ'אט. הצ'אט יגיד לך מה יש בכל מקום, ראינו שם גם קונטיינמנט, הכל באותו אזור של 70-75 אחוז, אז הפרייסינג פייג' היה הדבר הבא שעשינו, וממש עכשיו השקנו טסט בחנות האוטומציות במאנדיי, מניח שהרוב מכירים, אבל למי שלא, חנות האוטומציות זה בעצם המקום שבו אתה בתוך מאנדיי בונה פקודה למערכת, שאם עכשיו הליד שלי עבר משלב של, אני לא בטוח לגביו, לשלב של לסגור עסקה, תוציא אימייל למנהל שידבר איתו, בסדר? זה אוטומציה. תהליך מאוד…

מאוד חשוב בתוך מנדיי. מצד שני, לא תמיד הכי קל ליוזרים להבין מה קורה שם, אבל כשמבינים זה די פשוט, וזה מקום מדהים לצ'ט להיות בו, כי בסוף התהליך הוא לא מסובך. שמנו שם את הצ'טבוט, ובוא נגיד שעלינו מעל ה-75% גם של הקונטיינמנט שם, אז אנחנו ב ת לימדים יותר ויותר שככל שהצ'טבוט נמצא בקונטקסטואליזציה למסע של היוזר, פשוט מביא תוצאות הרבה יותר טובות. ובסוף תוצאות שאני אומר זה לא רק לחברה, בסוף זה מדבר בשם עצמו. היוזרים פשוט חווים חוויה הרבה הרבה יותר טובה. מה אנחנו עושים עם יוזרים שהם נתקעו אבל עוד לא מודים בזה? עוד לא פתחו את הצ'טבוט או לא פתחו צעי תקשורת, איך ניגשים לזה? אז זה הפיק חדש שלם שאנחנו עכשיו עובדים עליו, אז יכול להיות שניפגש שוב עוד כמה חודשים. אני אגיד שבגדול גם צ'טבוט, יש אנשים שנרתעים מצ'טבוטים, אז אנחנו גם חושבים על ההיבט הזה. למה אגב? לדעתי, לא חקרנו את זה עד הסוף, אבל מה שאני קראתי זה הרבה פסיכולוגי. צ'ט, הוא יבלבל לי, הוא יגיד לי, אני לא רוצה, אני רוצה לדבר עם בן אדם, כמו ש רתי מקודם, או אני רוצה לקרוא לבד. וממש זה ברמת הפריימינג, זאת אומרת משהו שנר כמו צ'ט גורם, כאילו המסגרת הזאת של הצ'ט, גורמת ליוזרים הרבה פעמים להירתם וללחוץ על זה, או מה שראינו ווילדסנו במחקרים, זה הלסט ריזורט של היוזר. זאת אומרת, היוזר מגדיר את זה כמוצא האחרון שאני אלך אליו הרבה מאוד פעמים. אז מה שאנחנו מנסים לעשות, זה קודם כל לתפוס את היוזרים, ברגע שאנחנו כבר יודעים שיש להם בעיה. סתם לדוגמה, ניסית, כל אחד, ניסיתם לשלם על משהו, והכרטיס השראי לא עבר. אני יודע שיש לך בעיה, אני יודע גם שאתה רוצה לשלם, אגב זה אזור מאוד רגיש, זאת אומרת זה עניין של כולם שזה יעבוד כמו שצריך. למה לחכות שעכשיו תפתח צ'ט מהכפתור בצד ימין? אולי אפשר להטריג לך צ'ט באופן יזום? אם אנשים לא כל כך אוהבים צ'טים, אולי אפשר להטריג הודעה על גבי אזור התשלום של תנסה, לא רק שזה לא עבד, אלא עם הפתרון. בסוף אנחנו יודעים מה הבעיה ומאיפה היא מגיעה, ואנחנו חושבים על הדרכי ההנגשה האלה. יש עוד כמה אזורים כאלה שיש לנו חיוויים מאוד ברור, ואנחנו רוצים להיכנס אליהם גם. אז נגעת בזה ב ת בנושא הזה של צ'ט גורם לציפיות מסוימות. זה די מרתק בעיניי, אז אתה יכול כזה קצת יותר להיכנס לזה? כן, אז אני חושב שיוזרים, בני אדם באופן כללי, יוזרים הם בני אדם. גם יוזרים הם בני אדם. גם יוזרים הם בני אדם, וגם בני אדם הם יוזרים. הרבה פעמים הצ'ט יוצר איזושהי קונספציה אצלם, שלא רוצים לדבר איתי. זאת אומרת, אני עכשיו פונה למאנדי, לאובר, לא משנה מה, לא רוצים לדבר איתי. אז הם בונים לי איזה משהו, שאני צא את התשובות, ואם אני לא צא, לא ממש אכפת להם. יש חברות ב ת, ואני באתי מעולם הריטל, וזה קורה הרבה אגב בעולם הריטל סרוויסס, שעוד מאוד מקשות עלי להגיע לבן אדם. ואז כשאתה נכנס לצ'ט, הוא אומר לך, אוקיי, מה אתה צריך? אתה מקליד לו הודעה מאוד ארוכה בדרך כלל בהתחלה. לא הבנתי, כן הבנתי, גם אם הוא הבין, הוא שואל איזה פולו-אפ מאוד מאוד נקודתי. אומר לך, הרבה פעמים תבחר אחד, שתיים, שלוש, ארבע או חמש מבין האופציות שאני נותן לך. ובסוף, אחרי שאתה בוחר חמש וארבע, וחזרת לתפריט הראשי, ועוד פעם הכנסת את ההודעה וזה, הוא אומר לך, מצטערים, האייג'נטים שלנו עכשיו לא עובדים, או תחזור מחר. אז אני חושב שזה יוצר אצל היוזרים חשש מאוד גדול בכלל, להיכנס לתוך התהליך הזה. מה עכשיו, אני אין לי כוח. אז האתגר בעולם ב ת הצ'ט בוטים והג'נרטיבי, שזה ב ת כבר לא ככה, זאת אומרת, יש יכולות מטורפות שם בחוץ. יש חברות גם שיודעות לעשות זה כמו שצריך, ואז איך אתה גורם ליוזר להבין שהוא יקבל ערך ממה שאתה מנגיש לו, ולא יסבול במרכאות, כמו שהוא חושב בדרך לדד-אנד. אני חושב שזו נקודה מצוינת, זה בדיוק הנחזור לך תוך שלושה ימים עסקים, ואתה יודע שאף אחד לא יתקשר אליך. ואני חושב שגם בנקודה הזאת, שווה לגעת בזה שכאילו, היוזרים לא רוצים להיכנס להלפסנטר. הם לא רוצים הלפ. כן, נכון. זה גם נכון, יוזרים זה מסע בשבילם. זה פשוט לקחת, זה כאילו אתה לוקח את הדברים שלך, אתה ב צע, אתה בונה, יוצר משהו, רוצה לשלם, בוחר מוצר ברית, לא יודע, כל אחד ומה שהוא עושה, ופתאום אתה נזרק מנטלית או קוגנטיבית ממה שעשית, לעולם אחר, שבו אתה צריך להבין בכלל איך לצרוך עזרה, על מה אני לוחץ, לאן אני מגיע, למי אני מגיע. קיבלת את התשובה, אתה צריך עוד פעם לקחת את כל העולם הקוגנטיבי חזרה, למה שהיית מקודם, ולחבר את הכל ביחד. זה לא פשוט, זה לדעתי בעיקר לא פשוט במערכות שאתה עובד המון back and forth, זאת אומרת, זה לא, דיברתי על לבצע הזמנה סבבה, ביצעת הזמנה, תודה רבה. אבל כשאתה בונה משהו, כשאתה עובד על דברים, לעשות איזה over and over and over again, זה מאוד מאוד מתיש. מדהים, בואו נדבר קצת על טרייד אופים.

אתה יכול לספר קצת על הטריידופים בעולם הזה? כן, אז בגדול הטריידופים שיש, אני חושב בכל מוצר, בעיקר במוצרים שנרטיביים, הרבה פעמים זה טריידוף בין החוזק של האלגוריתם לחוזק של המוצר. מה זה אומר? האלגוריתם זה בגדול כמה טוב המודל. אם אני עכשיו שואל שאלה, כמה הוא יודע לתת לי תשובה, להבין מה אני שואל, זה הצד הראשון בעולמות הרג, והצד השני זה לתת לי תשובה נכונה. הצד השני של זה זה איך המוצר נר . זאת אומרת, הוא עובד טוב, הוא נותן לי תשובות נכונות, כמה קל להטריג אותו, כמה קל להשתמש בו, כמה קל לעבוד איתו לצד כלי, האם אני יכול לגרור אותו, האם אני יכול להזיז אותו, האם אני יכול לעשות עליו טסטים. זאת אומרת, כל מה שהוא לא הקור מודל שעוזר ליוזרים. אני חושב אגב שבעולמות ה-AI המון המון המון אנשים מדברים ב ת על המודלים ועל היכולות, הרבה פחות אנשים מדברים על הטריידופים מסביב. זאת אומרת, בדיוק מה שדיברתי עכשיו, לחשוב על חוויית היוזר, לצורך העניין אם יש לנו מודל מאוד טוב, אבל אני לא יכול להטריג אותו בצורה אקטיבית ליוזר, או אני לא יכול לשים בדיוק את הקול טו אקשון, את הכפתור שאני רוצה, כדי שהיוזר יבין מה קורה שם, אז זה בעיה, זה מגביל אותי מאוד. אז הלכנו ב ת יותר לכיוון המודל החזק, גם מתוך, שוב, באנו ממקום שלא היה צ'אט רגיל, לא היה שום אלגוריתם מראש, רצינו לראות שזה ב ת עוזר, זאת הייתה המחשבה, ומשם לאט לאט אנחנו מפתחים את זה יותר ויותר ויותר, גם לכיוונים שנוכל לשחק עם המוצר, להזיז אותו, לעשות אותו אדפטיבי, זה עולם שלם בפני עצמו, אבל במודע כשנכנסנו ידענו שיהיו לנו אתגרים בעולם הזה. ומה נגיד ניסיתם שלא עבד או משהו שעדיין לא עובד? קודם כל A-B טסטינג, שזה פיינט פוינט מאוד מאוד חשוב, אין בכלי כרגע אפשרות לעשות A-B טסטינג. כשאנחנו חושבים על A-B טסטינג, יש לזה כמה רמות. אנחנו כן יכולים לפלטר יוזרים 50-50, רנדומלי לחלוטין, בסדר? אז את זה יש. אבל אם אני רוצה, נגיד, שרק חשבונות משלמים בסדר גודל של X, או לעשות עליהם טסט שחצי מהם יהיו עם צ'אט כזה וחצי עם צ'אט אחר, אין לנו כרגע את היכולת לעשות את זה. יש לנו דרכים שיצירתיות מאוד שאנחנו מנסים לעקוף את זה, אבל זה מגבלה שלקחנו אותה, כמו ש רתי, בחשבון מראש. בסוף זה איזשהו סוג של פרטו. זאת אומרת, איך אני מביא כלי שיעזור לכמה שיותר יוזרים, גם אם יש לי בליינד ספוטים מסוימים שאני יכול לחיות איתם. אז על ה-A-B טסטינג התפשרנו בהיבט הזה. כן גידרנו את עצמנו עם היכולת, מה ש רתי מקודם, לעשות 50-50 באופן גנרי או פרי פוסט לצורך העניין, שיש לו את התחלואות שלו, אבל הוא גם עוזר במקרים מסוימים, וככה בעצם הצלחנו להתגבר על זה. מעולה. אם אני מחזיר ככה את רונן שמגיע לבנות צ'טבוט כשיש רק צ'ט ואין בוט, וצריך לעזור ליוזרים לעזור לעצמם, מה כזה למידות מעניינות שהיו לך מהדרך או דברים שהיית עושה אחרת? אני חושב שבעיקר, בטח כולם אומרים את זה, אני יודע גם שהרבה אומרים את זה, מה שמעתי, לשחרר יותר מהר, אני חושב שבעולם ה-AI זה בעיקר נכון, כי בגדול אתה בא, מביאים לך מוצר, וזה בלק בוקס. אין לך מושג איך הוא עובד, אני אומר שזה כמו נקניקיה, בסדר? אתה לא יודע איך מכינים אותה, אומרים לך, סמוך עליי, זה טעים, תן לי למכור, וזה המוצר שלך, בסוף אם משהו שם לא עובד, וגם יש לי איזה השלכות אופרטיביות, פתאום מלא שיחות, והאייג'נטים לא מוכנים, ויש קרייסיס ולא יודע מה, והיה לי נורא נורא קשה לחיות עם זה, שאני לא שולט במודל עד הסוף. אני כן אגיד שבעולמי הקודם, בוולמארט עבדתי על צ'אט שהוא לא ג'ן AI, והמודל היה שלנו, וידעתי בדיוק איך הוא עובד ומה הוא עושה. השינוי מיינדסט הזה הוא מאוד מאוד קשוח. מצד שני, בסוף רנו יאללה, הולכים על זה מ-0 ל-100, פתחנו אותו לכמה שעות, אגב בשעות מתות יחסית של המוצר, דיברנו על זה שאין A-B טסטינג, אז פתחנו, זה עוד משהו שמפחיד, פתחנו ל-100 אחוז, סגרנו, ראינו כי טוב, וזה בעצם נתן את כל הפוש והדרך להגיד אוקיי, סבבה, אני סומך על זה. בדיעבד, חבל שלא עשינו את זה יותר מוקדם, אבל זה לקחים ב ת לפעם הב . אני ממש מסכים, אני חושב שב ת לשחרר רגע, לספוג אפילו הפסד לזמן קצר, לראות רגע מה משתנה, זה נותן סיגנל מטורף קדימה, וב ת המהירות הזאת שאתה מדבר עליה, היא נכונה ב ת שבעתיים, כשבעצם אין לך את השליטה המל בעצם על התוצאות. עוד כמה דברים שאני לוקח כזה מהפרק, זה קודם כל ב ת כל פעם זה חוזר, אבל להבין את היוזר ג'רני בעולם ה יתי, לתת, כאילו היוזר ג'רני זה לא מה שקורה בתוך המוצר, זה מה שקורה ליוזרים בעולם ה יתי. הפרודקט ג'רני זה כל הכפתורים שהם לוחצים בפנים, אבל היוזר ג'רני שהם הולכים לגוגל ומחפשים שמה, רק זה מאפשר להבין את הפיצוח. הדבר השני הוא שקונטקסט השקר יכול כמעט להכפיל את המטר.

אולי להגדיל בסרות אחוזים את המטריקה אם אתם עושים בדיוק את אותו דבר אבל בקונטקסט הנכון, והדבר השלישי שלקחתי שהיה לי קצת מיינד בלואינג זה הנושא הזה של הפריימינג של איך המוצר נר משפיע על הטרסט או על הציפיות. אם אני עושה צ'ט באבל זה משפיע על הציפיות של היוזרים שלי למה הם הולכים לקבל, והאם הם בכלל השתמשו וכמה הם יסמכו על זה. ואני פתאום חושב על כל מיני חוויות במוצר שלי ואני אומר רגע, איך שהנראות שלהם משפיעה על הטרסט שהם מייצרים וזו מחשבה שעד עכשיו לא הייתה לי. אז תודה רבה רונן. תודה רבה רן. ותודה לכל המאזינים והמאזינות ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה.