פרודקטיבי 54: איך מתרגמים תוצאות AI מעולות לחווית משתמש מצויינת?

אני חושב שב ת תוצ מעולה בקונטקסט הלא נכון היא לא תוצ מעולה. בדיוק. ואני חושב שבדיוק על זה נדבר, ובא לי שניקח את זה דרך דוגמה.

דוגמה קונקרטית של משהו שאתם מתמודדים איתו, אז אולי בואי תתני לנו קצת צבע ואני אקח דוגמה ונתחיל לפרק אותה לפי רגע תוצ מעולה בעולם ה יתי. סגור. זה בעצם רופא יכול להיות במשמרת ויכול להיות לא במשמרת. כשיש תוצאת AI, הרופא מקבל נוטיפיקציה שעל פניו, זה ב ת הדבר הנכון לעשות. יש פה איזשהו ממצא חשוב, אני רוצה להטריע לו. ואני אגיד שלא יודעת, אני מצפה לראות שהוא מקבל נוטיפיקציה, לוחץ עליה, קוראת מהתוכן את הדבר הרלוונטי ואנחנו רואים שזה לא עובד. עכשיו, אני חושבת שהרבה פעמים הדבר הראשון שאתה רץ לעשות זה לבוא ולהגיד, אוקיי, אולי יש בעיה באלגוריתם. כאילו אולי יש לו בעיות ון עם המערכת, אולי, לא יודעת, אולי אנחנו מתראים על משהו שמבלבל, אולי התוכן לא רגיוני. כאילו האינטואיציה אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב ואז זה הסיבה שהם לא צוחקים בזה, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, ב ת צריך להבין שבעולם הרפו כל טעות היא טעות. כאילו לבוא ולהגיד למישהו משהו, הרבה פעמים זה מאוד מאוד משמעותי. ולבנות המערכות ה ון האלה, ב ת העולם של לעשות איזשהו צ'יינג' מנג'מנט הוא מורכב בעולם הרפו . כן. וכשאנחנו הולכים ומסתכלים על האלגוריתם, אנחנו רואים שאין שם בעיה. כאילו אנחנו לא, זה לא פולס פוזיטיב, זה ב ת, יש לנו צוותים של הרדיולוגים שבודקים את הדברים, כאילו אנחנו, איפה, מה, למה אתה לא עובד? כאילו למה אתה לא אוהב את זה? המודל היה עובד. כן. וגם, אתה יודע, כשעשינו את הדיסקאברי, בסוף הם רצו נוטיפיקציה. אז אני אומרת, אוקיי, אבל יש נוטיפיקציה, יש מודל, מה לא עובד? ואנחנו אומרים, אוקיי, אולי יש בעיות טכניות. ב ת, הדבר הראשון שמתחיל לשאול עליו, אולי אני לא מודיעה עם המטופל הרלוונטי. אולי, כאילו אולי יש לו איזשהו ממצח חשוד, אני רוצה להטריע לו. ואני אגיד שלא יודעת, אני מצפה לראות שהוא מקבל נוטיפיקציה, לוחץ עליה, קוראת מהתוכן את הדבר הרלוונטי, ואנחנו רואים שזה לא עובד. עכשיו, אני חושבת שהרבה פעמים הדבר הראשון שאתה רץ לעשות, זה לבוא ולהגיד, אוקיי, אולי יש בעיה באלגוריתם. כאילו אולי יש לו בעיות ון עם המערכת, אולי, לא יודעת, אולי אנחנו כאילו מתראים על משהו שמבלבל, אולי התוכן לא רגיוני. כאילו האינטואיציה אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב, ואז זה הסיבה שהם לא צוחקים, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, ב ת צריך להבין שבעולם הרפו כל טעות היא טעות. כאילו לבוא ולהגיד למישהו משהו, הרבה פעמים זה מאוד מאוד משמעותי, ולבנות המערכות ה ון האלה, ב ת העולם של לעשות איזשהו צ'יינג' מנג'מנט הוא מורכב בעולם הרפו . כן. וכשאנחנו הולכים ומסתכלים על האלגוריתם, אנחנו רואים שאין שם בעיה. כאילו אנחנו לא, זה לא פולס פוזיטיב, זה ב ת, יש לנו צוותים של הרדיולוגים שבודקים את הדברים, כאילו אנחנו, איפה, מה, למה אתה לא עובד? כאילו למה אתה לא אוהב את זה? המודל היה עובד. כן. וגם, אתה יודע, כשעשינו את הדיסקאברי, בסוף הם רצו נוטיפיקציה. אז אני אומרת, אוקיי, אבל יש נוטיפיקציה, יש מודל, מה לא עובד? ואנחנו אומרים, אוקיי, אולי יש בעיות טכניות. ב ת, הדבר הראשון שמתחיל לשאול עליו, אולי אני לא מודיעה עם המטופל הרלוונטי. אולי כאילו אולי יש לה בעיות ון עם המערכת, אולי, לא יודעת, אולי אנחנו כאילו מתראים על משהו שמבלבל, אולי התוכן לא רגיוני. כאילו האינטואיציה היא אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב, ואז זה הסיבה שהם לא צוחקים, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, ב ת צריך להבין שבעולם הרפו כל טעות היא טעות. כאילו לבוא ולהגיד למישהו משהו, הרבה פעמים זה מאוד מאוד משמעותי, ולבנות המערכות ה ון האלה, ב ת העולם של לעשות איזשהו צ'יינג' מנג'מנט הוא מורכב בעולם הרפו . כן. וכשאנחנו הולכים ומסתכלים על האלגוריתם, אנחנו רואים שאין שם בעיה. כאילו אנחנו לא, זה לא פולס פוזיטיב, זה ב ת, יש לנו צוותים של הרדיולוגים שבודקים את הדברים, כאילו אנחנו, איפה, מה, למה אתה לא עובד? כאילו למה אתה לא אוהב את זה? המודל היה עובד. כן. וגם, אתה יודע, כשעשינו את הדיסקאברי, בסוף הם רצו נוטיפיקציה. אז אני אומרת, אוקיי, אבל יש נוטיפיקציה, יש מודל, מה לא עובד? ואנחנו אומרים, אוקיי, אולי יש בעיות טכניות. ב ת, הדבר הראשון שמתחיל לשאול עליו, אולי אני לא מודיעה עם המטופל הרלוונטי. אולי כאילו אולי יש לו בעיות ון עם המערכת, אולי, לא יודעת, אולי אנחנו כאילו מתראים על משהו שמבלבל, אולי התוכן לא רגיוני. כאילו האינטואיציה אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב, ואז זה הסיבה שהם לא צוחקים בזה, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, ב ת צריך להבין שבעולם הרפו כל טעות היא טעות. כאילו לבוא ולהגיד למישהו משהו, הרבה פעמים זה מאוד מאוד משמעותי, ולבנות המערכות ה ון האלה, ב ת העולם של לעשות איזשהו צ'יינג' מנג'מנט הוא מורכב בעולם הרפו . כן. וכשאנחנו הולכים ומסתכלים על האלגוריתם, אנחנו רואים שאין שם בעיה. כאילו אנחנו לא, זה לא פולס פוזיטיב, זה ב ת, יש לנו צוותים של הרדיולוגים שבודקים את הדברים, כאילו אנחנו, איפה, מה, למה אתה לא עובד? כאילו למה אתה לא אוהב את זה? המודל היה עובד. כן. וגם, אתה יודע, כשעשינו את הדיסקאברי, בסוף הם רצו נוטיפיקציה. אז אני אומרת, אוקיי, אבל יש נוטיפיקציה, יש מודל, מה לא עובד? ואנחנו אומרים, אוקיי, אולי יש בעיות טכניות. ב ת, הדבר הראשון שמתחיל לשאול עליו, אולי אני לא מודיעה עם המטופל הרלוונטי. אולי כאילו אולי יש לו איזשהו ממצח חשוד, אני רוצה להטריע לו. ואני אגיד שלא יודעת, אני מצפה לראות שהוא מקבל נוטיפיקציה, לוחץ עליה, קוראת מהתוכן את הדבר הרלוונטי, ואנחנו רואים שזה לא עובד. עכשיו, אני חושבת שהרבה פעמים הדבר הראשון שאתה רץ לעשות, זה לבוא ולהגיד, אוקיי, אולי יש בעיה באלגוריתם. כאילו אולי יש לו בעיות ון עם המערכת, אולי, לא יודעת, אולי אנחנו כאילו מתראים על משהו שמבלבל, אולי התוכן לא רגיוני. כאילו האינטואיציה אומרת, רגע, אולי אנחנו מייצרים פולס פוזיטיב, ואז זה הסיבה שהם לא צוחקים בזה, כי הם לא סומכים עלינו. בדיוק, כי בסוף, שוב, ב ת צריך להבין שבעולם הרפו כל טעות היא טעות. כאילו לבוא ולהגיד למישהו משהו, הרבה פעמים זה מאוד מאוד משמעותי, ולבנות המערכות ה ון האלה, ב ת העולם של לעשות איזשהו צ'יינג' מנג'מנט הוא מורכב בעולם הרפו . כן. וכשאנחנו הולכים ומסתכלים על האלגוריתם, אנחנו רואים שאין שם בעיה. כאילו אנחנו לא, זה לא פולס פוזיטיב, זה ב ת, יש לנו צוותים של הרדיולוגים שבודקים את הדברים, כאילו אנחנו, איפה, מה, למה אתה לא עובד? כאילו למה אתה לא אוהב את זה? המודל היה עובד. כן. וגם, אתה יודע, כשעשינו את הדיס

גם אחד הדברים שב ת עשו בעידוק, הקימו צוות שנקרא Solution Success, זה צוות שכולו אנשים שהם קליניים, הם היו רובם אחים ואחיות, זה צוות המרכז, כי רוב הלקוחות של העידוק בארצות הברית, שהם מה שנקרא היו יוזרים בסופו של דבר, והם אנשים שנמצאים בשטח עם היוזרים שלנו, הם עושים הדרכות על המוצר, הם עושים זה, אז הרבה פעמים גם שומעים את הפידבק בצורה מאוד גולמית. אני כבר בתור פרודקט, הרבה פעמים הדברים אצלי מעורבבים בראש, ואנחנו עשינו המון המון יוזר טסטינג, גם עם הצוותים שלנו, גם עם יוזרים יתיים, ברמה של איזה שאלות אתה שואל אותם, כי אם תשאל אותם למה אתה לא לוחץ על האנטיפיקציה, אוקיי, זה לפעמים, הרבה פעמים אני אישית מעדיפה לשאלות יותר פתוחות, כאילו מה הייתם מצפה לקבל, מה חסר פה, מה היה עוזר לך להבין אם זה רלוונטי לך או לא, לא יש הרבה פעמים להגיד למה אתה לא לוחץ, כי זה גם מכווין אותם באיזושהי צורה. אז אני חושבת שעשינו הרבה עבודה כזאת, ואוספנו גם הרבה עבודה של דאטה, בסופו של דבר להבין, רגע, האם אני מסתכלת על סוגי לקוחות שונים, האם אצלם אני רו דיסטריביושן אחר, ואז לנסות להבין מה הסגמנט הזה שזה עובד, לעומת הסגמנט שזה לא עובד. אולי בסגמנט שזה עובד יש לי בית חולים הרבה יותר קטן, כמות המטופלים היא הרבה יותר קטנה, או שיש לי צוות הרבה יותר קטן, או שהיוזר שיש לי שם, ראש המחלקה, הוא רוצה לדעת הכל גם ככה, אז הוא דווקא שמח מהאירוע. וב ת לרדת גם בדאטה לרזולוציות של, בסוף של להגם תר אוקיי, 50 אחוז לחצו, אוקיי, נחמד, אבל אני צריכה לרדת ליותר לבשר, יותר לעומק. הרבה פעמים אני חושבת שדאטה יכול לספר לך מיליון סיפורים אם אתה בא מאוד עם מיינדסט ספציפי, לעומת, כי אם תגידי לי, אוקיי, תמציאי מסגן כזאת, אני כנר סטטיסטית אצליח לאתר את האירוע. אבל אם אני ב רגע, בואו ננסה לעשות סגמנטציה, בואו ננסה להפיין את הבעיה מכל מיני זוויות, בואו ננסה לתת את זה ליועצים שלנו עם כל מיני שינויים, ונר אם הם חווים משהו אחר. אז אני חושבת שעשינו המון המון תהליך כזה מאוד מאוד איטרטיבי, והמון למידה על תהליכי העבודה בבתי חולים. בסוף אנחנו לא האפליקציה היחידה שיש להם. אנחנו לא האפליקציה היחידה לשלוח נוטיפיקציות. לטוב ולרע אגב, אני חושבת שזה מוסיף לנוטיפיקיישן פטיג, זה שמקבלים עוד נוטיפיקציות על עוד דברים, ולהבין בעצם מה עבד, מה לא עבד. אם הם אומרים לי את האפליקציה הזאת, אני מאוד אוהב. אני אפילו לא מדברת על נוטיפיקציות, את האפליקציה הזאת בתי. מה אתה אוהב בה? מה אתה מתחבר? והרזולוציות האלה, ואתה פתאום מגלה שהליבה זה בכלל לא אלגוריתם. האלגוריתם אין להם בעיה, לא רו הוא לא מדויק, אני לא מ ין בו. הליבה זה תודיע לי כשזה רלוונטי לי, בזמן המתאים לי, עם המידע שאני רוצה לראות. אוקיי, אז אנחנו מתחילים רגע באיזושהי נקודת התחלה, שבו אנחנו אומרים, יש לנו נוטיפיקציות, אנחנו מתחילים על ב ת מקרים חשובים שצריך להטריע להם, ואז אנחנו רואים שלא משתמשים בדבר האינסטינקט הראשון, אולי להאשים את עצמנו, להגיד אוקיי, משהו במוצר שבור. בודקים את המודל, המודל פרפקט. בודקים את החלק הטכני, החלק הטכני פרפקט. אוקיי, בוא נצלול רגע לעולם החיצוני, ואז אנחנו הולכים בשני צירים. ציר א', להבין את הקונטקסט של המשתמשים, איפה הם נמצאים, וב ת לשאול אותם ב ת יותר דברים שהם יותר נקודתיים לקונטקסט של רעש של בית חולים. והדבר השני בדאטה זה לא להסתפק במי לוחץ מי לא לוחץ, אלא להתחיל לעשות סגמנטציה קצת יותר עמוקות כדי לנסות ולזהות אזורים שיכולים להעיד לנו על הדבר הזה. והדבר השלישי שנגעת, זה שהמוצר שלנו אף פעם הוא לא המוצר היחיד בשימוש של המשתמשים שלנו. תמיד הם משתמשים בעוד דברים, והמוצרים השונים משפיעים אחד על השני, וזה שאין לנו גישה לדאטה זה לא אומר שהוא לא קיים במובן הזה. חד משמעית, אני חושבת שהרבה פעמים אנחנו, אתה יודע, אנחנו מתמודדים עם כל מיני בעיות. אני יכולה לתת לך דוגמה אחרת באקוסיסטם של הילדקר, שיש קונספט שנקרא share devices. זה בסוף, יש טלפון של התורן, שהוא מסתובב איתו בבית חולים, במשמרת שלו, ויש כל מיני עניינים של, אם איזה יוזר הוא ור להתחבר לשייר דיבייס, מה הוא ור לראות, מה זה. ולא תמיד אתה צריך להמציא את הגלגל. אנחנו התחלנו ב, אוקיי, הם רוצים פתרון scale-ability, אז שנייה לפני שאני מתחילה להמציא את הגלגל, לעשות את כל ה-discovery, יש שם עוד אפליקציות. נכון. כאילו, אנחנו לא האפליקציה היחידה שמשתמשים בה. אני ממש שואלתם, מה עוד מותקן? יש משהו שאתה אוהב את החוויה שלו? יש משהו שאתה גם לא אוהב את החוויה שלו? כאילו, לפני שאני מתחילה להמציא ולהחשוב ורגולטורית ותהליך שם, לבוא ולהגיד, שנייה, גם אחר כך אני צריכה לדבר עם ה-IT שבתחולים, שכנר אותם, שמה שעשיתי הוא בטוח מספיק. אם אני רגע מבינה מהי יוזר בכלל, ב ת, כמו ש רת, אנחנו לא חיים בחלל ריק. ואני לא מכירה אף אחד מאיתנו שמשתמש רק במשהו אחד. ואני חושבת שהרבה פעמים אם משלבים את הדבר הזה בעבודת ה-discovery, יכול להיות שיהיו דברים שבכלל תחשוב עליהם אחרת. זה נקודה ממש חשובה להדגיש.

הרבה פעמים כשאנחנו בונים את המוצר, אז אנחנו אומרים אוקיי, בוא נסתכל על המתחרים שלנו, ואנחנו נסתכל על המתחרים שמשחקים באותה קטגוריה, אבל המתחרים שלנו הם attention, כאילו, מול מי אני מסתכל, ואז דווקא הקונטקסט יכול לבוא מזאת אפליקציה שדווקא אני ממש אוהב, שהיא ליוסקייס אחר לגמרי, אבל לאותו פרסונה, ופתאום זה פותח לנו את הראש לדרכים אחרות לפתור את הדברים, או לבעיות אחרות שיצופו. אוקיי, אז אנחנו עושים רגע את התהליך הזה, אנחנו מדברים איתם על מוצרים אחרים שהם אוהבים, מוצרים אחרים שהם לא אוהבים, מה אתם רואים בניתוח הזה? אני חושבת שבסוף אתה מבין שיש הרבה משמעות, ללהבין איך נר היומיום של המשתמש. לצורך העניין, יש לי תחילת משמעת, יש לי סוף משמעת, יש לי יוזרים שהם נמצאים ב-On-Call בכלל בבית, הם צריכים להיות במה שאני אקרא לזה דקת קרי וזה לא ב ת דקה, אז הם צריכים להיות תוך X-מן בבית החולים, אבל הם עדיין נחשבים שהם עובדים. יש לי אנשים שאוהבים, עובדים יותר במחשב, ויש לי אנשים שאוהבים, עובדים יותר בטלפון היד. אני לא מבינה שהשואלמה הבעיה שלי הוא יותר מורכב, קודם כל, ואיפה אני תופסת אותם, ומה רלוונטי? זה אגב, יכול להיות גם רלוונטי להניח יש אנשים שנמצאים בסביבה שקטה, ויש אנשים בסביבה רועשת, אם הם נמצאים עכשיו בחדר מיון, ויש אנשים שהנוטיפיקציה צריכה להאיר אותם בלילה, כי הם בכלל בבית, וזה צריך להאיר אותם. כלומר, אפילו הסאונד שלי צריך, זה אני צריכה לחשוב על הדבר הזה. זה לא מספיק הסאונד של הטלפון, מה שנקרא כמו, כולם מכירים את פיקוד העורף וההתרעות שלו, לטוב ולרע, אבל התעוררנו מהם בלילה. כן, זה זכיר. זה זכיר, בדיוק. אז אני אומרת שאפילו להבין את העולם הזה של כאילו, הם מקבלים נוטיפיקציה, באיזה ווליום זה צריך להיות, באיזה שלב זה צריך להיות, אני יכולה להגיד שאפילו חלק מהדיסקאברי גילינו שיש כאלה שהטלפון שלהם נזרוק איפשהו, והם רוצים שזה יתחבר להם לשעון החכם. זה מבחינתם ההיילייט, שהם רוצים שזה… אז אתה ממש מתחיל לאפיין מה האירוע, ואני חושבת שאחד הדברים שב ת הגענו אליו, זה ב ת העולם של מתי הם עובדים. כאילו, אני לא רוצה לקבל, כשאני לא עובד, שזה ירה מאוד הגיונית, אני חושבת שהרבה מאיתנו ישמחו להתנתק, לא יודעת, מהסלק והאימייל שלהם כשהם לא עובדים, ולאחת כמה וכמה, אני אגיד, תחשבו רגע שהצליל של פיקוד העורף ומקפיץ אותך, זה פתאום אתה נמצא בחוף איפשהו, ופתאום שומע סירנה, זה לא החוויה הכי נעימה. אבל כשאתם אומרים את… אתם שומעים ממשתמשים, אני לא רוצה לקבל את זה כשאני לא עובד. את אומרת, יש פה דרגות שונות של עובד. מה זה עובד? אתה עובד עכשיו בחדר מיון, או שאתה עובד עכשיו במהרחות מהבית, או שאתה, לא יודע, אתה ב ת בחופש, ואתה לא עובד, ואני חושב שכשאני חושב על זה, אני אומר, הרבה פעמים אני אתייחס לקונטקסט של המשתמשים קצת כמו מזג אוויר. זה שם. אבל את מבי פה זווית שהיא אומרת, רגע, אולי כן אפשר לזהות את הקונטקסט הזה ולעזור להם אחרת. לגמרי. אז אני חושבת שפתאום, אני זוכרת שיחות שהיו לי עם לקוחות, שאני אומרת להם, איך יודעים שאתה עובד? כי בסוף, זה לא המצ שלנו. כי אם עכשיו צריכים להקפיץ מישהו, יש להם איזושהי מערכת ש… אני צריכה להקפיץ. אז כאילו, אתם אומרים להם, איך יודעים שאתה עובד? כאילו, זה בקובץ אקסל? הם זוכרים אותך? יכול להיות שיש בן אדם אחד כזה בבית חולים, שאנחנו מדברים על… בארצות הברית יש הרבה מאוד רמות של בתי חולים. איך בכלל הם יודעים את זה? ואז בבתי חולים, הרבה פעמים יש ב ת איזושהי מערכת סקדג'ואל. בסוף משלמים להם לפי כמה שהם עובדים, ושהם בחופש, כאילו הם עושים החלפה, יש החלפות במשמרות, יש דברים כאלה. זה דינמי, זה קורה. זה דינמי, זה לוזים אחרים. כלומר, בסוף המשמרות בחדר מיון, לעומת משמרות בחדר ניתוח, הם לא אותו דבר. וכשגענו ככה יותר לעומק, הבנו שהרבה מאוד דברים מסתמכים, אז יש מערכת סקדג'ואלינג, ותתחברו איתה. כאילו, בואו תבינו, כאילו אומרים, מבחינתי זה ההגדרה של עובד. לא אתכם לא צריך לעניינים אם אני במסעדה, אם אני בבית חולים, אם אני ישן, אני, אם כתוב שם שאני עובד, אני עובד. אין לי בעיה שיתקשרו אליי, אין לי בעיה שיתרעו לי. ואני חושבת שפה התחיל הרבה אקספלורציה גם ברמה הטכנית, של מה זה אומר בכלל להתממשק איתם. כי אגב, יש שם הרבה אוטומידה ממה שאני צריכה. יש שם מידע על כמה מיטות ביחס לכמה עובדים, ביחס ללא יודעת, האם אני מגדירה את, סתם מדבר על איכילוב כאיכילוב, או אני מגדירה את איכילוב כ… דנה לילדים, ליס לנשים, סורסקי, גם פה, מה זה עובד? הוא עובד פה או עובד בכל איכילוב? כי גם פה, על מה אני מטריע? אז ממש נכנסנו לרזרוציות של מערכות סקדג'ואלינג, איזה אינפורמציה יש שם, מה רלוונטי לי בשביל להבין את הקונטקסט, רלוונטי ליוזר, כלומר, יש שם המון תפיסות מידע שאתה לפעמים, יכול להיות שבדיוק תהיה להפוך, אני אתן לו משהו יותר מדי ספציפי, הוא בכלל יפספס, ותפסת מרובה או תפסת אם אני אתן לו יותר, כאילו, ובתוך זה ב ת הבנו, הגדרנו ממש גיידליין של במה אנחנו תומכים ובמה אנחנו לא תומכים. כי בכל אינטגרציה

אני חושבת, אתה יכול להפוך אותה לסופר מורכבת, וזה ממש פשוטה, אבל הווליו הוא איפשהו בין לבין, וצריך לדעת במערכות שהן סקלד, אני לא הולכת לתת עם את זה לכל הכוח. יש לי בסוף גיידליין, אז עשינו המון גם שיחות אקספלורציה עם המערכות, עם החברות שמוכרות סקדג'ואלינג, עם היוזרים שלנו, עם אנשי ה-IT שבסוף עושים את הסטאפים האלה, איזה מידע מותר לי לקבל, איזה מידע אסור לי לקבל, ובסופו של דבר, התוצ של זה הייתה, אני אגיד מכל הסיבור זה, שבסוף הם מקבלים התר כשזה רלוונטי, וזה ממש שאנחנו ראינו בכל המטריקות שלנו, שזה שינה את זה פלאים, גם את הסביעות רצון, גם את הבקשות של הלקוחות, גם את השימושיות שלהם, ואם, אתה יודע, התחלתי בכלל מהעולם של, טעות אצלנו, בטוח האלגוריתם לא בסדר או איזושהי בעיה טכנית, זה בכלל לא היה העניין, האלגוריתם, לא נגענו בהם. ואם הייתי מחזיר אותך כזה רגע אחורה לתחילת התהליך ולהתחלה של הנוטיפיקיישן פטיג ומה שחוויתם, מה הדברים שכזה תובנות מרכזיות שלך או דברים שאת רוצה שהמאזינים שלנו יחזיקו בראש כשהם שומעים את הפרק הזה? אני חושבת שאיי-איי זה מגניב וזה כיף וזה מטורף, אבל לא לשכוח להשקיע הרבה זמן ביוזרים עצמם, במי שהולך להשתמש בזה, שזה אגב לאו דווקא הלקוח שלך, הלקוח שלך יכול לטענן עליו, אבל ממש להבין את היוזר, לשמוע ממנו, להגדיר מה מבחינתי, איזה מערכת זה צריך להזיז ואיך אני נתממש, נניח לכם תמיד את האלגוריתם הכי טוב, איפה זה היה תופס את היוזר, איפה היית מתממשק בך בעולם שלו, ואני חושבת שברגע שאתה חי את העולם של היוזר, אתה יכול לגרום לו לייצר ונים עם האלגוריתם ושימוש בצורה הרבה יותר טובה ואיכותית. מעולה, מה שאני ככה לוקח מהשיחה שלנו זה קודם כל הנושא הזה של בנוטיפיקציה, או בכלל כשאנחנו מדברים עם המשתמשים, יש לנו את המכפלה של הדיוק כפול הקונטקסט, וקל לנו ממש ליפול, אם זה לא עובד זה בגלל הדיוק, אבל לפעמים זה בגלל הקונטקסט, זה דבר ראשון. הדבר השני זה כשאנחנו חושבים על איך לשפר את המוצר שלנו, אנחנו עושים כבר מחקר מתחרים ואנחנו מסתכלים על מתחרים בקטגוריה שלנו, ולא מסתכלים על מי מתחרה על הקונטקסט, מי מתחרה על האתנשן של המשתמשים, והדבר האחרון אני עד השיחה הזאת התייחסתי לקונטקסט של המשתמשים בתור מזג אוויר, אוקיי זה המצב, ומה שאני לוקח מהשיחה איתנו זה של בוא ננסה להסתכל על המערכות ששולטות על הקונטקסט, במקרה שלכם זה היה מערכות הסקדג'ולינג ובוא נתחבר למערכות ששולטות על הקונטקסט, קצת כמו להתחבר למה הולכת להיות התחזית ואז לדעת אם אני צריך להביא מטריה. אז עם זה אנחנו ככה נסיים את הפרק ורגע לפני אני אגיד שאם אתם רוצים לדעת בכל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות ולתת לנו דירוג חמישה כוכבים, ושוב המון המון תודה עדי. תודה רבה. ותודה לכם שהזנתם. תודה.