רוני הרניב: היי, אני רוני הרניב ואתם על סטארט אפ פור סטארט אפ. והיום יש לנו שיחה סופר מעניינת על איך השתמשנו ב API כדי להתייעל, לחסוך זמן וכסף ואולי חשוב יותר על איך השתמשנו ב API כדי ליצור סטנדרטיזציה בכל הדאטה שיש לנו באינטראקציות עם לקוחות. אז אנחנו נדבר על זה עם רוני מנדלמן מילר. Data Scientist ב Monday ועם אלמוג גרוס שהוא Product Manager ב Monday. אלמוג ורוני יסבירו לנו איך הם הבינו שיש פה הזדמנות משמעותית בדיוק בזמן הזה ואיזה אתגרים הם נתקלו ומה הם למדו מהפרויקט הזה שיכול לעזור לאנשים אחרים באקוסיסטם. אז פתיח ומתחילים.

רוני הרניב: היי רוני. היי היי אלמוג, שלום. מה נשמע? מעולה!

אלמוג רוס : מתרגשים?

רוני הרניב: כן יופי. אז אלמוג, אולי בוא בוא נתחיל ממך, תספר לי כזה איך? איך הסיפור הזה התחיל מנקודת המבט שלך?

אלמוג רוס : כן. איך הכל התחיל? אז אני מנהל מוצר בביג בריין, והצוות שלי מאוד ממוקד בבניית פתרונות ומוצרים בעצם לקליינט Facing שעובדים ב Monday, שזה עולמות sales CS, פרטנרים CX. ובתוך כל העולם הזה התחברנו בעצם לאחד לאחת התמות המרכזיות של החברה השנה, שעסקה בעצם בשיפור חוויית הלקוח. ואנחנו יצאנו עם איזשהו סיפור אמיתי על לקוח שבעצם עזב אותנו, לקוח בגודל בינוני. ואחד הדברים שחקרנו את כל האירוע הזה, אז ראינו שהיו לנו הרבה מאוד מאוד סיגנלים, אבל היה קשה לחבר ביניהם. זאת אומרת, היו דברים שעלו מול עשו port ומול ה CM שלו ומול ה Account manager שלו ואני קראתי לזה. הכתובת הייתה על הקיר אבל בסוף הקיר לא היה מואר ואף אחד לא ידע לאן להסתכל. ומתוך המקום הזה בעצם הבנו שאנחנו רוצים לקחת את האינטראקציות השונות להשתמש ב AI כי בסוף יש לנו יכולות להיות לנו מאות אינטראקציות בחודש עם לקוח, לקחת את כל הדבר הזה ולסכם את זה וממש לבנות את זה על איזשהו ציר זמן. ובנקודה הזו מהצד שלנו בעצם פנינו לרוני כי היו לנו בסוף התייעצויות מאוד מאוד משמעותיות, בעיקר כי יש לנו כאן הרבה מאוד data. ואז, כשהדבר הזה הגיע בשיחה של המפתחים שלנו עם רוני, אז פתאום אני חושב מהצד של רוני ככה ירדה איזושהי הבנה שיש כאן משהו הרבה יותר גדול.

רוני הרניב: אוקיי, אל מוגזים. אני מבינה נכון, אתה רצית בעצם בעזרת AI לבנות ציר זמן של כל הלקוחות שלנו, כדי שאנשי Client Facing בחברה יוכלו לראות את התמונה הגדולה של כל לקוח ובשביל זה פנית לרוני. נכון? אז רוני, איך זה נראה מהצד שלך?

רוני מינלדין מילר: אז אני רוני Data Scientist, בביג בריין ובעבודה היומיומית שלי אני בעצם בונה כל מיני מוצרים ומודלים שמפתחים את העבודה היומיומית של עובדי Monday. זאת אומרת, אני לא בונה מוצרים ישירות ללקוחות אלא לעובדי Monday. ובשנה האחרונה כבר ב Monday מעל שנתיים וכבר שנתיים. אני עובדת המון המון בתחום של AI, אבל בשנה האחרונה אני בעיקר מתמקדת על לייעץ יותר, כי אצלנו בביג בריין, בסוף מי שמפתח את כל Agent ים זה מפתחים. אז יצא לי ככה בשנה האחרונה באמת לעבוד עם המון המון מפתחים בהמון פרויקטים שונים, פיתוח של כל מיני Agent ים, ושמתי לב למשהו שמאוד חוזר על עצמו. זאת אומרת, הרבה פעמים הפרויקטים האלה מפותחים בצורה שהיא מבודדת. המפתחים עובדים בצורה שהיא Isolation. זאת אומרת, מפתח אחד שולף איזשהו דאטה שרלוונטי לפרוייקט שלו, מחלץ איזשהו למשל Summary, כי זה מה שהוא צריך כדי לשלב הבא בעצם בפרוייקט שלו. Summary זה נשאר אצלו. זאת אומרת, הוא ממש עבד על הסטאפ הזה. כתב איזשהו Prompt השתמש באיזשהו מודל, שילם על טוקנים בעצם שהוא איבד קלאס כדי לייצר את Summary, ובעצם זה נשאר אצלו ובפרויקט אחר שעבד בדיוק על אותו דאטה. אינטראקציות עם יוזרים, למשל, כמו בפרויקט של אלמוג, עשו בדיוק את אותו התהליך. זאת אומרת, כמעט תמיד הסטאפ הראשון הוא להביא איזשהו raw data ללעוס אותו באיזושהי צורה, ורק On Top of That נבנה. שאר הפרויקט עובדים על אותו Data. אינטראקציות עם יוזרים כמו אלמוג אמר זה יכול להיות שיחות מייל. גון conversation זאת אומרת ממש שיחות טלפוניות, ההתכתבות עם ה support agent ובעצם עובדים על הדאטה הזה ומחלצים ממנו תובנות כמעט זהות.

רוני הרניב: נגיד, מה היה נושא השיחה.

רוני מינלדין מילר: מה נושא השיחה? כן, תיוג ממש של נושא השיחה וכדומה. ופרויקט אחר של CX בכלל ששם הם רוצים באמת להבין מה הבעיות שעולות, על איזה נושאים מדברים. לפעמים זה אפילו לצרכי Routing. זאת אומרת, כדי להבין מה המקום הנכון שאליו צריך להגיע כשהוא נכנס ל Monday.

רוני הרניב: זאת אומרת, יש את רואה פרויקטים שונים שצריכים את אותו הדאטה בשביל הפרויקטים הפרויקטים שלהם ועושים עליהם בדיוק את אותה פעולה. ומה הבעיה בזה? למה זה בעייתי?

רוני מינלדין מילר: זה בעייתי? קודם כל בגלל שהם מבזבזים זמן בפיתוח. זאת אומרת, הם מפתחים כמעט את אותו הדבר. זאת אומרת המוצר הסופי הוא שונה, אבל יש סטאפ שלם באמצע שהם מבזבזים עליו זמן, גם אם זה יום אחד של פשוט בדיוק אותו הדבר. שניהם כותבים עכשיו product לחילוץ תגיות. אוקיי. אז זה דבר ראשון. דבר שני, מבחינת עלויות של ריצה וגם של זמני הריצה עצמם, אז העלויות של הריצה בעצם אני עובדת על אותו דאטה. אני שולחת בדיוק את אותו דאטה כדי לחלץ משהו שהוא כמעט זהה.

רוני הרניב: וזה פשוט עולה לנו כסף.

רוני מינלדין מילר: וזה עולה לנו כסף ואנחנו משלמים על זה. ואחד הדברים הכי חשובים זה העניין הזה של הסטנדרט. זאת אומרת, אני רוצה בסוף שכשאני אומרת שבשיחה הזאת ה Topic שעלה זה Automation integration, אני אדע שבאמת זה בסוף מה ש אלמוג מציג. אבל זה גם מה שה agent רואה כשהוא פותח את הטיקט הזה. אין סיבה שפה הם יראו משהו אחד ושהם יראו משהו אחר.

רוני הרניב: אז את בעצם זה התחיל מזה שכאילו חיסכון בזמן וכסף נכון? כי זיהית, זיהית שעושים את אותה פעולה. ואז גם עלה הנושא של הסטנדרטיזציה שכולם יסיקו את אותן מסקנות על אותו דאטה. נכון בדיוק.

רוני מינלדין מילר: ולכן החלטתי שאנחנו צריכים לייצר את ה Insight דאטה ליר, שזה בעצם איזשהו. יצרנו איזושהי תשתית שלוקחת את כל אותם Raw דאטה, את אותם אינטרקציות ופשוט מייצרת להם עוד המון מימדים, מחלצת תובנות למשל סנטימנט Summary title, תגיות מה Compliance שעלו באותו אינטראקציה. מה האינטרנט? זאת אומרת מה הלקוח רצה? זאת אומרת המון המון מימדים, המון המון תובנות באמצעות AI ובעצם השכבה הזו משרתת המון המון עובדי Monday, המון המון פרויקטים שונים שצורכים מאותה הטבלה וככה בעצם חסכנו את העלויות. חסכנו את זמני ריצה וזמני ההמתנה שלהם לתוצר הזה וגם יצרנו איזשהו סטנדרט. אפשר עוד לדבר על מה זה ישרת בעתיד. יש לזה וויז'ן מאוד מאוד גדול, אבל אם עכשיו אנחנו מדברים על איך זה מתקשר לאלמוג, אז פה זה באמת הצומת שבו נפגשנו, שבעצם אלמוג רוצה לייצר איזשהו כלי שהוא מראה את הטיימליין של הלקוחות, על מה הם עברו, ובמקום ללעוס כל אחת מהאינטראקציה בצורה בנפרד, זאת אומרת, רק עבור הפרויקט שלו. הוא פשוט שואב את זה ישירות מהשכבה שלי וזה פשוט קיים עבורו, והוא עושה הרבה פחות עבודה ממה שהוא היה עושה בלי השכבה הזו.

רוני הרניב: איך הדאטה הזאת נראית? איך זה? באיזה תצורה זה מגיע לעובדים השונים ב Monday?

רוני מינלדין מילר: אוקיי, אז בסוף זה הדאטה אינסייט layer. זה פשוט טבלה ב Snowflake שפשוט כל מי שצריך שולף ממנו. זאת אומרת, היום יש שכבות, יש layer ים בשל טבלאות. יש את הטבלה עם Row Data, שזה הדאטה הגולמי ביותר שאם המפתחים צריכים הם יכולים לגשת אליו. אבל יש גם את השכבה שלי שזו שכבה מעליה. ואם המפתחים כבר רוצים לשלוף דאטה שהוא קצת יותר לעוס, הם יכולים לשלוף ישירות את הדאטה הזה. זאת אומרת, הם כבר לא חייבים לגשת לדאטה דאטה וללעוס אותו מחדש. זאת אומרת, זה כבר מוכן להם. הם כבר ממש יכולים לקחת אותו ולהשתמש בו.

רוני הרניב: אלמוג אז יש את הטבלה הזאת עם כל המידע על אינטראקציות עם לקוחות. מה בעצם אתם עושים מהנקודה הזאת?

אלמוג רוס : אז מה שאני, מה שאנחנו בעצם עשינו זה מאחורי הקלעים. אנחנו בעצם לוקחים את כל הדאטה שהמודל כבר בטבלה של רוני ופשוט הלבשנו לו UI מאוד נגיש ונוח לשימוש, שמאפשר מצד אחד גם לעבור אינטראקציה, אינטראקציה ולראות את התגיות ולראות את הסיכום ואת הסנטימנט. וזה מחולק לפי ה Channel ים השונים שממנה. שמהם האינטראקציה הגיעה. אז זה באמת העולם הזה של לעשות רגע קצת יותר זום אין. ועל כל הדבר הזה אנחנו גם כן נותנים איזשהו Overview כללי שחוסכים בסוף לאנשים בקצה, אפילו עוד יותר. כי בסוף הם יוכלו תמיד לעבור אינטראקציה, אינטראקציה ולראות אותה בצורה מסוכנת ונהדרת. אבל הם גם יוכלו לראות את התמונה הכללית ברמת החשבון באיזשהו זום אאוט וממש לקבל AI summary מאוד מאוד כללי על החשבון שמציג את הסנטימנט הכללי, את התמות המרכזיות. אם יש לנו עכשיו אקשן Items פתוחים עם החשבון, אז אנחנו גם נציג, ומאחורי כל אחת מהן קומפוננטות האלו אנחנו תמיד מאפשרים לעשות Drill וממש גם בסוף להגיע לאינטראקציה שממנו חילצנו את זה, כי אנחנו מבינים שזה אתגר. אני חושב שכל אדם שעובד עם AI שהוא צריך מאוד לסמוך על הדאטה. אז מה שאנחנו עושים אנחנו לועסים אותו כמה שיותר, אבל תמיד נותנים גם את ה ריזלינג מאחוריו, שיבינו למה. אנחנו חשבנו שהדבר הזה מספיק חשוב להופיע כאן.

רוני הרניב: אז אולי ננסה לקחת את זה רגע צעד אחרי צעד שלה. מהרגע שיש איזושהי הבנה שצריך לבנות איזשהו דאטה חדשה שתשרת את כל החברה עד שזה יצא לפועל. אז איך ניגשתם לפתור את זה.

רוני מינלדין מילר: בפרויקט עם אלמוג והצוות שלו? אז באמת הציגו לי מה הם רוצים להשיג. ואז בראש שלי בעצם חיברתי את זה לפרוייקטים אחרים, שבפרויקט אחר אני יודעת שכבר מחלצים Summary ובפרויקט אחר מחלצים תגיות. אולי הם מסוג אחר, משהו שיותר רלוונטי לעולמות אחרים, אבל עדיין זו אותה בעצם תשתית. זאת אומרת, נחליף רק את התגיות עצמם והמודל יעשה את העבודה. אז פשוט אמרתי אנחנו חייבים לייצר פה איזושהי תשתית שתשרת לא רק את הפרוייקטים האלה, אלא עוד המון המון פרויקטים אחרים שקורים במקביל ויקרו בעתיד. אז השלב הראשון באמת הייתה ההבנה שאנחנו צריכים פה איזשהו דאטה לערך חדש, וזה משהו שהוא הרבה יותר גדול ממני. בתור Data Scientist הייתי צריכה לערב בו גם data engineer וגם את הצוות של BI. זאת אומרת, יצרנו איזשהו Task Force שממש אקדיש לזה זמן ומחשבה. אני חושבת שבאמת גם אחד האתגרים העיקריים זה לא רק איך לעשות את זה. זאת אומרת לא רק ברמה הטכנית, אלא ברמה של איך אנחנו עכשיו, איך, מה נבנה כדי שבסוף ניתן את מלוא העוצמה והאהבה אליו למפתחים והם באמת ישתמשו בזה? איך אנחנו חושפים את זה בעצם לעובדי מאנדיי? איך הם יכירו את זה וידעו לעבוד עם זה ולא עם Raw דאטה? זאת אומרת, יש פה הרבה הרבה אתגרים, כי אנחנו דורשים פה לא רק שינוי של איזשהו תהליך ספציפי. זה ממש שינוי תפיסתי. זאת אומרת, עכשיו במקום לעבוד עם raw data, בואו יש לכם כבר את אינסייט עם האלה הדאטה המחושב הזה. בואו תעבדו עם הדאטה הזה. זאת אומרת, זה כבר מוכן לכם.

רוני הרניב: את יכולה לעשות את זה. בואי נגיד את זה הקרקע. כאילו מה זה הרוע דאטה? ומה זה?

רוני מינלדין מילר: כן, למשל, במקום לעבוד ישירות עם אינטראקציה עם לקוח למשל איזשהו Support ticket שבו הלקוח agent Support agent מדברים, אתם יכולים פשוט לצרוך ישירות את ה Summary או ישירות את הסנטימנט או ישירות את הבעיה שעלתה בכלל. מה השאלה שלקוח שאל או מה הבעיה שהוא העלה? זאת אומרת שוב לא לכל use case זה יתאים, אבל שמנו לב שבאמת המון המון המון use cases לא צריכים את הרוע הוא Data או שהם צריכים אותו רק לאיזשהו תהליכים מאוד מאוד ספציפיים. זאת אומרת הרבה פעמים אנחנו רוצים את האינסטינקטים האלה, את ה Summary, את הטייטל, את הסנטימנט הרבה פעמים גם לצרכים שהם יותר אנליטיים. זאת אומרת, אני רוצה להבין מה קורה בכלל, שדרך אגב, אחד מהשימושים הכי גדולים של השכבה הזו היום היא באמת ליצירת דשבורדים של להבין מה קורה בכלל. זה נותן המון המון כוח גם גם ל Account Manager וגם למפתחים עצמם של Agent ים. לראות שבעצם השאלות ששואלים את אותן Agent ים זה באמת השאלות שהם ציפו שיגיעו. אז זה באמת נותן כוח גם אנליטי מאוד מאוד גדול. אז באמת השלב הראשון הייתה הבנה שצריך את הדבר הזה ויצרנו איזשהו task Force. ואז עלו גם המון המון שאלות שבעצם אלמוג היה דיזיין פרטנר שלנו פה. ולמשל שאלה שעלתה אז כמה זמן בעצם? מה זה אינטראקציה סגורה? אוקיי, אני רוצה לעבור על אינטראקציה פעם אחת, כי בסוף יש פה איזשהו trade off בין עלות לבין דיוק.

רוני מינלדין מילר: אם אני עכשיו כל פעם היוזר ישלח הודעה נוספת או שה agent יענה לו יחשב מחדש את ה Summary ואת הסנטימנט. זה פשוט יעלה המון המון כסף כי יש לנו פה סקייל מאוד מאוד גדול של אינטראקציות ולכן היינו צריכים להחליט איזושהי החלטה מתי אנחנו בעצם מריצים את המודל הזה של מתי ה insight רץ ואז החלטנו אנחנו מריצים ברגע שהתיק הזה סגור. זאת אומרת, ה Agent אומר זה נסגר או אחרי תקופת זמן מסוימת מההודעה האחרונה שנשלחה. זאת אומרת, לא תמיד ה agent אומר אוקיי, הטיקט הזה נסגר לפעמים זה פשוט לא קורה ולכן החלטנו על איזשהו זמן ואז השכבה רצה וזהו. אחרי זה אין איזשהו back fill. גם אם הלקוח כתב עוד איזושהי הודעה או משהו כזה אנחנו לא עושים back. זו החלטה שקיבלנו נטו כדי לחסוך בעלויות. כמו שאמרתי יש פה trade off ויכול להיות שאנחנו מפספסים לפעמים, אבל לא תמיד זה שווה את העלות של ערוץ מחדש, אז זה גם משהו שהוא מאוד מאוד תלוי בשוק. זאת אומרת, יש Sourcing שצריך יותר זמן לחכות מההודעה האחרונה או פחות זמן, אז זה באמת משהו שאנחנו חושבים על כל פעם שיש Source חדש נכנס לנו אינסייט.

רוני הרניב: בעצם, כאילו, על איזה סדר גודל כזה? כמה? על כמה data אנחנו מדברים?

אלמוג רוס : וואו.

רוני מינלדין מילר: המון. מבחינת רשומות זאת אומרת כמות השורות שיש בטבלה הזאת זה המון. תחשבי שזה כל אינטראקציה שמגיעה אלינו מאנדיי, כל שיחה של לקוח, כל ספורט. זאת אומרת, אנחנו רוצים לכסות את הכל. אנחנו רוצים להבין על מה היוזרים מתלוננים, מה הבעיות שלהם אנחנו רוצים, כמו ש. אלמוג אמר בעצם שהחוויה שלהם תשתפר ולכן אנחנו באמת מכסים את כל האינטראקציות האלה. זה המון המון המון דטה.

רוני הרניב: זה בעצם כמות של דאטה שכנראה בחיים לא היינו יכולים להגיע אליה ברמה האנושית. לפני היה קיים.

רוני מינלדין מילר: גם. תחשבי שגם Account manager שעובד רק על Account ספציפי לקרוא כל אינטרקציה שיש לכל היוזרים שלה Account הזה עם Monday זה משהו שהוא בלתי אפשרי, ברור. ולכל account manager מן הסתם גם יש יותר Account אחד. זאת אומרת, זה משהו שהוא באמת סופר קשה, וברגע שאנחנו מתומצתים לו את זה ונותנים לו טבעת לעין, מה היו התלונות? מה הקושי? מה? מה טוב? מה רע? זה פשוט פותח לעולם שלם והוא באמת יכול לעזור ליוזר שלו Account שלו במקומות שהם צריכים אותו עכשיו.

אלמוג רוס : מבחינת הרשאות דאטה ניתן כאן באמת איזושהי נקודה מהצד שלנו. בסוף, בגלל שאנחנו עוסקים באינטראקציות שיכולות להיות מיילים ו Tickets של support ופגישות עם לקוחות, אז בסוף באמת המטרה שלנו בתור מצד המוצר בקצה זה שבעצם נוכל לקבל בריף מאוד מאוד מהיר על מה קורה? כי אם אנחנו עכשיו נתחיל לפתוח ticket ticket ונסתכל על כל הפינג פונג הזה של השיחות, יהיה לנו מאוד מאוד קשה to get up. עכשיו זה בסוף משהו שאנחנו תמיד נרצה לאפשר. כי בסוף אנחנו מבינים שלצד AI אנחנו כן תמיד צריכים לאפשר לראות את התמונה המלאה. זאת אומרת, זה לא משהו שנפגע, אבל אנחנו כן רגע מאפשרים לקבל גם את באמת את התמונה הזאת קצת יותר בזום אאוט של במקום לעבור ticket טיקט, אני מסתכל על שורה של טיקטים ומאוד מהר מצליח להבין בצורה קצת יותר טובה מה היו הנושאים, מה הסנטימנט סביב איזה עולם הטיקט הזה היה אז.

רוני הרניב: איזה עוד אתגרים היו בבנייה של הדבר הזה?

רוני מינלדין מילר: קודם כל, כמו שאמרתי, העניין הזה של מתי אינטראקציה נסגרת, מתי אני רץ עליה? וגם היה עניין של back fill. זאת אומרת האם עכשיו על כל עדכון שלמשל של הפרונט אני עושה במקביל לכל הדלת אחורה. למשל, אני אתן דוגמה אחת אינסייט שאנחנו מחלצים זה תגיות. כדי לייצר את אותם תגיות. אלמוג העביר לי בורד מאנדי בורד עם רשימה של תגיות Description לכל תגית, ואז אני מבקשת מאלה להם פשוט לתייג את אותו האינטראקציה. בסוף אני רצה על ה Summary, אבל לא משנה. אני מתייגת משהו איזה שהוא טקסט. ויכול להיות שאחרי תקופת זמן מסוימת אלמוג יחליט להוסיף עוד תגית. זאת אומרת, הוא החליט להוסיף לו בורד עוד רשומה עוד איזשהי תגית. זה קורה אוטומטית, אני ישר מתייחסת אליה. השאלה מה קורה עם הדאטה ההיסטורי שכבר תיארתי? האם אני גם רצה עליו? אז התשובה היא לא. זאת אומרת, בפעם הראשונה של אינסייט נכנס אז כמובן אני עושה Back של חודש חודשיים אחורה. זה תלוי מאוד במה אני מנסה עכשיו לחלץ, אבל מהרגע שהוא נכנס וכבר רץ פרודקשיין כל שינוי של פרונט, כל שינוי של Description, של תגית, משהו שממש משפיע על התוצרים. בסוף אנחנו לא עושה Back פיל אלא אם כן יש איזשהו צורך מהותי. שוב, זה טרייד אוף בין עלות לבין דיוק. אז יכול להיות שתגיד שאנחנו נראה רק בדאטה האחרון ולא בדאטה הקודם. כן. אתגר נוסף שהיה לנו זה באמת כל העניין הזה של Version. איך אנחנו שומרים ומתעדים גרסאות שונות? זאת אומרת, יכול להיות שכמו שאמרתי, אלמוג החליט להוסיף עוד איזושהי תגית, ומבחינתי עכשיו זו גרסה חדשה, כי עכשיו אני ממש הפרונט שאני מעבירה למודל שונה ממה שהעברתי לו אתמול. אז גם כל בעצם אינסייט שאנחנו מחלצים ושומרים בדאטה שלנו, אנחנו גם מצמידים אליו את בורשטיין, שבסוף יש לנו גם טבלת Version שממש אפשר לראות מה היה הפרונט, איזה מודל השתמשתי, באיזה תאריך הרשיון הזה יצא וממש לתעד את הכל כדי שנוכל באמת להבין את ה insights האלה. למה קיבלנו אותם? למה זה מה שיצא וכדומה.

רוני הרניב: וגם מי שמשתמש בזה בקצה יוכל להסתכל על הברזלים שהיו.

רוני מינלדין מילר: לגמרי לגמרי. זה גם משהו שנגיד, כמו שאמרתי, הרבה פעמים משתמשים בה אינסייט לצרכים אנליטיים. אז אפשר ממש בדשבורד להציג מה הפרונט שניתן כדי לקבל את אותו ערך ממש בטבלה, וזה גם נותן המון המון אקספלורר. זאת אומרת, זה נותן המון. מייק סנס למי שמסתכל בסוף על אותו דשבורד, ונראה.

רוני הרניב: לי גם עוזר לאמון שאתה מקבל בתוצאות, וגם ככה אנחנו לא סומכים במאה אחוז על זה אנחנו אומרים איך אני יודע שהוא באמת הגיע למסקנות?

רוני מינלדין מילר: נכון לגמרי.

אלמוג רוס : עכשיו אני חוזר רגע לנקודה הראשונה שהעלית, כי אני חושב שהיא סופר חשובה וכזה נאמרה כאן מאוד מאוד מהר. אבל בעצם אחד הדברים המדהימים שרוני בעצם עשתה לנו זה איפשרה לנו הרבה מאוד חופש בבחירת הפורמטים, ואני אסביר מה הכוונה. למשל, נתנו כאן איזושהי דוגמה שכל אינטראקציה מקבלת איזשהו תיוג, למשל אינטראקציה שהיתה קשורה לניהול של החשבון או אינטראקציה שקשורה יותר לתיאום, תיאום, פגישה Schedule, ובעצם אנחנו מכירים את כל העולם האישי ובסוף לא תמיד מדויק, והרבה פעמים, במיוחד כשאנחנו מתקנים פרויקטים, יש לנו הרבה מאוד מאוד פידבק לתת וזה אחד הדברים המדהימים בפרויקט שאני כמנהל המוצר שלו חווה. זה שאני בעצם יכול, שיש לי הרבה מאוד גמישות על עדכון הפרויקטים והם לא קבורים בתוך הקוד, כי מה שרוני בעצם עשתה זה לקחה את כל התגיות שלנו למשל, ושמה אותם ב board Monday, ואנחנו ממש קורעים את הפרונט של כל תגית התגית board. ואז בזכות הדבר הזה אני כל זמן יכול לעדכן את התוצר בקצה מבלי שרוני בכלל תהיה מעורבת. הבנתי שזו יכולת מדהימה עבורי וגם מוריד הרבה מאוד Dependent Key מאנשי מהפיתוח מהבניין מה data Science בקצה.

רוני מינלדין מילר: ואני רק אגיד שזה גם מאוד. בסוף בסוף התהליך שלי רץ כל איקס שעות, נגיד כל חמש שעות. קורא את מה שקרה בבורגס. זאת אומרת, הוא ממש בודק אם היה איזה שהוא עדכון בבורגס, ובמידה וכן הוא מעדכן את Versions. זאת אומרת אנחנו גם מתעדים כל שינוי כזה כדי שאם מחר אלמוג יגיד לי רוני, השינוי הזה הוא לא טוב לי או הוא לא יודע בדיוק אפילו מה קרה, למרות שאנחנו כן מאוד מאוד על זה ומישהו יכול לשנות את ה board זה ממש עם Permission מסוימים, אבל נגיד ואנחנו לא מצליחים לזהות אז אנחנו יש לנו את הטבלה של ה Versions ואנחנו יכולים לעשות ממש לשנות לגרסה אחת קודמת או שתיים קודמות ובעצם בצורה הזאת אני גם נותנת להם את הכוח בעצם לשנות את הפרויקטים, אבל גם התהליך הזה הוא בסוף אוטומטי. זאת אומרת, אני לי זה שקוף ולהם זה שקוף. הוא פשוט משנה את הבורד, וכל פעם שהתהליך שלי קם הוא מתעורר. הוא בעצם קורא את את ה Description העדכני ביותר מעבורת וזה משהו בסוף מריץ מגניב.

רוני הרניב: ויש עוד אתגרים שהתמודדתי איתם.

רוני מינלדין מילר: אחד האתגרים גם שעלו זה שיש את ה יש תגיות, יש אינסייט ים שמאוד מאוד סטרטפורד, כמו למשל תגית של אלמוג. מבקש ממני שאני טועה, ואז הוא מעביר לי רשימה של תגיות ואני פשוט משתמשת בהם לתייג. אבל עולים עלול לפעמים אין זיתים שהם לא כל כך פשוטים לעיבוד. למשל, מה הקמפיין של היוזר העלה באינטראקציה עם עם עם Monday ושם אני יכולה להוציא? אני יכולה לבקש מאלה להם להוציא לי הקמפיין, אבל אני אקבל שוב איזושהי שפה חופשית, איזושהי תלונה שאין שוב אין איזשהו סטנדרט. ואז כשאני ארצה לעשות שליפות על גבי התלונה הזו, יש המון המון תלונות, ואז אני לא אצליח להבין מה התלונה השכיחה ביותר או דברים שחזרו על עצמם, כי כל פעם אללה משתמש בשפה שונה ולכן on top of that. זאת אומרת על אינסייט שהם לא מובנים, זאת אומרת שהם לא תגית או סנטימנט או משהו שתמיד אני יודעת מה אליהם הולך להחזיר, אלא שהוא מחזיר לי שפה חופשית. הוספנו איזשהו תהליך של סטרינג. זה אולי נשמע איזה שהיא מילה מפוצצת, אבל זה פשוט תהליך שלוקח המון המון דאטה ומחלק אותו לקבוצות. אוקיי, הוא מזהה קבוצות דומות בתוך הדאטה הזה, ואז אני יודעת להגיד מה הקונפליקט, מה Compliance שעלו הכי הרבה על בסיס הקבוצות האלה. אז זה עוד איזשהו אתגר שהיה לנו. התמודדנו איתו באמצעות עוד איזושהי לעיסה של של הדאטה שעלה להם החזיר לי.

רוני הרניב: אז אוקיי, אתם עובדים על זה ככה? כבר כמה זמן.

רוני מינלדין מילר: אנחנו כבר באוויר? ארבעה חמישה חודשים.

רוני הרניב: ומה? מה אתם שומעים מהשטח? אלמוג?

אלמוג רוס : כן. אז קודם כל בגלל ה, בגלל שאנחנו הולכים לשנות את צורת העבודה התחלנו. התחלנו בעצם עם ההנגשה של המידע הזה לאיזושהי קבוצת פיילוט שמכילה פרסונות שונות בכוונה בשביל שנקבל כמה שיותר פידבקים מהמשתמשים השונים שלנו. אני חושב שה בטא עזרה לנו מאוד מאוד טוב להבין איפה אנחנו יכולים להשתפר, בין אם זה פרויקטים, בין אם זה UI, אבל קיבלנו בסהכ פידבק מאוד מאוד חיובי ורצנו קדימה עד שבאמת עשינו רול אאוט בעצם לכלל המשתמשים בעולמות Client Facing, ואני חושב שאחד הדברים המדהימים כאן זה שיש לנו Retention מאוד מאוד. קודם כל השימוש בכלי הוא יוצא מגדר הכלל. זאת אומרת, אנחנו מסתכלים על המטריקס ומאוד מאוד מבסוטים ואנחנו יודעים שזה בסוף מאוד מאוד עוזר להם ביום יום, ואנחנו גם רואים שבסוף ה Retention החזרה למוצר היא קורית כל הזמן. זאת אומרת ברמה השבועית ברמה החודשית ואנחנו מאוד מאוד מרוצים מהמטריקס ובסוף הפידבק האיכותני שאנחנו מקבלים הוא בסוף הגיים צ'יינג'ר. אם אתה יכול לתת איזה סיפור מגניב שעכשיו בנסיעת עבודה לניו יורק ונפגשתי עם עם סי סמית שאנחנו יצא לנו להיפגש לפני חצי שנה, לפני חצי שנה היא פחות השתמשה בביג בריין במוצרים שלנו, ועכשיו כשהייתי בניו יורק, עשיתי לה היוזר Interview כי המשתמשת מספר אחת של הטיימליין הזה שבנינו אז זה מאוד משמח ובסוף אנחנו מקבלים פידבק איכותני שבאמת מסביר לנו כמה האימפקט של הדבר הזה משמעותי, כי בסוף זה מאוד מאוד עוזר להם לקבל את התמונה הרחבה של מה קורה בחשבון שכשאני מנהל חשבון הדבר הזה הוא סופר סופר קריטי עבורי, וגם אם אני נתקל בחשבון בצורה קצת יותר אקראית כי אני מעצבת Support, אז מכל כיוון ומכל הכיוונים אנחנו מקבלים פידבק מאוד מאוד טוב ויש עוד יהיו עוד דברים מעניינים בהמשך.

רוני מינלדין מילר: אז מהצד שלי אני יכולה להגיד גם הפידבקים הם מאוד מאוד טובים וגם הדרך הכי טובה שלי בעצם להבין שהדבר הזה עובד וטוב זה שבאמת אנחנו מקבלים כל הזמן בקשות להתחבר לטבלה, להוסיף עוד סעיפים. יש לזה באמת המון המון. יש סביב זה המון המון. עכשיו רצון להשתתף ולהוסיף כמה שיותר, להשתמש בזה כמה שיותר. אני כן אגיד שיש נושא שלם שלא דיברנו עליו, שזה באמת העולם הזה של האבולוציה. איך אנחנו יודעים שבעצם האינסטינקטים שאנחנו מחלצים הם טובים וזה באמת עולם שלם ומורכב מאוד. אני כן אגיד שאנחנו כן עובדים על זה. אנחנו חייבים את את השיתוף של ה Owners של כל אחד מהאמצעים האלו כדי לעשות אבולוציה ברמה טובה. זאת אומרת, הם אלה עם expert knowledge שיכולים להגיד לי האם התיוג היה פה טוב או לא, ולכן אנחנו דואגים לדגום את הדאטה ולהעביר אליהם, והם צריכים בעצם להגיד לנו על איזשהי דגימה של הדאטה. האם התיוג שם הוא טוב או לא, ולפי זה גם הם יכולים לשפר את ה Description או לא. אז כרגע שוב אנחנו מאוד מאוד Couples בקטע הזה של האבולוציה עם ההונגרים. אנחנו כן עושים איזשהו מוניטור. זאת אומרת המוניטור זה בעצם דגימה שבעצם אנחנו עושים ובודקים האם יש שינוי מהותי על הסט דגימה הזו שלנו אובר טיים. זאת אומרת, אם אני רואה שפתאום התגיות שחילקתי אתמול מאוד שונות מהתגליות היום, אז זה מעלה לי איזושהי נקודה ואז.

רוני הרניב: אותה אינטראקציה.

רוני מינלדין מילר: אינטראקציה? כן, בדיוק. אז אני בעצם רואה שבעצם יש לי יכול להיות איזה שהיא בעיה. ואז שם אני מקפיצה איזשהו alert ל Owners. זאת אומרת שיבדוק אם משהו השתנה, וזה כרגע מה שאנחנו עושים בעולמות האלה של האבולוציה ובעולמות ובתחום הזה של אמון מול ההונגרים אצלנו בעצם אנחנו מוסיפים הרבה. גרונדיג זאת אומרת, גם כשאני מחלצת תגיות אני לא נותנת רק את התגית. אני גם מבקשת מהמודל להסביר לי למה הוא נתן את התגית הזו ואני מביאה. בעצם זה משהו שאני מעבירה באמת להונגרים, ואז הם גם יכולים להבין מה השינוי שהם צריכים לעשות בה Description של התגית כדי בעצם לשפר אותה. זאת אומרת, הוא המודל חושף למה הוא עשה את הבחירה וזה עוזר להם בעצם לדייק את ה Description. אז זה גם משהו שאנחנו עושים בעולם הזה של האמון.

רוני הרניב: תגידו, ואתם חושבים שזה משהו שרק חברה כמו מאנדיי יכולה לעשות? או שזה גם רלוונטי לסטארט אפים קטנים יותר?

רוני מינלדין מילר: אני חושבת שזה מאוד מאוד תלוי ב scale שהם משתמשים בה. בסוף אני חושבת שאמרתי את זה בהתחלה. בסוף אנחנו היין נכנס לחיינו ואנחנו פשוט עבדנו איתו ורצנו איתו קדימה. אבל ברגע שהייתה לי ההזדמנות להסתכל על זה מלמעלה, אני הבנתי שאנחנו לא ממצים את מלוא הפוטנציאל שלו, ולכן כל מי שמשתמש היום ב AI ויש שם תהליכים שחוזרים על עצמם בצוותים שונים או אפילו באותו צוות. אבל תהליכים שקורים והם לא שומרים את הדאטה הם פשוט בזבוז, כי בסופו של דבר הדאטה הזה הם יכולים להשתמש בו אפילו למה שאמרנו קודם. רק שליפות, גם אם זה לא עכשיו, כדי לייצר איזשהו מוצר בפני עצמו או איזשהו דשבורד מטורף נטו כדי לשלוף את הדאטה בצורה שהיא יותר חכמה, נגיד על בסיס סנטימנט ולשלוף רק את האינטראקציות השליליות. אוקיי, אז אם אני אשמור את הסנטימנט אני אוכל לעשות את זה. אבל אם אני לא אשמור את הסנטימנט ואשתמש בו רק בתוך איזשהו פרויקט שהוא Isolation, אז זה פשוט יהיה בזבוז. ולכן אני חושבת שבאמת כל מי שמשתמש בי בצורה שהיא אופליין על דאטה כדי לחלץ איזשהם אינסייט טים אני חושבת שזה באמת משהו שהוא סופר. חשוב לנסות שנייה, לקחת צעד אחורה ולהבין האם השימוש שלנו באמת הוא ממצה את מלוא הפוטנציאל, ואנחנו באמת עושים את כל מה שנדרש כדי להשתמש באותם אינסייט באותם אאוטפיטים של אותו מודל בצורה הטובה ביותר.

אלמוג רוס : כן, אני חושב שהרבה מאוד מהדברים האלה באמת כמו שרוני אמרה, נוגעים בסטייל של החברה. אני חושב שדווקא לחברות קטנות יש יש יתרון בעולם הזה, כי יש המון מוצרי מדף, כולל מאנדיי, אגב, שמאפשרים לעשות את זה כאילו בילט אין. אני חושב שבאמת הפתרונות שאנחנו הלכנו אליהם הם כבר יותר איזשהו enterprise grade, כי בסוף יש לנו הרבה מאוד אינטראקציות, הרבה מאוד מערכות, אבל בסוף אני חושב שאם אני רגע מסתכל על חוויית הלקוח, הלקוח והשירות שאנחנו רוצים לתת, אז התשובה היא כן לגמרי. לעשות את זה עכשיו זה גם הזמן.

רוני הרניב: מדהים. טוב שאלה אחרונה ככה טיפים למי שניגש למסע הזה עכשיו בעצמו בחברה שלו. שאלה.

אלמוג רוס : נקודה ראשונה מהצד שלי כטיפ זהב זה כל הנושא של גמישות של בסוף להוריד כמה שיותר Dependent eyes בצוותי הפיתוח וה data science ובאמת להנגיש לנו את היכולת לערוך את הפרויקטים וממש להשפיע על התוצרים עבורנו. זו נקודה סופר חזקה ואנחנו משתמשים בזה ממש ברמה היומית. והנקודה השנייה זה סביב האפיון הבעיה של המשתמשים שלנו. אני חושב שזאת נקודה סופר חשובה כי אנחנו לפני שניגשים לדבר כזה. אנחנו צריכים להבין בצורה מאוד מאוד טובה את הכאבים של השטח ומה הם חווים על מנת שנוכל בצורה כמה שיותר טובה לתפור להם חליפה שמאוד מאוד מתאימה. אני חושב שבסוף מה שעשינו עבורנו בתוך מאנדיי לא בהכרח יהיה הדבר הנכון בחברה אחרת. כן, אני חושב שזאת חליפה ששווה לתפור בצורה מאוד מאוד מדויקת.

רוני מינלדין מילר: טוב, אז מהצד שלי אני לא. לא אתמקד בהכל, אבל דברים עיקריים. אני חושבת שקודם כל צריך להתחיל באמת מהתובנות שרלוונטיות לכמה שיותר פרויקטים. זאת אומרת להתחיל עם מה שעולה בהכי הרבה פרוייקטים. זאת אומרת, אם אני רואה שהטיפ הראשון כמעט בכל הפרויקטים אצלי בחברה זה לבצע Summary, אז עם זה אני אתחיל, כי מה שקרה אצלנו זה באמת היתה איזושהי התפרצות כזו שכולם רצו להוסיף אינסייט והגעתי למקרים סופר סופר ספציפיים שמשרתים פרויקט בצורה באמת מאוד מאוד. זה כן היה קריטי בפרויקט הזה, אבל זה לא היה משרת פרויקטים אחרים, ואני כן רוצה להתחיל במשהו שהוא יותר רוחבי שישרת כמה שיותר אנשים. זה בעצם זו המטרה העיקרית של היטלר בהמשך כמובן לעזור לכולם, אבל להתחיל מזה ועוד דברים שהם יותר טכניים אז זה באמת להגדיר טוב את המבנה. זאת אומרת איך אני שומרת את הטבלאות בצורה כזאת שזה באמת יהיה סופר גנרי ואני אוכל להוסיף עוד אינסייט וזה לא ישנה לי וישפיע בשום צורה על שום דבר לדאוג שבאמת. כל הגרסאות שמורות. זאת אומרת, אני מתעד את הכל ברמה של שינוי, של מודל, שינוי, של אפילו פסיק בתוך הפרונט. זה משהו שצריך להיות מתועד וזהו. יש עוד המון טיפים, אבל נשמור את זה לפעם אחרת.

רוני הרניב: מעולה. טוב, אז עם זה אנחנו נסיים. רגע לפני אני אגיד שאם יש לכם שאלות לרוני או לאלמוג, אתם יכולים לפנות אליהם בקבוצת הפייסבוק שלנו או דרך האתר שלנו. סטארט אפ פור סטארט אפ דוט. קום ונשמח אם תשלחו את הפרק הזה לחברים ותדאגו אותנו בחמישה כוכבים ותעשו לנו לייקים בכל מקום. אז רוני תודה רבה.

רוני מינלדין מילר: תודה רבה רוני.

רוני הרניב: אלמוג תודה תודה רבה ותודה לכם שהזמנתם.