איך למקסם הוצאות שיווק באמצעות דאטה

ליאור: היי רועי,

רועי: שלום ליאור.

ליאור: היי כולם. הגעתם ל- start up for start up, הפודקאסט שבו אנחנו חולקים מהניסיון, מהידע והתובנות שיש לנו כאן, ב- monday.com וגם מחברות אחרות, הוא מיועד לכל מי ש-start up מדבר אליו, לא משנה באיזה כסא הוא יושב ברגעים אלו. אז היום נדבר על ה-  attribution במשפט אחד, זאת היכולת שלנו להבין לאיזה ערוץ ולאיזה פרסומת אנחנו רוצים לשייך את המשתמש ואת הלקוח שהגיע אלינו, וככה בעצם להבין מה עובד לנו ומה לא. עכשיו, הצורך הזה במנגנון שיוך שהוא חכם עולה ככל שהמורכבות וה- scale שלנו גדלים, אז נדבר על איך אנחנו ב- monday ניגשים לאתגר הזה של שיקוף ומתן פידבק על מאמצי השיווק שלנו לאנשי ה- marketing באמצעות מדידה ומודלים חכמים ואיך אנחנו עוזרים להם לקבל את ההחלטות הנכונות כדי לגדול הכי מהיר ויעיל שאפשר. לטובת העניין, יצטרף אלינו היום דניאל ברוך, שהוא מפתח בצוות ה- big brain,

דניאל: שלום ליאור.

ליאור: היי דניאל.

דניאל: שלום רועי.

רועי: שלום.

ליאור: פרק שאנחנו מתכננים כבר כמה שבועות טובים אז כיף שסוף סוף הצטרפת אלינו. אז ככה שנייה לפני שנבין מה האתגר, בוא כן תספר לנו בכמה מילים על הצוות ועל התפקיד שלך ולמה אתה כאן איתנו בחדר מדבר על ה- attribution היום.

דניאל: אז בעצם, big brain זה מוצר פנימי של Monday שהוא חושף לעובדים בחברה את כל ה- data בצורה שהם יכולים "ללעוס" אותו ולהבין ממנו מסקנות שלפעול על פיהם, ועושים את זה בהרבה דרכים שונות של חשיפת נתונים, אוספים אבנטים אוספים את מה שהלקוחות שלנו ראו, מאיפה הם הגיעו, אוספים את כל זה ומגישים את זה בצורה מאוד טובה וחכמה לעובדים. 

רועי: בניגוד, אבל, מערכות BI כי זה נשמע טיפה כמו BI, אנחנו גם ב- big brain דוחפים המון דברים שהם actionable כלומר, זה לא רואים את ה-data והולכים למערכת אחרת לשנות דברים, כבר בתוך big brain אנחנו קונים את המדיה בפייסבוק וגוגל וכל ה- ab testing שם ולהעלות ab test, להוריד ab test, כל הפעולות עצמם כבר הם יחד עם ה- DATA אז זה חוסך המון זמן, מאפשר לאנשים לקבל את ההחלטה ולבצע את הפעולה באותו מקום ובגלל זה גם בחרנו לפתח משהו לבד כאילו לאפשר את כל הריכוזיות המדהימה הזאת שכאילו הכל במקום אחד.

ליאור: עכשיו, כן שנייה להבין למה אתה קשור לפרק שאנחנו מקליטים היום, מה לך ול- attribution.

דניאל: אוקי, אז אני מהחוליה בתוך big brain שאחראית לעזור ל- marketing לקבל את ההחלטות ולבצע אותם בצורה הכי טובה ומהירה שאפשר,

ליאור: מה זה אומר חוליה? אתם מחולקים?

דינאל: כן, אנחנו בצוות מחולקים לכמה חוליות, חוליית marketing שאני נמצא בה ביחד עם אוריאן, חוליית product ו – billing שם יש את סתיו ובר וחוליית costumer facing שהם נותנים פתרונות ל- CS שלנו, ל-consulting שלנו ול- partners.

ליאור: רועי, מה בעצם האתגר עם ה-attribution  ? למה אנחנו מדברים על זה היום?

רועי: אז המילה attribution  היא מילה אבל בתכל'ס, זה איך אנחנו חושבים על ה- marketing ואולי שווה לחזור אחורה כאילו לאיך התחלנו את זה בכלל. החשיבה שלנו הייתה זהה לאורך כל הדרך מההתחלה ואני חושב שבגלל זה גם הגענו לאן שאנחנו היום מבחינת SPEND  שבוא נגיד ב- 2019 אנחנו בשבע מיליון דולר בחודש ב- marketingעכשיו בהוצאות performance marketing שווה להגיד, והתחלנו מחמש מאות דולר בחודש בקמפיין ראשון,

ליאור: ואת החשיבות לשאלה הזאת של ה- attribution,

רועי: זה היה,

ליאור: מצאת מיום,

רועי: מ- day one, עכשיו, אז יש כמה דברים בוא נגיד שהתחלנו מהם שהם basics,

ליאור: אבל שוב, מה הבעיה? מה האתגר?

רועי: מוציאים כסף. את רוצה לדעת שכאילו הוצאת אותו בצורה טובה כי קל מאוד סתם להוציא את הכסף ולא לראות את ההחזר עליו או להבין מה התוצאות שלו ואז בעצם אי אפשר להגדיל, אז כלומר הבעיה מתחילה מהשנייה הראשונה שעושים משהו ורוצים להבין מה עשינו והאם זה הצליח או לא ואחרי זה, ואנחנו ניגע בזה בהמשך של הפרק, איך כשזה מסתבך ונהיה המון צ'אנלים, המון קמפיינים והמון המון המון דברים, איך עדיין מבינים את זה? כלומר, הבעיה הזאת נהיית מאוד מורכבת ב- scale, אבל גם בהתחלה היא מורכבת, כלומר לדעת שהצלחתי.

ליאור: אבל אם אני מפרסמת ב- channel אחד, בסדר? ניקח כל אחד מהצ'אנלים שכולם מכירים, פייסבוק, גוגל, גם שם יש מורכבות של ה- attribution?

רועי: כן, כי בואי נגיד בשנייה הראשונה, אני תמיד אומר, הבעיה היא למישהו שאין לו כלום זה קל כאילו כשיש משהו שהוא אפס קל למדוד אותו, הוא נהיה אחד בסדר? זה כאילו לא צריך בשביל זה BI או data או כלום אם יש לכם אפס אל תתעסקו עם זה. כשהיה אחד ותצרכו להבין אם שתיים או שלוש או מה אז צריך להתחיל להתעסק עם זה, עכשיו גם בפייסבוק יש מלא קמפיינים, עשיתם קמפיין אחד הוא הצליח, עכשיו אתם עושים קמפיין עם תרגוט לקהל אחר, רוצים, פתאום הגיעו אנשים לאתר, אתם צריכים לדעת מאיזה קמפיין זה הגיע כלומר פה זה מוציא כסף ופה זה מוציא כסף, אולי אחד לא מביא לי לקוחות והשני כן ורוצים להרוג את זה שלא מביא ולהפנות את הכסף הזה למקום אחר, זה ה- basic של האופטימיזציה. מנסים טרגוטים, מנסים באנרים מנסים מסרים שונים ורוצים לדעת מה אפקטיבי גם כדי ללמוד ולהשתפר ולהבין מה עובד ולא, וגם כמובן לשים את הכסף במקום הנכון.

ליאור: אבל, אולי זאת שאלה יותר מתקדמת, אבל אני מניחה שלפייסבוק יש כלים שמאפשרים לך להבין איך ה-

רועי: כן ולא, הגישה שלנו, ואני, בואי נגיד לפני שהתחלנו ב- Monday, השתמשתי בערך בכל כלי tracking אפשרי על כדור הארץ. נניח Google analytics כן? אני לא, הוא מאוד טוב להרבה דברים, לזה אני מאוד לא אוהב אותו למרות שהוא נועד לעשות את זה, כי הוא מביא לך data ב- delay של ארבע שעות, וסטטיסטי, כן? כלומר אני לא עושה F5  על הדפדפן ורואה פלוס אחד. אני לא יכול לסמוך על ה- data, אני לא יודע, אז מה זה אומר בסופו של דבר? לא שהמידע נכון או לא נכון, אלא שתמיד יש לי תירוץ להגיד: רגע, זה עוד לא התעדכן, רגע זה, אנחנו רצינו להגיע למצב שאין לנו שום סימני שאלה, שאנחנו תמיד יכולים להיכנס לאמת ולראות אותה ובגלל זה היה חשוב לנו לעשות את ה- tracking בעצמנו עכשיו בהתחלה זה קל מאוד לעשות את זה, אז כאילו שווה להגיד מה עשינו בהתחלה, וזה אולי טיפ, לא יודע לאיך להתחיל marketing, דבר ראשון לא להפנות לקוחות מ- paid marketing ל- home page, בסדר? תמיד לבנות עוד דף נחיתה. זה לוקח עוד חמש דקות עבודה או זה, תמיד תמיד תמיד, גם אם הוא נראה כמו ה- home page למה? כדי שהוא יוכל לקבל את האבולוציה משל עצמו, בסדר?

ליאור: כלומר, מה זה אומר?

רועי: ה- home page זה הדף נחיתה של ה- domain בסדר? ודף נחיתה הוא דף נפרד,

ליאור: לא, אבל, מה זה אומר המשפט האבולוציה של עצמו?

רועי: נניח אני פניתי לקהל מסוים, בסדר? בואי ניקח את הדוגמה שלנו, נניח התחלנו עם project management אז אני רוצה פתאום להגיד project management וב- home page אני רוצה להגיד מסר כללי יותר, רצוי שהם יהיו בדפים נפרדים שאני אוכל שכל אחד שה- project management אני אוכל לשים שם את הדברים של project management , ודברים כאלה וב- home page אני לא אעשה את זה.

ליאור: עכשיו אתה מדבר ברמת המסרים, אבל איך זה חוזר ל- tracking?

רועי: אז, בסדר זה גם המסרים והאבולוציה

ליאור: למה אתה מתכוון כשאתה אומר "אבולוציה"?

רועי: אבולוציה זה שכל הזמן משפרים דברים, כן? כלומר, התחלנו מסר אחד לקהל מסוים, נניח טרגטנו מישהו שעשה לייק לדף של מתחרה, בסדר? כאילו יש להם הרבה לייקים ועשינו דף מסוים וזה עבד. אז עכשיו אנחנו רוצים שזה יעבוד יותר טוב אז אנחנו נשפר את הדף, נעשה עליו ab test או נעשה לו משהו כזה ואז לאט לאט נשפר אותו כל הזמן, זה האבולוציה שלו. בסדר? ולאט לאט הוא יהיה יותר אופטימאלי מבחינת ההחזר, אנחנו ניגע גם בזה, אבל ההחזר על ההוצאה שעשינו ב-  marketingאז הדבר כי פשוט שאפשר לעשות ושם באמת התחלנו זה שצרבנו, יש מה שנקרא ב- url, utm source ו – utm קמפיין זה משהוא שנראה לי גוגל המציאו להבין מאיזה קמפיין הגיע הקליק, יש מודעה, איזה שהוא באנר, מעלים מלא באנרים, 

ליאור: משיים אותם פשוט,

רועי: אז כותבים את השם של הבאנר

ליאור: ברמת הבאנר,

רועי: ב- url, ברמת הבאנר או הקמפיין אז יש utm קמפיין זה הקמפיין, utm source זה פייסבוק עצמו או שמכניסים לתוך הקמפיין גם את השם של הבאנר, זה בתכל'ס מה שבא לכם כדי לזהות מאיפה זה הגיע, אבל בפועל מה שהכי חשוב לדעתי זה שמישהו נרשם, בסדר? הוא נכנס ל- landing page והוא נרשם לצרוב על ה-  user ב- data base שלכם את  ה- data הזה של ה- utm source ו – utm קמפיין, לשמור אותו באיזה cookie וכשהוא נרשם לצרוב את זה, ואז המידע הוא שלכם, אתם יודעים, ה- user הזה צרוב עליו שהוא הגיע מהקמפיין הזה וככה עשינו בהתחלה. כמובן שזה מאוד בסיסי, אחרי זה זה מסתבך אולי לא רוצים על ה- user אלא על ה- visitor, הוא הלך ונרשם אחרי חודשיים אולי הוא ראה אותנו גם בפייסבוק וגם בגוגל ואנחנו רוצים,

ליאור: תכף נגיע למקומות האלה,

רועי: זה כל הבעיות שנכנסות ב- scale, אבל הדבר הכי בסיסי שאפשר לעשות זה landing page נפרד ולצרוב את ה- utm source זה  כבר מביא  ויזיביליות מאוד טובה להתחלה וזה good place to start.

ליאור: אז מה בעצם החשיבות של ה- attribution בנקודת זמן שבה אנחנו נמצאים היום?

רועי: אז היום בעצם כשאנחנו מוציאים כל כך הרבה כסף וכבר הרבה זמן אנחנו מוציאים כל כך הרבה כסף כי זה תמיד היה,

ליאור: היום אנחנו מדברים על שבעה מיליון דולר, נכון?

רועי: בחודש, אבל זה תמיד היה הרבה כסף כי זה הרבה כסף לחברה, גם כשהתחלנו בהתחלה זה היה הרבה כסף,

ליאור: ביחס לחברה, 

רועי: כי זה מה שהיה לנו,

ליאור: כן,

רועי: אז זה תמיד הרבה כסף, אז ה- complexity הוא מאוד גבוה כלומר, אנחנו רצים על המון צ'אנלים ביחד, עם מלא קמפיינים ואנשים נחשפים אליהם ולנו חשוב הבן אדם, מה החוויה שלו? איך הוא רואה את הפרסומות שלנו? מה הוא מבין? ומה בעצם גרם לו לקבל את ההחלטה? למה? כדי שמה שלא גרם לו לקבל את ההחלטה נוכל להוריד ולחסוך את הכסף הזה ולשים אותו במקומות שכן גרמו לו לקבל את ההחלטה. זה עוד יותר מסתבך אצלנו ספציפית כי גם אנחנו יש לנו צוות consulting שבעצם נמדד בפני עצמו במונחים של sales וחשוב לנו גם להבין מה התרומה שלהם לתוך הסיפור הזה,

ליאור: כן, מה שמגדיל את החשיבות למדוד נכון ב- marketing,

רועי:   כן,

ליאור: בגלל שזה מקום מדויק יותר ואתה יכול שם,

רועי: המטרה בסופו של דבר, אם ניקח את ה- high level של הדבר הזה ואיך שהתנהלו מ- day one זה החזר על marketing, אנחנו הוצאנו כסף אנחנו רוצים לדעת תוך כמה זמן הכסף הזה חוזר ואנחנו קוראים לזה try ובעצם זה הדבר היחידי שחשוב וזה ממש מעניין כי הרבה פעמים מסתכלים על conversion  ל paying – כן? זה איזה שהוא נתון, נכנסים X אנשים, כמה מהם משלמים? את האמת, זה לא מעניין אותנו, למה? כי ההחזר על ה- marketing מכיל את הדבר הזה ואני אתן סתם דוגמה, נניח אנחנו הולכים עכשיו לעשות קמפיינים באינדונזיה, בסדר? traffic שם זול. יכול להביא אלף איש שמהם אחד רק ישלם, אז ה- conversion לpaying – יהיה 0.1%, מאוד נמוך אבל אם ה- traffic מאוד מאוד זול אז אולי הבן אדם האחד הזה שישלם יחזיר לי את כל העלות על כל האלף, ואם זה ככה אנחנו ניקח את ההחלטה הזאת ונעשה את זה, ואז נניח זה מאוד מצליח ויש שם הרבה, אז פתאום ה-   conversion שלנו מאוד ירד ב- average אבל זה לא מעניין כי ההחזר נשאר אותו דבר והוא טוב והוא בריא וזה מייצר כלכלה של החברה והיכולת שלנו להיות אגרסיביים ולכן conversion ל- paying –  הוא נתון שהוא נחמד, אנחנו מסתכלים עליו אבל הוא לא מה שמנהל פה את החברה ובטוח לא  את ה- marketing.

ליאור: נכון, זה גם משהו שכל הנושא של troy ו-  cash flow returns דיברנו על זה בצורה מסודרת וארוכה עם כפיר בפרק אחר, בוא נחזור אליך דניאל ונבין שנייה איך זה נראה היום. מה המורכבות שהגענו אליה בעצן עם מודל ה- attribution שלנו?

דניאל: אוקי, אז באמת כמו שרועי אמר, גדלנו ועכשיו יש לנו הרבה ערוצים שאנחנו מפרסמים בהם,

ליאור: כמה ערוצים?

דניאל: עשרות, זה לא סופר כבר, ובאמת זה יוצר מורכבות כי בא לקוח שמגיע לאתר, פלטפורמה, והוא נחשף במקרים להרבה מאוד ערוצים שונים ואנחנו צריכים לדעת להגיד לאנשי שיווק שלנו מה גרם לו לבוא ויש פה מלא מלא ניואנסים שאפשר להיכנס אליהם שאנחנו צריכים לפתור בעצמנו ולתת לאיש שיווק את התשובה הנכונה שהוא יסמוך עליה, יאמין בה, יצא קדימה וימשיך להשקיע כסף במקומות הנכונים. 

ליאור: בוא תיתן לנו ממש דוגמה עוד פעם, יכול להיות בסיסית אבל ממש שנייה, מה זה אומר? למה בכלל יש דילמה מאיפה בן אדם מגיע?

דניאל: הבנתי, אז תחשבו שאתם נוסעים ברכבת ופתחתם את הטלפון שלכם וראיתם פרסומת של Monday ביוטיוב ואחרי זה הגעתם לעבודה והמשכתם לעבוד ופתאום ראיתם באחד האתרים שגלשתם בהם איזה באנר של Monday גם של … שזה אחד מהספקים שלנו של …ואחרי זה חיפשתם בגוגל project management כי יש לכם בעיה בדיוק באזור הזה בעבודה וראיתם את Monday גם באחד הפרסומות שמה ולחצתם על זה,

ליאור: ואז נכנסתם לאינסטגרם כדי לראות את הסטורי של הבת שלכם ואז גם כן Monday קפצה לכם באיזה צבעוניות מגניבה כזאת,

רועי: בוא לא נשכח את יוטיוב עכשיו, כן.

דניאל: ואז יוטיוב חוזר עוד פעם גם, זה נהיה מאוד מסובך ויש הרבה הרבה נקודות מגע של לקוחות עם ה brand של Monday ואנחנו צריכים לדעת לשייך לאחת מהם או אם הולכים רחוק גם לכמה מהם, נקרא לזה, את הלקוח הזה, זאת בעצם כל הבעיה ואיך עושים את זה חכם ונכון ואמין ונכון שזה נראה לי רוב ה- bottom line פה אז זה קשה.

רועי: ומה שאנחנו מנסים להשיג זה לתת יכולת החלטה שמשפיעה משהו, כלומר נניח נחליט שמה שעבד זה איזה שהוא קמפיין לפני שנה שכבר לא קיים יותר וזה מה שהביא את ה- attribution זה לא עוזר לקבל שום החלטה going forward ולשנות שום דבר אז כלומר חשוב, אין פה איזה אמת פואטית לגבי מה גרם בן אדם להחליט זה כנראה קוקטיל של דברים, האתגר פה זה לייצר מצב שמאפשר לנו להתקדם קדימה ושוב לשים את הכסף במקום שעושה הכי הרבה אפקט, 

ליאור: עם רמת ביטחון גבוהה,

רועי: ושאפשר לעשות משהו בנידון, כלומר שאני אקבל איזה שהוא data שאני לעשות איתו משהו לא משהו שלא עוזר לי, בסדר? ופה גם נכנס עניין של זמן, כלומר, מידע שעוזר לי היום לקבל החלטה ומידע שעוזר לנו נניח בסוף החודש לקבל החלטה אולי להזיז תקציבים או כל מיני דברים כאחלה יש הרבה רמות לדבר הזה.

ליאור: אז איך אתם ניגשים לדבר הזה?

דניאל: אוקי, אז מה שאנחנו עושים היום אנחנו בשלב שאנחנו constantly עושים טיוב למודלים שלנו, יש לנו מודל היום,

ליאור: רגע, אז תתחיל ממש מה- basics, בעצם יש לכם מודל. מה זה אומר שיש לכם מודל?

דניאל: אז המודל  הזה, התפקיד שלו בעצם זה לקחת חשבון מסוים, או יותר נכון מבקר באתר ולהבין עבורו, לקחת את כל מה שאנחנו יודעים עליו, מה גרם לו להגיע ל- Monday.

ליאור: עבורו, עבורנו אתה מתכוון, כן,

דניאל: כן,

ליאור: אותו זה פחות מעניין מה גרם לו להגיע ל- Monday אותנו זה יותר מעניין,

דניאל: אנחנו רוצים לדעת למה הוא הגיע ל- Monday וזה ה basic של ה basic, זה מה שהמדד אמור לעשות. עכשיו איך הוא עושה את זה? אז יש הרבה דרכים, יש הרבה חברות שהולכות על מודל פשוט שאומר: ניקח את הדבר הראשון שהוא ראה, וזה הסיבה שהוא הגיעה וזה הסיבה שהוא הגיע, יש חברות שאומרות: ניקח את הדבר האחרון שהוא ראה וזה למה הוא הגיע, שאנחנו עושים משהו שהוא בא שונה, כן אפשר להגיד שאנחנו מחפשים את הדבר האחרון שהוא ראה, אבל אנחנו מסייגים את זה בהרבה הרבה דברים שלמדנו עם הזמן, לדוגמה אם בן אדם הגיע מחיפוש בגוגל של Monday.com כנראה שהוא לא, הכיר את ה- brand שלנו מהאוויר הריק, למרות ששם אנחנו כבר מתחילים לעשות … וכל מיני קמפיינים בניו יורק, עם שלטים אז זה כן קורה יותר

ליאור: ומסבך את ה- attribution,

דניאל: כן,

ליאור:   אבל לפני הקמפיין ה- off line שלנו אז אתה אומר שאם מישהו מחפש בגוגל Monday.com זה סימן שכנראה הוא ראה את זה במקום אחר וככה ה brand נכנס לו לראש.

דניאל: בדיוק, 

ליאור:   ואז אתה תרצה דווקא לשייך את זה למרות שאולי זה היה הדבר האחרון שהוא עשה, לפני שהוא נרשם לפלטפורמה, אתה תרצה, אני רק מנסה שנייה לפשט את הדוגמה, יכול להיות שזה קשור הכלל למודעה ביוטיוב שהוא ראה,

דניאל: בדיוק,

ליאור:   ולכן חשוב לך גם למדוד את יוטיוב בהקשר הזה, לסמן,

דניאל: נכון,

רועי: מה שחשוב להגיד באיך שאנחנו ניגשים לפתרון של הבעיה הזאת זה שאולי, דניאל אמר עכשיו איזה מודל attribution אחרון שיש לנו אבל התשתית מאפשרת לנו לשנות את המודל כל הזמן, כלומר אנחנו אוספים את כל המידע הזה על כל ה- visits כמה שאפשר, גם יש בעיות של cross device וכל מיני דברים כאלה, כמה שאנחנו יכולים,

ליאור: cross device הכוונה שפעם אחת ראיתי ב- desktop ואחר כן מובייל, כן,

רועי: ושיש לנו את כל המידע אז אנחנו יכולים לקבל החלטה ופתאום לראות את כל הנושא של ה- attribution ממבט אחד וממבט אחר ביחד כלומר זה לא ש-, זה משהו עוד נקודה שהיא פשוט סבל אדיר זה שאנחנו אומרים טוב, בוא נשנה את זה עכשיו, עכשיו צריך מחדש להתחיל לאסוף מידע לעתיד, אנחנו אוספים את המידע כדי שנוכל אחורה לבדוק דברים ולעשות סימולציות כדי לראות מה יותר הגיוני ומה פחות הגיוני ואז לשנות את זה,

ליאור: ולתקף את המודלים שלנו כל הזמן בעצם.

רועי: כן, ואני חושב שזה אבולוציוני, אנחנו כל הזמן משנים את הדבר הזה להתאים את זה להמון דברים שמשתנים במוצר בטירגוט ובקהל שלנו ובהמון דברים כל הזמן.

ליאור: אז רועי אומר בעצם שאנחנו אוספים מידע מכל מיני מקומות אתה יכול ככה להרחיב טיפה על זה?

דניאל: כן, אז אם בהתחלה התחלנו עם tracker שהוא מין כזה קוד java script פשוט ששמנו בדפדפן ומאפשר לנו להבין מאיפה הלקוח הזה הגיע על פי ה- url שלו זה היה ממש basic ומשמה התקדמנו הרבה היום אנחנו עושים אינטגרציה עם הרבה הרבה ספקים שונים, עם פייסבוק, גוגל, outbrain, double click ומהם אנחנו רוצים להביא את כל מה שהלקוחות שלנו ראו, בנוסחה פשוטה מה שעושים זה שמים מה שנקרא פיקסל על באתר שלנו והפיקסל הזה שייך בעצם לספקים החיצוניים האלה וככה הם יודעים לדעת שבן אדם הגיע לאתר והם מספרים לנו בדיעבד בדרך כלל יום אחרי שהבן אדם הזה ראה פרסומת שלהם שמה ושמה ושמה וככה אנחנו בעצם אוספים הרבה הרבה יותר פיסות של  מידע על אנשים שמגיעים לאתר אפילו דברים שלא יכולנו להשיג בדרך אחרת.

ליאור: למה דברים שלא יכולנו להשיג בדרך אחרת?

דניאל: כי זה בסוף מידע שהוא שייך ונמצא אצל ה-publisher  החיצוניים, אצל הספקים שלנו ואין לנטו גישה אליו בדרך הרגישה חוץ מהדרך הזאתי.

רועי: מה שאנחנו בעצם מנסים לעשות זה להבין כמה כסף הם עלו לנו. כלומר אנחנו יודעים אם הוא טוב או לא טוב הלקוח הזה כלומר האם קיבלנו ממנו כסף או לא בהקשר הזה, אנחנו רוצים לחבר את זה לקמפיין וכמה הקמפיין הזה עלה או כמה הדבר הזה עלה זה מה שאנחנו נכנסים אליהם ומקבלים את המידע הזה ומפזרים אותו. כל אחד עובד אחרת, כל אחד מהספקים האלה יש דברים שהם יותר ייוריסטיים, כלומר אנחנו עושים איזה שהוא שקלול מסוים זה לא ממש מדויק פר בן אדם, ויש דברים שאנחנו יכולים להשיג רזולוציה יותר גבוהה אבל בסוף אנחנו רוצים להגיד ה- ultimate goal וזה לא נגיע אליו אף פעם כנראה, זה להגיד כמה סנטים או דולרים עלה הבן אדם הזה כדי שהוא יגיע לאתר,

ליאור: מתוך כל פיסות הפאזל שהרכבנו,

רועי: כן, זה ה- ultimate goal , כמה כסף הוא עלה מכל channel? באיזה זמן? וכלומר, אז לא רק מתי הוא נגע בנו אלא כמה כסף כל נגיעה כזאת עלתה ואז יש לנו את כל המידע לבוא ולייצר איזו החלטה שלא נוכל שהיא אינטליגנטית.

ליאור: אגב, ה- attribution זה משהו שהוא אבסולוטי ודיכוטומי? כלומר, אתה נגיד מחליט שאתה צובע את ה- user הזה ביוטיוב אז עכשיו רק לשם ההבנה, כל הכסף, אנחנו מחליטים שהוא שייך לקמפיין של יוטיוב או שאתה מפזר? יש משקולות שונות לקמפיינים?

דניאל: אז נקודה שממש חשובה והיום אנחנו עושים את זה באמת בצורה אחד לאחד ומשתמש תמידי משויך לערוץ אחד ופרסומת אחד למרות שבפועל זה מלא המצב ואנחנו יודעים את זה והתחלנו בצורה הזאתי ועדיין לא הגענו למקום שאנחנו עושים מה שנקרא touch attribution שזה בעצם היכולת להגיד שהלקוח הגיע מכמה  נקודות מגע שונות אם זה יוטיוב ופייסבוק וגול ביחד ולחלק את זה בצורה שווה  או עם משקלים משהו שעדיין לא עושים בצורה שוטפת, אנחנו כן אבל עושים את זה פעם בכמה חודשים בשביל לבודד את עצמנו, זה מודלים שהם יותר מורכבים ומעורבים כל מיני אלגוריתמים של machine learning ואני עושה פה name dropping עכשיו אבל,

ליאור: כן תעשה קצת name dropping סביר שנייה איך אתם עושים את זה,

דניאל: אוקי, אז ביחד עם- 

ליאור: אתה יודע, כולם מדברים על data ופתאום אתה מספר שאתה עושה משהו עם ה data הזה אז לגיטימי לעשות פה name dropping.

דניאל: סבבה, אז אחרי שלקחנו את כל מה שיש לנו, אנחנו זורקים אותו למין אלגוריתם מאוד גדול ומפחיד שבעזרתו אנחנו מצליחים להבין איזה שרשראות של נקודות מגע עם הקמפיינים שלנו, גרמו לבן אדם להתקנוורט, לקוח משלם,

ליאור: כ- pattern?

דניאל: כן.

ליאור: כאילו איזה שרשראות מסוימות?

דניאל: כן בעצם עוברים על כל הפטרן  האפשריים, … יחודיים וכל מיני דברים שחוזרים על עצמם, אבל הרעיון זה לראות את כל השרשראות שקיימות ואיך שהדבר הזה הוא מאחורי הקלעים הוא מוריד נקודה מהשרשת ורואים מה קרה אם היא לא הייתה קיימת ואז ככה אפשר להתחיל להבין את המשקל של כל נקודה בשרשרת ולדעת: אוקי אם מוריד את יוטיוב מהשרשת הזאתי אז אנחנו פשוט מעלימים וכל מי שהגיע מהשרשת הזאתי הוא רלוונטי מאוד ליוטיוב וכל שאר הדברים פחות רלוונטיים אליו, זה ממש כזה בפשטות.

רועי: זה מודל מורכב שעשינו ובפועל אנחנו בודקים את המודל המורכב מול הפשוט והגענו לזה שזה  לא עזר לנו הרבה יותר מידי ללכת למודל מורכב והפשוט הוא זה שאמרנו הוא רק יוטיוב או הוא רק אינסטגרם כי הדלתא שקיבלנו ביכולת קבלת החלטות,

ליאור: זניחה,

רועי: לא הייתה שווה את זה,

ליאור: כן,

רועי:   אז כלומר, זה שזה יכול להיות מאוד מאוד מורכב זה נחמד   
  אבל בסוף אנחנו מנסים,

ליאור: השאלה אם זה משרת אותנו,

רועי: להיות אופרטיביים.

ליאור: כן,

רועי: כן, אז זה שהתחלנו, היינו גם אני חושב, מה היינו first click המון המון זמן כלומר מי שהראשון נגעת נסעת אפילו אחרי הרבה זמן זה גם עבד המון זמן כי בהתחלה לא כולם מודעים אלינו אין user שבוא נגיד, זה לפחות נכון לשוק שלנו, שאם אנחנו עושים פרסומת בגוגל ובפייסבוק זה probably לא יהיה אותו בן אדם הרי אין הרבה חפיפות בניהם כי השוק גדול ואנחנו לא עושים הרבה, 

ליאור: לא עושים הרבה ביחס למה?

רועי: כלומר אם את ראית אותנו בפייסבוק, כנראה שרק שם ראית אותנו ואם ראית אותנו בגוגל כנראה שרק שם ראית אותנו, למה? כי השוק שלנו הוא מאוד מאוד גדול. בשווקים קטנים שיש לך מעט מאוד אנשים, כנראה שהבעיה הזאת תקרה גם ב scale נמוך יותר אבל זה definitely לא מה שצריך לעשות ב day one או ב -day two אפילו הדברים האלה זה כשרואים שיש הרבה טאצ'ים ואז מתחילות השאלות, אז קודם כל הייתי רואה שיש הרבה טאצ'ים ואז מתחיל להסתבך עם הדבר הזה ולא,

ליאור: וכדי לראות שיש  הרבה טאצ'ים צריך למדוד ועוד פעם חוזרים ל- tracking שדיברנו עליו מקודם,

רועי: כן,

ליאור: אנחנו עושים tracking ביוטיוב ? ואני אסביר שנייה למה אני מתעכבת ספציפית על יוטיוב. כשאנחנו רואים מודעה בפייסבוק זה מאוד ברור שלחצנו על המודעה ועכשיו ה- tracking ששמנו בעצם על הפעולה הזאת של הלחיצה אבל ביוטיוב, אם אני מבינה נכון, אם אני מסתכלת אפילו פנימה על עצמי הדברים קצת מסתבכים. לא תמיד יש לינק וגם שיש לינק לא תמיד אני אלחץ עליו ברגע שראיתי אותו ויכול להיות שראיתי את המודעה לשנייה והתחלתי לראות את הסרטון מוזיקה שרציתי והדבר הזה מהדהד לי בראש מה, איך אתם מתמודדים עם הדבר הזה? איך אנחנו מתמודדים עם הדבר הזה?

דניאל: אז מה שאנחנו  בעצם עושים פה וזו נקודה סופר חשובה כי בסוף אנחנו יודעים היום להגיד שרוב ה- traffic האיכותי שלנו מיוטיוב מגיע בדיוק מאנשים שראו ולא לחצו ומי שלחץ פחות רלוונטי,

ליאור: אנחנו בכלל נותנים להם את האפשרות ללחוץ? זאת אומרת זה גם כן קרה?

דניאל: זה קורה וזה קיים ויש … אפילו אבל  בסוף למדנו וראינו אז מי שמגיע מצפייה ולא לחיצה בסוף הוא הרבה יותר איכותי ויותר מתקנוורט ויותר משתלם.

רועי: זה אחד לתשע כאילו,

דניאל: משהו לא הגיוני.

רועי: כאילו, זה יחס מאוד גבוה ללא קליל.

ליאור: אוקי אז כבר קפצת לסוף על האיכות, אבל איך אתה יודע שזה איכותי? אז איך כן מודדים את זה בעצם?

דניאל: אז מה שאנחנו עושים, אנחנו עושים אינטגרציה עם אחד הספקים של גוגל שהוא קוראים לו double click,

רועי: הם כבר קנו אותם.

דניאל: הם כבר קנו אותם, כן, גוגל, ובעזרתם אנחנו מקבלים כל לילה את הנתונים על כל מי שרק צפה ולא לאו דווקא לחץ על פרסומת של Monday , אבל זה מחייב אותנו בגלל שהבן אדם הזה גם מתי שהוא נכנס ל- Monday, כלומר אם את רק ראית פרסומת ואף פעם לא הגעת ל- Monday אנחנו לא נדע להגיד שאת ראית את הפרסומת.

ליאור: זה גם פחות מעניין אותנו בשלב הזה.

דניאל: נכון, ובעזרת הנתונים שאנחנו מקבלים כל לילה, אנחנו יכולים להגיד, שבדיעבד אפילו לרוב זה קורה, כי יכול להיות שאם תסתכלי עכשיו על הנתונים של יוטיוב אז תראי שם הרבה מאוד קליקים ואין כמעט מה שנקרא אימפרשנים וזה צפיות ואם תסתכלי בעוד שבוע, תראי שאותו קמפיין באותו יום של אתמול כביכול, הוא הרבה יותר חזק במבחן ה- מבחן האימפרשנים, פתאום נוספו לשמה והוא גדל משמעותית.

ליאור: אז איך זה קורה?

דניאל: אז אנחנו מורידים כל לילה את הדוח הזה ובעזרת המדד attribution אנחנו יודעים להגיד שהאימפרשן שקרה הוא קרה ממש קרוב לזמן הכניסה לפלטפורמה ואנחנו החלטנו החלטה מודעת אחרי שראינו את ההתנהגות בעולם, שאנחנו רוצים להיות יותר כוח לאימפרשנים כאלה שקרובים להרשמה,

ליאור: מה זה קרובים? איך הגדרנו קרובים?

דניאל: הגדרנו קרובים כאפשר להגיד בצורה די-

ליאור: לא, הכוונה היא בשעות? כאילו מה זה קרוב? ימים? חודשים?

דניאל: בתור 24 שעות מזמן ההרשמה מספר שבחרנו אחרי שקצת ראינו מה קורה וזה בעצם איפשר ליוטיוב כערוץ לצמוח בצורה הרבה יותר אמיתית וטובה ותת לנו לשים את הכסף במקומות הנכונים והרבה מקומות לא מצליחים להגיע בכלל להשקיע ביוטיוב ואנחנו, זה אחד הערוצים הכי מרכזיים שלנו.

רועי: אני חושב שזה נקודה שנגעת בה שהיא מאוד מהותית, עשית את ההפרדה בין פייסבוק ליוטיוב אבל הקטע המצחיק שגם לפייסבוק יש המון כזה, כלומר, שאנשים, אנחנו עושים פרסומת שהיא direct response ומודדים את הקליקים אבל יש המון אנשים זה נכנס להם לראש,

ליאור: כ- אימפרשן.

רועי: כ- Monday, נהדר, פעם הבאה שאני צריך משהו, ופייסבוק נניח בתור דוגמה, זה גם האפקט הזה שם הוא מאוד מאוד חזק ואי אפשר למדוד אותו, כלומר, אם כל הנושאים של ה- privacy והכל וגם ביוטיוב זה מאוד בעייתי, אנחנו לא יכולים לקבל את המידע הזה וזה נניח בוא נגיד, אנחנו התחלנו רק בפייסבוק כשהתחלנו ואז היה קל לראות את זה ממש התחלנו מדינה חדשה וראינו שהקליקים, מה שאנחנו עושים לו tracking הוא  ב- volume מסוים ויש עוד מה שקראנו לו הילה מאוד גבוהה שעוקבת אחרי הדבר הזה,

ליאור: קראנו לזה halo effect,

רועי: כן, זה בתורכיה כן נניח התחלנו לא היה לנו כלום ופתאום מלא דברים אורגניים שאנחנו לא יודעים הם יודעים מה זה Monday וזה, זה ברור שזה היה מפייסבוק כי התחלנו בדיוק את הפייסבוק

ליאור: כלומר, ברור שזה לא אורגני באמת.

רועי: אז היה לנו מאוד קל לבוא ולהגיד שיש את הדבר הזה מאוד חזק בפייסבוק הבעיה זה שאי אפשר לעשות איתו tracking ברזולוציה מאוד גבוהה ואני חושב שזה נקודה שהיא תמיד לחסר של פייסבוק,

ליאור: תסביר שנייה למה, עד כמה זה בעייתי ברמה האופרטיבית? מה אנחנו נדרשים לעשות עם השבעה מיליון דולר האלה?

רועי: כי אנשים מקבלים החלטות עם data, בסדר? מה שאת רואה, זה מה שאת יודעת לקבל החלטות, אין לך data, קשה לך לקבל החלטות,

ליאור: כלומר, התקציב של פייסבוק בחודש הבא לא יעלה בעקבות זה שאנחנו לא יודעים להראות את ה-

רועי: וגם לא נשים אותו במקום הנכון ולא נדחוף את זה מספיק קדימה זה לא עניין של אפילו עוד תקציב, זה עניין של לתת לקמפיין מסוים לרוץ במקום להרוג אותו כי נגיד: רגע, הוא לא עובד בכלל אפילו על הקמפיין הבודד, עשינו טירגוט מסוים יכול להיות שהוא ממש ממש ממש עובד ולא נדע את זה, וזה אתגר היום אני חושב שהוא כללי לכל תחום הפרסום און ליין של הקו הזה בין בואי נגיד privacy וכל ה gdpr לבין יכולת של מפרסמים לדעת שהם עושים את הדבר המכון בעצם, שמשהו שהוא עבד והוא נכון והוא טוב והוא אפקטיבי והוא רלוונטי, בסדר? אז יש את הקו שהוא איפה שהוא עובר ואני חושב שזה בעיה שהיא כללית,

ליאור: ועם ההבנה הבסיסית האנושית שבן אדם אולי נחשף לאיזה שהוא מידע ולא בהכרח מקבל מיידית החלטה, נכון?

רועי: ברור,

ליאור: זאת התזה בעצם ש-

רועי: אנחנו, ככה הגדרנו את זה בהתחלה של השיחה, אותנו מעניין מהי נקודת ההחלטה וההשפעה אני רוצה לדעת שעשיתי משהו שהוא רלוונטי. יש לנו המון אנשים על הפרסומות שלנו שכותבים: woww' tell your marketing guys your genius, just when I had the problem I saw the ad אז כאילו זה המטרה של להגיד brilliant ad in the right place,

ליאור: לדעת את זה במאות אלפים של האנשים,

רועי: שזה עוזר לאנשים,

ליאור: כן,

רועי: זה המטרה, המטרה זה  בוא נגיד ה- ultimate goal זה שכל אחד יראה מודעה אחת, ילחץ עליה ונראה רק את המודעות הכי רלוונטיות שעוזרות לנו בחיים, בסדר? בדרך צריך הרבה אנשים שיראו את זה כי זה פשוט לא אפקטיבי, אז אני חושב שיוטיוב יותר מאפשרים את הדבר הזה פייסבוק פחות ואבל עדיין יש להם מילה ענקית.

ליאור: יש לנו צ'אנלים שיש להם על פניו הילה ענקית אבל בפועל אנחנו מבינים שזה לא נכון? כלומר, מקרה הפוך?

דניאל: אז באמת, ממש לא מזמן אחד הערוצים שאנחנו עובדים איתם, outbrain, ראינו שהוא מבצע בצורה ממש ממש פנומנלית החזרים להשקעה שלנו, אם בדרך כלל אנחנו מצפים לעשרים אחוז תוך עשרים ואחד יום, אז הוא הגיע פתאום לשמונים אחוז תוך עשרים ואחד יום, לא רואים דברים כאלה, משהו פה לא בסדר זה מריח לא בסדר,

ליאור: כן זה כבר ה-

דניאל: אנשים ב-marketing באים אלינו ואומרים איך זה יכול להיות?

ליאור: זה כבר ההסתכלות המציאותית שלנו אחרי שכבר קיבלנו כמה קביעות מדברים שהתנהגו הוא נורא טוב ובאופן מפתיע אז אתה לא אומר: וואו אולי עלינו על משהו, אתה אומר, רגע משהו מריח לי לא טוב,

דניאל: כן ובאמת מגיעים אנשי ה- Marketing ואומרים: רגע, כאילו זה לא יכול להיות הגיוני בואו נתחיל להבין מה קורה פה, ואז אנחנו מתחילים לחקור מה שקורה מתחת לשטח ולהבין מה אנשים שמשויכים ל- outbrain, מה הם באמת ראו ומה קורה שם? ואנחנו פתאום מגלים תמונה שהאנשים האלה נצבעו בהרבה הרבה הרבה צפיות במודעות של outbrain רגע, זה לא כזה הגיוני ואז חוקרים עוד ואז מבינים שב- outbrain לפעמים נותנים … לבן אדם להגיד שהוא ראה מודעה מסוימת גם אם הוא לא ראה אותה בפועל היא הייתה מתחת ל scroll שלו בדף ולא below the fold וזה נותן תמונה שקרית לגבי המציאות והמנגנון שלנו  של ה- attribution שלנו באותה נקודה הוא לא יודע בכלל לאכול את הדבר הזה ומבחינתו outbrain זה הדבר האחרון שהבן אדם הזה ראה וזה ערוץ שאנחנו מאמינים לו שאם זה דבר אחרון אז זה דבר אחרון שהוא ראה, והתחלנו לשייך הרבה הרבה לקוחות לoutbrain- וההשפעה של זה היא מאוד לא טובה עבורנו כי בסוף אנחנו גם מראים להם, ל- marketing שהערוץ outbrain הוא מתפקד מאוד מאוד טוב והוא לא, מצד שני, אנחנו לוקחים להם את הלקוחות האלה שהגיעו מקמפיינים אחרים שהם כן עובדים טוב לדוגמה פייסבוק וגוגל ושמה הן יראו תמונה שהיא פחות טובה מהמציאות ולא ישימו את הכסף כמו שהם רוצים לשים אותו ובסוף יגיעו להחלטות לא נכונות, 

ליאור: כמה מהר עלינו על זה?

דניאל: צריך להגיד יחסית מהר כי בסוף זה צועק לעין שה- RY הוא מאוד מאוד מאוד טוב,

ליאור: מה זה יחסית מהר?

דניאל: בערך שבועיים שלוש ברגע שהכסף התחיל להיכנס, עד שאנשים לא מתקנוורטים לא משלמים אתה לא יודע בדיוק מה הולך לקרות

ליאור: ובגלל שיש לנו trail של שבועיים אז יש את ה leg הזה של,

דניאל: כן,

ליאור: מהרגע של המודעה עד הרגע שהם תחילו לשלם.

רועי: חשוב להגיד פה שכל channel וההתנהגות שלו, כלומר אין פה משהו בהכרח טוב או לא טוב ב outbrain זה ככה הם מתנהגים, יש להם מלא מודעות קטנות בסוף של כתבות בערוצים שכולם הולכים אליהם, לא יודע CNN , ynet  או לא יודע אולי אני טועה ב-

ליאור: בשיוך, כן,

רועי: בשיוך אבל,

ליאור: אולם הם לקוחות של טאבולה,

רועי: בסוף של מודעות, כן זהו והעניין הוא שככה זה עובד שם וזה הגיוני רק צריך להבין את זה כלומר כל מדיה ואיך שהיא, איך שאנשים מגיבים אליה, אז זה שמישהו ראה שם מודעה זה לא אומר שזה השפיע עליו, בסדר? זה התפקיד שלנו לבוא ולעשות את השיוך הזה,

ליאור: כלומר, הפער הוא ביחס למודל שהיה לנו באותו רגע, לא בהכרח ביחס למציאות

רועי: כן, והבנה של מה האפקט שנגרם ממודעה, יכול להיות שעכשיו אנחנו נעבוד על הדבר הזה, ונבין בדיוק בתור מה שנקרא משווקים מה החתימה הזאת שאני חושב שיש לה המון משמעות בתחתית של כתבות שקוראים מסוגים שונים, ונפעל עם זה ואז נגיע לתוצאות מאוד טובות כי יש לה איזה שהיא חתימה וצריך להגיע למקום שזה ההשפעה על אנשים והחשיפה שלהם אליהם זה לא עניין של טוב או רע,

ליאור: אז אתה גם מתייחס לזה שבעצם המדידה היא לא בוואקום, כלומר זה קשור כן למאמצים שאנחנו עשינו, להבנה שלנו את הפורמט,

רועי: כן, בעצם מה זה שיווק בכלל? זה תקשורת שלנו בתור חברה אל אנשים, הסיסמא פה , הסיבה היחידה היא שכל האנשים על כדור הארץ משתמשים ב- Monday זה כי הם לא יודעים שזה קיים, אז זה הדרך שלנו שהם ידעו שזה קיים ויבינו את הערך ויבינו איך זה מתחבר להם לחיים, זה התפקיד של ה- marketing וכל ערוץ יש לו את הדרך שלו להגיע לזה ואנחנו צריכים להבין אם אנחנו א' הצלחנו לתקשר בערוץ הזה בצורה אפקטיבית או לא וזה בעצם,

ליאור: הסיבה למדוד את כל אירוע הזה

רועי: ה- data, כן,

דניאל: זה רק כדי את כל הסיפור של ה- outbrainבאמת ראינו את הבעיה הזאתי וחקרנו את מה שקורה מתחת לפני השטח וביחד עם אנשים מה- marketing והבנו שיש פה מקום לשינוי במודל והלכנו ואמרנו: טוב, רוב הסיכויים שאם ה outbrain היה ביחד עם עוד ערוצים בזמן הקרוב להרשמה, כנראה שה-outbrain הוא לא גרם לאדם הזה להירשם אבל אם ה outbrain היה לבד קרוב להרשמה שזה סדר גודל של שבוע לפני ההרשמה אז כנראה שהוא כן גרם לדבר הזה לקרות ואחרי שעשינו שינוי במודל ראינו שבעצם בהשוואה למודל הקיים, outbrain עדיין מתפקד מאוד מאוד טוב באחוזים של ROY של ה… גם אז היו מעל 20%, כמעט 30% וזה אומר שהוא היחיד שהבן אדם הזה ראה וככה בעצם גם החזרנו את ה- ROY האבוד למקומות הנכונים וגם נתנו ל- marketing שלנו להאמין בערוץ הזה ולהמשיך להשקיע בו ולגדול בו ומאז הוא גודל.

ליאור: רועי, התייחסת ממש בהתחלה ל troy שבאמת כל מי שמבקר אצלנו במשרד די מהר נחשף לזה שזה ה- kpis המרכזיים בדרך שלנו למדוד את ה- marketing ובכלל, איך אנחנו מודדים את ה- ROY ביחס לצ'אנלים השונים? האם גם שם יש איזה שהוא עניין של ה- attribution ומה החשיבות שאנחנו נותנים לזה?

רועי: טוב ששאלת. זה אחד הנקודות החשובות המטרה היא בסופו של דבר להגיע לאותו try זה לא מעניין, כשאנחנו מוציאים את הדולר הוא כואב פה וכואב פה באותה צורה, כלומר אנחנו רוצים שזה יהיה אותו החזר בכל הערוצים,

ליאור: באותו קצב,

רועי: באותו קצב בדיוק, כלומר זה המטרה לנסות, עכשיו מה זה אומר? זה אומר שאם יש לי ערוץ שה- performance מבחינת החזר הוא פנומנלי, כן? ואני יכול לממן את זה, בסוף זה עניין של מימון, כמה כסף שיש לי בבנק כדי לקבל איזה שהוא החזר מסוים שמאפשר לי להמשיך לצמוח ולגלגל את הכסף לצמוח עוד אז אם יש ערוץ שהוא עם החזר מאוד מהיר אז אנחנו נרצה לשים יותר כסף כדי שההחזר שלו יהפוך להיות פחות מהיר זה לא אינטואיטיבי כל כך, למה? כדי להרוויח scale, בסדר? לעומת זאת אם יש ערוץ שההחזר בו הוא לא טוב,

ליאור: מבחינת הקצב,

רועי: בדרך כלל, מבחינת, נניח דניאל הזכיר פה אחרי עשרים ואחת יום מה ההחזר, אנחנו כרגע מודדים את זה ככה כדי לקבל תשובה מהירה, לא ל-100%, אלא אחרי עשרים אחת יום לבדוק איפה אנחנו נמצאים,

ליאור: כן, וזאת הנקודה שבה אנחנו משווים בין כל הצ'אנלים,

רועי: כן, יש המון חברות שאומרות אנחנו צריכים לקבל החזר תוך שנה, אנחנו באזור השבעה- שמונה חודשים, אז אנחנו רוצים לוודא שכולם נמצאים בשבעה- שמונה חודשים החזר כלומר הוצאנו כסף, אנחנו רואים מאה אחוז מהכסף הזה חזרה אחרי שבעה- שמונה חודשים, 

ליאור: לא משנה באיזה channel פרסמנו או באיזה קמפיין.

רועי: כן, זה האוטופיה, כן? בפועל זה קשה מאוד להגיע לשם אבל אני חושב שזה עוד אחת מהמשימות של ה big brain, לנסות להגיע לשם, עכשיו למה? כי אם אנחנו יכולים לקחת כסף מקמפיין אפילו זה לא חייב להיות בין ערוצים, זה יכול להיות בתוך אותו ערוץ בין קמפיינים שונים, להוריד טיפה כסף מקמפיין מסוים, בסדר? גורם לביצועים שלו בדרך כלל להיות יותר טובים כלומר, קהל יותר קטן, מטורגט וספציפי עובד יותר טוב וככל שמרחיבים זה עובד פחות טוב, בסדר? זה נכון ל keyword וגוגל זה נכון לפייסבוק לכמה שעושים … לקהל מסוים, זה נכון להרבה צ'אנלים, אז להוריד תקציב בדרך כלל, לא תמיד, ובטוח זה לא מתנהג בצורה מדעית, שמורידים וזה עולה, אבל בדרך כלל אם מורידים, הביצועים עולים אז אנחנו נרצה להוריד את התקציב ממקום שפחות עובד ולהעביר אותו למקום שיותר עובד, זה יכול להיות בין קמפיינים באותו channel, זה יכול להיות בין צ'אנלים, זה יכול להיות, כמובן שאין לנו שום הגבלת תקציב, כלומר כל עוד אנחנו עושים performance בשבעה חודשים אנחנו נעשה scale ונמשיך לגדול כי זה פשוט מקיים את עצמו וזה טוב לנו אז זה אחד הדברים שהכי קשה לעשות, זה מודלים שלcross channel attribution  ובתוך channel attribution אבל זה ה- ultimate goal.

ליאור: מה זה דורש מכם, דניאל, ברמת ה- big brain ? ובעבודה שלך מול ה- marketing?

דניאל: אוקי, אז מה שאנחנו עושים זה לעבוד ביחד עם אנשי ה- marketing, לדוגמה אני עובד עם גיל שהוא אחראי על ה- … של ה- marketing והערוצים שהוא עובד עליהם הם בדרך כלל הערוצים שהם יותר לוקח להם זמם להגיע ל- roy הטוב הזה, מה שכן אם מסתכלים עליהם תוך שלוש שבועות מהתחלה של ה-   שזה  בעצם (ל.ב) שם אז אם יש roy הוא לא כזה טוב, אם נסתכל שבוע אחרי זה, פתאום ה roy יהיה מאוד טוב, יש פה כמה דברים שצריך לקחת בחשבון, אחד שאנחנו מקבלים את המידע מהספקים שלנו באיחור ואז התמונה היא לא מלאה בשבוע הראשון וגם בשבועיים הראשונים ופתאום אחרי שלוש שבועות וארבע שבועות היא נהיית הרבה יותר מלאה ונכונה. אז גם לעזור להם להבין את זה, להבין את זה בעצמנו ולתת להם את התמונה המלאה שלא יעלו קמפיין בטרם עת וגם ביחד איתם להתחיל לשפר את המנגנונים שאנחנו מריצים ברקע בשביל גם להביא את זה יותר מוקדם ולעזור להם לנבות מה יקרה בעתיד על פי מה שאנחנו ראינו פעם.

ליאור: כן, כל הנושא הזה של ניבוי, אנחנו נגענו בו קצת גם ב- ab test מה שאז אבירם קרא לו proxy, נכון? כאילו איך אנחנו מאפשרים לעצמנו לחזות כמה שיותר מהר איך קמפיין יתפקד כדי לסכן כמה שפחות כסף במובן הזה. נכון?

דניאל: נכון, המטרה זה בעצם להבין מה קרה פעם, לזהות טרנד, שאנחנו יכולים להאמין בו גם ולא סתם טרנד שיכול להיות שהוא שיקרי, ולהציג להם את זה בצורה מאוד מאוד פשוטה ונכונה שגם הם יאמינו לה וגם יוכלו לצרוך אותה ולעשות פעולות בעקבותיה, אם לדוגמה עכשיו גיל ידע להגיד שהקמפיין שבדרך כלל תוך עשרים ואחד הוא לא נראה טוב אבל תוך שלושים וחמש יום טוב הוא נראה מאוד מאוד טוב אז אני אגיד לו את זה והוא ידע להבין את זה אז הקמפיין הזה הוא ימשיך להשקיע בו כסף והוא לא יוריד אותו לפני הזמן, זה בעצם ה- bottom line.

רועי: זה אחת החוזקות גם של big brain זה שאנחנו יכולים לנרמל את ה- ui, כלומר שאנשים יכולים להבין את אותם דברים באופן עקבי באותה צורה, ולא רק עובדה שעושים prediction וכאלה שבאותו מקום פר channel ופר, שוב נגענו על הקטע של ה- attribution שהוא שונה בכל channel, כל channel יש לו את ההתנהגות שלו מתי יש לנו את ה- data? איך היוזרים מגיבים? המון, המון, המון דברים שונים,

ליאור: וזה שאנחנו אוספים את הכל למקום אחד, אנחנו בעצם יכולים להפעיל את אותם החוקים על כל הדברים האלה.

רועי: כן, אבל בצורה שונה שמתאימה לכל channel ששוב תעזור לנו להיות אופרטיביים  על ה channel עצמו.

ליאור: כן, אני אגיד משהו שנשמע קלישאתי אבל הוא באמת מתחבר לי פה, תמיד מדברים על איך הופכים data ל-insights ונראה לי שמה שעולה ממה שאתה מתאר כאן דניאל, ומהאינפוטים של רועי זה שה- data לכשעצמו לא ייתן לנו תמונה שאפשר לעבוד איתה as is, כן צריך לעשות איזה שהן מניפולציות ולהבין כמה דברים לפני שניגשים ופועלים מתוך מה שרואים.

דניאל: נכון, יש הרים של data, על כל בן אדם שמגיע יש לנו לפעמים עשרות של רשומות של מה הוא ראה לפני זה ואיפה הוא היה והאיזה עמודים הוא היה ואפילו ברמת, מתוך הממוצע שלנו, הוא ראה אפילו כמה landing pages,  איזה landing page  רלוונטי? מה גרם לו ללחוץ על הכפתור? דרוש הרבה הרבה לעיסה של הדברים ואיחוד שלהם והבנה שלפעמים בן אדם יכול, בן אדם לא יוכל לעשות אותם בעצמו בשביל שנוכל לעשות אופרציה ל- data הזה. אם לא היה את כל הדברים האלה, מה שהיה קורה בסוף, אז האנשים שב- marketing  (ל.ב) אקסל, דוחות שהם מורידים מכל הפאבלישרים, מנסים לחבר אותם ביחד וגם אז הם מגיעים לרזולוציה מאוד מאוד מאוד לא חדה הם יבינו: אוקי, אז גוגל עובד יותר טוב מפייסבוק, פה זה יגמר בערך, ומקסימום,

ליאור: וזה לא apples to apples אם אומרים,

דניאל: לא רק שזה apples to apples, זה גם לא … שאתה יכול לפעול על פיו, אוקי אז תשים עוד אלף דולר בפייסבוק? איפה בפייסבוק? באיזה קמפיין? זה עניין כבר אי אפשר להשוות, כי אם תשאל כל publisher מה הוא הביא לך הוא יגיד שהוא הביא לך את כולם ואז אתה לא יכול לעבוד עם זה באמת.

ליאור: שזה חוזר גם למה שרועי אמר בהתחלה על הביטחון שלנו לצמוח כל כך מהר ולהגדיל את התקציבים מחודש לחודש בכזאתי אינטנסיביות ומהירות.

רועי: לגמרי אני יכול להביא את הדוגמה אולי הראשונה שהייתה לבעיה הזאתי זה שהוצאנו data מהצ'אנלים הוצאנו את ה data שלנו, חיברנו אותם באקסל ועשינו מה שנקרא pivot table זה view שעושה אגריגציה. עכשיו ה default של אקסל ל view הזה הוא average ואז, כלומר, הוא עושה אגרגציה לקמפיין ועושה average ואז המון אנשים החליטו על ה- average עכשיו מה זה אומר שהם החליטו על ה- average? הקמפיין היה טוב טוב טוב טוב התחיל להיות ממש לא טוב, לא טוב הוא לא אפקטיבי צריך להרוג אותו, אבל ב- average הוא היה עדיין טוב כי הוא היה טוב מאוד בהתחלה ושוב הם היו פותחים ומסתכלים וכאלה אבל כל פעם שוכחים את זה כי ה ui בעצם מכשיל אותם כי הוא שם את זה ב- average עכשיו, אם ננסה לתרגם את הימים האלה לכסף, כל קמפיין הוא יכול להוציא דברים שונים אבל באווראג'ים הקמפיין שלנו אז אני חושב, חיו מעט מאוד זמן אז שבועיים, כן? זה אומר שאנחנו מבזבזים עשרים וחמש אחוז מהכסף במקום לא טוב שזה מאוד משמעותי ואפילו לפעמים יותר כי הם ממש הצליחו בהתחלה ואז הם ממש לא הצליחו אחרי זה , זה הרסני,

ליאור: לאיזה מספר אבסולוטי אנחנו מגיעים מכל החישוב הזה?

רועי: לנזק שנוצר מההסתכלות הזאת על האקסל? קשה למדוד אותו אבל זה היה באמת עשרים וחמש אחוז מכל התקציב אז אם הוצאנו מיליון דולר זה יכול להיות מאתיים חמישים אלף דולר באותו חודש, אבל יותר גרוע מזה  אפילו, זה גם לא איפשר לנו לצמוח כי הסתכלנו על הכל בצורה שהיא פחות טובה אז לפעמים שאת רואה דברים שהם יותר טובים, את מוכנה להשקיע עליהם אפילו פי שתיים אז אולי זה עצר לנו את הצמיחה בחצי ושמה אני חושב בנקודה הזאתי העברנו הרבה מהדברים ל- big brain זה גם חסך אז אני זוכר שעות של עבודה ביום להוציא את המידע מפה, להוציא אותו מהאקסל, לחבר אותו ביחד, אבל זה גם איפשר לנו לתת לכולם תמונה אחידה שהיא על ה- worth case, על last day בעצם ולא ה- average.

ליאור: דניאל, מה עדיין לא פיצחנו בהקשר של ה- attribution? איפה היום אנחנו מתמודדים עם אתגרים?

דניאל: אז יש הרבה אתגרים ועל קצה המזלג, אז יש מה שנקרא multi touch… שדיברנו מקודם, שזה בעצם לשייך בן אדם אחד לכמה פרסומות שונות שהוא ראה והאם יש … ביניהם ואנחנו לא, אנחנו עדיין בדרך להגיע לשם ואנחנו לא יודעים אם זה הדבר הנכון את האמת כרגע, כי אנחנו כל הזמן עושים את הבדיקה על עצמנו לראות שאנחנו בעצם בכיוון הנכון עם המודל הפשוט שלנו יחסית ואולי אני חושב שבעתיד כן נגיע ל- … וזה משהו שהרבה אנשים מדברים עליו והוא כזה (ל.ב) את העשייה אבל גם מאוד קשה לבצע אותו ולפעול על פיו אחד הבעיות זה להסביר לאנשים ב- marketing למה משהו קרה והחלטנו ככה ונהיה מודל כזה שהוא data science ואנחנו לא יודעים בדיוק להסביר אותו וזה כל מיני דברים שמפריעים לאופרציות  יותר משעוזרים לה, אז זה בעיה אחת שיש לנו, ובעיה שנייה זה אופן ה- marketing שאנחנו מתחילים עם קמפיינים מאוד גדולים ביו יורק, סן פרנסיסקו ו-

ליאור: בסאבוואי, בילבורדס,

דניאל: כן, וזה גורם לאנשים להגיע ואין לנו מידע למה הם הגיעו, הם פשוט נחתו בתוך הפלטפורמה וזה עוד משהו שהשיווק שלנו אין לנו פתרון טוב עבורו והגיע להבנה שהבן אדם הגיע מהבילבורד הזה או מהסאבווי הזה עדיין אנחנו לא יכולים להגיד את זה לגמרי טוב,

ליאור: או כמו שהיינו רוצים לפחות,

דניאל: כן.

ליאור: כן, נחשוב שנייה על המעבר ממצב שאנחנו יודעים להגיד ברמת המודעה ברמת הקמפיין על המצב שמישהו ראה עכשיו, נסע בכביש ראה עשר מודעות, עשרה בילבורדים ואין לנו מושג אפילו איך הם השפיעו עליו.

רועי: עכשיו במצב אקספרימנטלי על נושא ה brand אבל מה שברור זה ש..

ליאור: רגע, אמרת את המשפט הזה, שווה שנייה להתעכב על מה זה אומר כשאתה אומר שאנחנו במצב ניסוי

רועי: experiment זה אומר שאנחנו פשוט, אין לנו אין לנו מושג מה אנחנו, זה נקרא experiment, בסדר? אז אנחנו פשוט עושים במקום לחשוב, אז שמנו תקציב שאנחנו פשוט מנסים as best we can, ואנחנו כן מנסים למדוד את זה, עכשיו, מה שהגענו אליו עד עכשיו, נניח הקמפיין הראשון בניו יורק פשוט קנינו את המדיה ואז הבנו מה אנחנו הולכים לעשות בסדר? זה היה פשוט הפוך, בוא נתחיל לעשות את זה ואז נבין מה עושים, יצא טוב אבל לעומת הקמפיין השני שעשינו בניו יורק, בוא נגיד עשינו מדידה של lift בכמות ה- visits באזור כלומר, כמה יותר אנשים באותו אזור גיאוגרפי מאוד גדול, בסדר? לא מטורגט, מנהטן פלוס, הגיעו אלינו לאתר? אז הקמפיין הראשון היה X , הקמפיין השני בניו יורק שהוא אחרי שלמדנו איך לעשות את זה יותר טוב זה היה הרבה יותר טוב זה היה X10 מבחינת האפקט, כן? להגיד מה זה עשה ל-brand awareness זה הדברים שאנחנו עדיין מגלים איך למדוד אותם,  אבל זה לא שאין לנו מדידה היא פשוט לא החזר על הכסף זה כבר לא troy זה כמה כסף אנחנו מוכנים בתור חברה לשים על זה שיותר אנשים יכירו אותנו וכבר החלטות מסוג שונות אבל גם שם אנחנו מתעקשים מאוד למדוד את האפקטיביות ב kpi  הזה בזה שיותר אנשים יכירו, בסדר? מה ה- value של זה? זה כבר שאלה ממה שבדקנו, לאף אחד אין תשובה. מה ה- value של זה אבל ברור שיש value קשה מאוד לכמת אותו ברמת הדולר כמו שקל ב- direct response אבל זה מאוד חשוב.

ליאור: דניאל, ככה לסיום, אם מישהו עכשיו מתמודד לראשונה עם שאלות של attribution ומדידה, יש לך איזה שהם טיפים לתת?

דניאל: כן, אז קודם כל תתחילו לאסוף את ה- data וזה הכי חשוב כדי שתוכלו בכלל להבין את המציאות ומה הלקוחות שלכם חווים כי בלי זה אתם פשוט לא תדעו מה קרה ו- you don't know, you don't know, לא צריך מודל מורכב על ההתחלה, אפשר גם ללכת עם מודל פשוט ומה שאמרנו בהתחלה first touch או last touch הדבר האחרון או הראשון שהוא ראה ותראו מה קורה ומתקדמים עם זה ותשפרו את זה כל הזמן כי באמת זה תהליך (ל.ב), ברגע שאתם מתחילים לפרסם ביותר מערוץ אחד אז כן תתחילו להיות מודעים לחפיפה בין הערוצים אם הלקוחות שלכם ראו, אם רובם ראו כל אחד פרסומת בערוץ אחד אז המודל שלכם יהיה בסדר אבל אם הם יתחילו לראות פרסומות בשתי ערוצים במקביל, צריך להתחיל להבין מה עושים פה ומה נכון. ודבר אחרון זה באמת, אולי הכי חשוב, זה לא לקבל החלטה זה הרבה יותר גרוע מלקבל החלטה לא נכונה, לטעות זה בסדר וכל המודלים בסוף יטעו מתי שהוא כי המודלים משתנים כל הזמן, והטריק זה באמת להיות דינמיים ולהבין כשיש בעיה ולשנות אותה כמה שיותר מהר.

רועי: אז אני אחזור ל- basics כלומר, איך להתחיל, ואני חושב שדיברנו פה הרבה על המורכבות שבתוך הסיפור אני חושב שהכי חשוב בהתחלה זה לייצר סיטואציה שהיא פשוטה, בסדר? לנו היה מאוד פשוט שהיה לנו channel אחד וזה עזר לנו אבל לא חייבים ככה לייצר סיטואציה פשוטה landing page נפרד כדי שנראה את ה- data על הדבר הזה,

ליאור: מפשט את הדברים.

רועי: מפשט את הדברים, קמפיין שהוא מאוד מאוד מדויק, נניח אתם יודעים, לא לעשות קמפיין מאוד רחב להמון אנשים בהתחלה, לעשות סיטואציה שאתם, לפני שאתם מעלים אותה, יש לכם וודאות כי אתם אומרים: וואלה, זה הולך לעבוד אנחנו פונים לאנשים האלה, אומרים להם את מה שבדיוק אנחנו חושבים שמדבר עליהם, ה tracking יהיה יותר קל, הכל שיהיה קל ובקטן ואז זה נכשל, ואז זה מאוד נהדר כי אפשר להגיד: רגע, איפה טעינו? בסדר? עכשיו אם עושים דברים גדולים ומפזרים את זה ומנסים מהתחלה לייצר תנאים שהם פחות ממעבדה,

ליאור: קשה לאתר את הטעות,

רועי: כן, וקשה ללמוד, בסדר? המטרה של לעשות tracking  לדברים זה כדי להסיק מסקנות לחיוב או לשלילה וזה לא משנה אם זה חיוב או שלילה, נכשלים- נכשלים- נכשלים מצליחים אז,

ליאור: כן, הסיבה שדניאל אומר שזה בסדר לטעות היא כי אנחנו לומדים מהטעות,

רועי: כן, אז צריך לייצר סיטואציה בהתחלה גם אם אין tracking כמעט בכלל, בסדר? שבה קל לראות שזה מצליח, בסדר? אז אם לא עושים attribution של halo effect ודברים כאלה על ה-canclick למדוד את זה ולשים אפילו channel חדש זה גם אצלנו ככה, אנחנו עושים דברים בקטן, דף נחיתה קליקים, הקליקים עובדים רואים אם הם מצליחים ולמדוד את זה, ואז יש תיאבון ואז יש תיאבון להגדיל ואז יש הבנה של המורכבות אז כלומר לא להתחיל מגדול גם אם יש את התקציב אלא להתחיל מיד בקטן ובפשוט.

ליאור: מעולה, דניאל, תודה רבה שהצטרפת אלינו, היה ממש כיף.

דניאל: תודה.

ליאור: ומלמד.

רועי: תודה רבה.

ליאור: תודה שהאזנתם.