151: איך עושים פרפורמנס מרקטינג בעידן של הגבלות פרטיות

משתתפים: אדווה, נעמי, נועה

אדווה: היי לכולם, אני אדווה שיפגל ואתם הגעתם לסטארטאפ פור סטארטאפ. אחת השאלות הכי משמעותיות לכל סטארטאפ שעושה מרקטינג, זה איפה אני אשים את הדולר הבא שלי, באיזה ערוצים כדאי לנו לשווק ואיזה קמפיין עובד ומביא משתמשים למוצר? אבל בשנתיים האחרונות ההגבלות על פרטיות ועל הדאטה שאפשר לאסוף או לקבל מצד שלישי הולכות וגוברות והעולם של פרפורמנס מרקטינג משתנה בעקבות זה. אז היי, נעמי.

נעמי: היי.

אדווה: היי, נועה.

נועה: היי, אדווה.

אדווה: ואתן פה כי אתן מובילות את התהליך שנדבר עליו היום בפרק שהמטרה שלו היא להצליח לעשות פרפורמנס מרקטינג עם הרבה פחות דאטה, נכון?

נועה: לגמרי.

אדווה: נתחיל? כן?

נועה: יאללה.

אדווה: אז אנחנו אוספים הרבה מידע כחלק מאסטרטגיית המרקטינג שלנו, בטח של הפרפורמנס מרקטינג, כי אנחנו רוצים להבין איפה כדאי לנו לפרסם ומה כדאי לנו לפרסם, ונראה לי שנתחיל את הפרק בלהבין אולי שנייה במשפט מה זה פרפורמנס מרקטינג, למרות שמי שרוצה, יש לנו סדרה שלמה על זה שהקלטנו עם רועי מן, וגם איך הייתה נראית האסטרטגיה שלנו בכל האזור הזה עד היום. 

נעמי: אז באמת פרפורמנס מרקטינג זו שיטה שעובדת המון המן עם דאטה, באמת אופרציה של פרפורמנס מרקטינג זו אופרציה שהיא מאוד מאוד "דאטאית". למה הכוונה, זה אומר שאנשים שמנהלים קמפיינים בפלטפורמות שונות, אם זה יוטיוב, אם זה גוגל, אם זה פייסבוק, אם זה גם טוויטר וטיק טוק בתקופה האחרונה, אז הם בעצם מסתכלים על נתונים ולפי זה מחליטים איך לנהל את הקמפיינים שלהם, איך עכשיו לשנות את הקריאייטיב או לשנות את הבידים. ובאמת כל הדבר הזה מצריך המון המון דאטה, הרבה איסוף של דאטה, בשביל שהם יוכלו לראות איזושהי תמונת אמת לגבי הקמפיינים שלהם. ומה הכוונה ב"דאטה", זו בעצם היכולת שלנו להגיד שמישהו נחשף למודעה של מאנדיי והגיע לאתר שלנו. בעצם ככה אנחנו יכולים לעשות, זה מה שנקרא "טרקינג" בשפה המקצועית, וזה מה שמאפשר לנו לדעת להגיד על קמפיין האם הוא טוב או לא. אם יש לי קמפיין שהרבה אנשים ראו בו מודעות, אבל אף אחד לא הגיע לאתר ואף אחד לא נרשם למוצר, כנראה הקמפיין פחות מוצלח, ואם יש לנו קמפיין שהביא הרבה אנשים שנרשמו לאתר ואחרי זה נגיד הפכו ללקוחות משלמים, אז בעצם אני יכולה לדעת שזה קמפיין שהוא יותר מוצלח. כל הדבר הזה באמת מתבסס, שוב, על היכולת שלנו, על "יוזר לבל דאטה טרקינג", היכולת לדעת מי ראה מודעות והגיע אלינו לאתר, לבלוג או לכל דף שהוא. וזה באמת מה שמאפשר לנו בסוף למדוד קמפיינים ולהחליט איפה לשים את הדולר הבא שלנו. אם יש לי קמפיין שהוא פחות מוצלח, כנראה לא נשקיע בו עוד כסף.

אדווה: זאת אומרת, יש לכם נניח דוגמה לאיזשהו קמפיין, מודעה, לא יודעת, שפרסמנו ואז מה קורה מהרגע שאנחנו מפרסים את המודעה עד הרגע שאנחנו מבינים, זה עבד או לא עבד? איך זה נראה?

נועה: אוקיי, אז בעצם יש כאן שני צדדים. נגיד באמת שמתי קמפיין בפייסבוק, הרצתי פרסומות של מאנדיי בפייסבוק, אז מצד אחד יש לנו בעצם את הפעילות ואת המדידה שלנו בפייסבוק, זה אומר שאנחנו נתנו לפייסבוק למשל 10 דולרים כדי להריץ את הפרסומות שלנו על אוכלוסייה מסוימת שכנראה את, אדווה, היית כלולה בה. מתוך הכסף הזה ששמנו, למשל נגיד 20 אנשים ראו את הפרסומות, אחת מהן זו את, אדווה, אחר כך את נכנסת למאנדיי מיד בעקבות המודעה, אולי יומיים אחרי שראית את המודעה, אבל את ראית את המודעה ובמקביל לזה אחרי זה את גם נכנסת למאנדיי. עכשיו מתחיל החלק השני שזה בעצם הטרקינג שלנו במאנדיי. לנו יש את הטרקינג שלנו באתר ובפלטפורמה שלנו ב"מאנדיי דוט קום". אנחנו יודעים להגיד שאת, אדווה, נכנסת לאתר, הסתכלת על התוכניות שלנו ועל המוצרים שלנו ומה אנחנו מציעים, אחר כך אולי אפילו נרשמת והתחלת טרייאל, אחרי שהתחלת טרייאל אולי אפילו הפכת ליוזר משלם וכולי וכולי, ואז אנחנו עושים בעצם את החיבור של שני הדברים האלה. אנחנו יודעים להגיד שאת, אדווה, נכנסת לפייסבוק וראית את המודעה, יודעים להגיד מצד שני מתוך הטרקינג שלנו במאנדיי שאת, אדווה, נכנסת למאנדיי, נרשמת וכולי וכולי ועשית את כל הפעילות שלך באתר, ואז אנחנו עושים את החיבור הזה. ואז מנהל הקמפיין של פייסבוק יודע להגיד, "הנה, אני הבאתי את אדווה שאחר כך נכנסה לאתר שלנו, ל'מאנדיי דוט קום', נכנסה, עשתה אינטראקציה עם האתר, באמת אולי אפילו נרשמה ואפילו שילמה", וזה בעצם מראה לו איזושהי אינדיקציה חיובית לזה שהקמפיין שלו הוא אפקטיבי וכדאי להמשיך אותו ולהשקיע בו יותר דולרים.

אדווה: אז אנחנו בעצם לא מדברים על נתונים כמו גיל או תעשייה, לא יודעת, של משתמש, נכון? זה פחות מעניין אותנו, אלא באמת העיקר פה מבחינתנו הוא היכולת לשנו לקשר בין אדם שצפה בפרסומת לבין אדם שנכנס למאנדיי ונרשם.

נעמי: בדיוק.

אדווה: למשל.

נועה: נכון.

אדווה: אוקיי. אז הבנו איך היינו עד עכשיו ואיך מדדנו, אבל בעצם כל הדבר הזה קורה במקביל לאיזשהם תהליכים שקורים בעולם והם מובילים לשינוי הזה שאנחנו מדברות עליו. אז תנו לי קצת רקע של מה קורה בשנה, שנתיים, כמה שנים האחרונות.

נעמי: אז באמת בשנים האחרונות יש שינוי שהוא מאוד משמעותי בעולם והוא מאוד מאוד משפיע על תעשיית המרקטינג. אם אמרנו, כמו שנועה הסבירה ממש טוב, שלנו יש איזושהי יכולת לחבר בין זה שאת, אדווה, פה אצלנו ומד שני גם ראית מודעה בפייסבוק, אז בעצם הדבר הזה הולך וככה נעלם. ראינו את זה כבר קורה בפייסבוק, זה מתוכנן לקרות גם עם יוטיוב, וזה בעצם השיח שהתחיל לגבי פרטיות והמידע שאנחנו יכולים לאסוף על אנשים והמידע שחברות יכולות לשתף על מה שקורה עם היוזרים שלהם. בעצם המון המון רגולציה שהיא סביב Privacy. אז באמת הדבר הזה ככה קורה בכמה רמות. קודם כול יש המון רגולציה ברמת המדינה, או נגיד G.D.P.R שזה ממש ברמת אירופה, זאת אומרת יבשת שלמה.

אדווה: G.D.P.R, רק נגיד, מי שלא מכיר, זה ה- General Data Protection Regulation, נכון? זו רגולציה של האיחוד האירופי שבאה להסדיר את כל הנושא של פרטיות.

נעמי: בדיוק, ובעצם היא מגבילה את מה שהיה יחסית חופשי עד לא מזמן והיא שמה איזשהן מגבלות על דאטה שחברות יכולות לאסוף. זה קורה באירופה, זה קרה גם בקליפורניה, בעצם לחברות יורת ויורת קשה לאסוף דאטה על המשתמשים שלהן. הרמה השנייה שהדבר הזה קורה בה זה בעצם החברות המפרסמות עצמן, זאת אומרת גוגל, פייסבוק, הן לא נותנות את אותו המידע שהן נתנו בעבר על מה שקורה בפלטפורמה שלהן, על מי שנחשף למודעות ומה הוא עושה אחר כך. צריך להגיד שזה לא שפייסבוק וגוגל הן אלטרואיסטיות. ברור שבסוף ההכנסות שלהן מגיעות מפרסום, אבל בעצם גם הן מתמודדות עם השינוי הזה. זאת אומרת, גם הן נתונות לרגולציה וגם הן צריכות להתאים את עצמן לעידן החדש. והדבר הזה קורה גם ברמת הממש מערכת ההפעלה. אנחנו רואים הרבה עדכוני גרסאות למשל של אפל,  ה-14IOS, ה-15IOS, שבעצם לא מאפשרות לעשות טרקינג באותה מידה שהיה אפשר לעשות בעבר. בעצם כל הדבר הזה ביחד מאוד מקשה עלינו כחברה שמפרסמת, שמתבססת הרבה על פרפורמנס מרקטינג, זה מאוד מקשה עלינו לאסוף דאטה שאנחנו בסוף מסתמכים עליו בשביל למדוד את הפעילות המרקטיאלית שלנו.

אדווה: אני חושבת שם בטח רובנו מכירים את זה מהיום יום, סתם, בדיוק עברתי לאפל ופתאום קופצות לי כל הזמן נוטיפיקציות, כל אפליקציה חדשה, שאפל מבקשת אישור, אני צריכה לתת אישור דרך אפל לאפליקציה לעשות עלי טרקינג, או מלא אתרים שנכנסים אליהם, נכון? ופתאום קופץ "האם אתם מסכימים לשמור קוקיז או לא?". כאילו אני חושבת שגם ביום יום כמשתמשים אנחנו מאוד מאוד חווים את השינויים האלה.

נועה: נכון. זה משהו שמי שעוקב אחרי העולמות האלה ממש יכול לראות את זה, בכל חודש מתפרסמת איזושהי רגולציה חדשה והדוגמה שנתת זו דוגמה ממש טובה לזה. בעצם איזושהי מגבלה שמונעת ממפרסמים, למשל כמו מאנדיי, לאסוף מידע על המשתמשים שגולשים למשל בדפדפן כרום.

נעמי: לגמרי. זה באמת הפופ-אפ של קוקי קונסנט, זה משהו שהיום אי אפשר לפספס, זה נמצא בכל אתר, ובעצם מי שלא מסכים לזה אין עליו קוקיז. הטרקינג לא יעבוד כמו שהוא עבד לפני.

נועה: אני רוצה רק להוסיף שאני חושבת שזה ממש מעניין איך תהליכים שהם כאילו חברתיים, פוליטיים, כביכול לא קשורים בכלל לנושא שלנו עכשיו, בסופו של דבר משפיעים על זה. כי זה הכול התחיל בעצם מאיזושהי התעוררות של תנועות של אנשים שבעצם נלחמו באיסוף המידע היחסית מאסיבי שחברות גדולות עושות עליהם ובעצם למשל "קיימברידג' אנליטיקס" זה סרט שיצא ועורר הרבה גלים והדים, ואז באמת היו הרבה מאוד שינויים והרבה מאוד רגולציות, G.D.P.R זו דוגמה ממש מצוינת לזה, ואז בסוף הדברים האלה, התנועות היותר חברתיות פוליטיות האלה מגיעות אלינו, כי בסוף כאילו החברות יוצרות כל מיני הגבלות שמונעות מאיתנו לאסוף מידע על היוזרים שלנו ואז בסוף זה מגיע אלינו למרקטינג כדי לנסות להבין איך אנחנו יכולים להתמודד עם האתגר הזה ולנסות להבין את הפעילות המרקטיאלית שלנו בלי היכולת לאסוף דאטה על המשתמשים שלנו.

אדווה: כן, זה באמת נושא סופר אקטואלי. היום, אתמול בדיוק היה כזה מלא כתבות על זה שה-G.D.P.R בעצם הורה לפייסבוק שהם לא יכולים לשמור מידע של משתמשים מאירופה בשרתים שלהם בארצות הברית. זאת אומרת זה ממש תהליכים ענקיים, נכון, משמעותיים, שקורים עכשיו שנוגעים לאפשרות של חברות לאסוף דאטה וגם לדאטה שצד שלישי מוכן לסחור בו, מוכן לאפשר גישה אליה, וזה משפיע על כל אסטרטגיית המרקטינג שלנו, נכון?

נעמי: לגמרי. זה ממש אחד האתגרים הכי בוערים שיש היום בתעשייה הזאת של פרפורמנס מרקטינג. כאילו אני אתחבר למה שאמרתן, אנחנו ממש בעיצומו של השינוי הזה. זה ממש בשנים האחרונות וזה ילווה אותנו לעוד כמה שנים.

נועה: כן, מי שעוקב אחרי זה יכול לראות שממש כל חודש יש איזשהו סיפור עם זה שמופיע בחדשות. זה יכול להיות איזושהי מדינה שיש לה רגולציה חדשה, זה יכול להיות איזושהי מלחמה בין איזה שני גופים שקשורים לפרטיות, כאילו ממש ממש כל הזמן יש עדכונים חמים על הדבר הזה.

אדווה: אז איזה מידע אנחנו לא יכולים לקבל יותר? 

נעמי: אז באמת אם אמרנו מקודם שלנו הייתה יכולת להגיד, "אדווה ראתה מודעה של 'מאנדיי' בפייסבוק", ואחר כך להגיד, "אדווה נרשמה לאתר שלנו, למאנדיי", אז אין לנו יכולת להגיד את זה היום ברמת מה שנקרא “Raw Level” דאטה. זאת אומרת אנחנו לא יכולות להגיד את זה ברמתך. אנחנו יכולות אולי להגיד את זה באיזושהי רמה אגרגטיבית יותר וגם זה אחרי השקעה מאוד מאוד מאסיבית במאמצים פיתוחיים, שזה משהו שלא כל חברה יכולה לעשות. אז באמת ככה היכולת שלנו בסוף לחבר בין אדם ספציפי למודעה ספציפית הולכת ונעלמת, וזה משהו שיש פלטפורמות שהיכולת הזאת לא קיימת בהן בכלל. זאת אומרת היום אנחנו נפרסם ביוטיוב מובייל, באפליקציה של יוטיוב ב-“Mobile Devices”, ואחר כך מישהו הולך ובדסקטופ נרשם למאנדיי, אני לעולם לא אדע שהוא זה הוא או שהיא זו היא, ובהינתן שיש לי קמפיינים במובייל, יהיה לי מאוד מאוד קשה להבין מה התרומה שלהם ומה היעילות שלהם.

אדווה: ואם אני מתרגמת את זה לפקטור הכלכלי, זה בעצם אומר שאנחנו לא יודעים איפה להשקיע את הכסף שלנו, נכון?

נעמי: נכון. זה ממש, אני יכולה להגיד, אתגר שיש לנו היום. אנחנו לא יודעים כמה שווה להשקיע ביוטיוב מובייל. ממש דוגמה מעכשיו. מאוד קשה לנו. אנחנו לא יודעים איך למדוד את זה.

אדווה: ונועה, את רואה את כל התהליכים האלה קורים בעולם. מתי אנחנו כמאנדיי מתחברים לזה ובעצם מה קורה אצלנו במקביל לתהליכים האלה?

נועה: כן. אז אני חושבת שקודם כול זה משהו שאנחנו מכירים כבר הרבה מאוד זמן ואנחנו התחלנו לעבוד עליו כבר הרבה זמן, אפילו לפני שאני הגעתי למאנדיי. אפשר להגיד שאולי לפני שנה או שנתיים כבר התחלנו לעבוד על הדבר הזה. אבל אני חושבת שההבדל, השיפט שעשינו, היה מלתקוע את האצבעות בסכר כמו שדיברנו לממש איזשהו חזון שמנסה להתמודד עם הדבר הזה בצורה יותר פרו-אקטיבית. מה הכוונה? אם בהתחלה היו המון המן שינויים קטנים שהשפיעו על מקומות מאוד ספציפיים בעולמות ה-“Privacy” שהיינו צריכים לענות עליהם ספציפית, למשל ה-G.D.P.R, למשל כל מיני מקומות ספציפיים שבהם אנחנו כבר לא יכולים לעשות טרקינג, אבל התמודדנו עם זה ברמה הטקטית של לנסות לפתור את הבעיה באותו איזור, זה ככה התהליך שבו התחלנו לפני נגיד שנתיים-

נעמי: זאת אומרת היה מקום אחד שפתאום לא יכולנו לקבל דאטה לצורך העניין על משתמש שראה קמפיין בפייסבוק, אז מצאנו אולי איזו דרך שתעקוף את זה ותאפשר לנו בכל זאת לדעת מי ראה מה. זאת אומרת היו איזשהם פתרונות טכנולוגיים יותר. 

נועה: בדיוק, פתרונות טכנולוגיים או אנליטיים או שניהם, שבעצם היו יותר אזוריים, כלומר ניסו לפתור איזושהי בעיה מסוימת באזור מסוים, אבל עדיין ה-notion הכללי היה כאילו באמת לנסות להמשיך בדרך הקיימת ובעצם לנסות להשתמש עדיין במודל האטריביושיין עם שינויים יותר מינוריים בעולמות האלה. ואני חושבת שהשיפט היה לפני אני חושבת משהו כמו שנה, שהתחלנו להבין שהדבר הזה לא הולך לשום מקום, יותר ויותר חברות, יותר ויותר מדינות, יותר ויותר מפרסמים התחילו לפרסם יותר ויותר מגבלות שגמרו לנו להבין שהדבר הזה הוא כאן כדי להישאר, והטרנד הזה של בעצם דגש מאוד מעמיק על הפרטיות של המשתמשים רק הולך וגדל, ולכן אנחנו צריכים למצוא פתרון שהוא באמת הרבה פחות פאסיבי של לנסות לפתור את הדברים נקודתית והרבה יותר אקטיבי, של לנסות להסתכל קדימה, איפה אנחנו עכשיו, איפה אנחנו רוצים להיות בעוד שנה או שנתיים ולנסות להתמודד עם זה בצורה יותר רחבה ומה שנקרא לנתק את הכבלים, לאפשר לעצמנו למדוד את הפעילות המרקטיאלית שלנו מבלי להסתמך על הכבלים האלה של מדידה ישירה של משתמשים.

נעמי: אני רק אוסיף על זה עוד משהו אחד, שבאמת, אני אחזור למה שנועה אמרה בהתחלה, שבאמת היו לנו פתרונות שהם היו יותר באזורים ספציפיים או סביב פלטפורמות מסוימות, ואני חושבת שהשיפט העיקרי שהיה פה זה היה באמת להגיד, "אנחנו צריכות מענה שהוא הוליסטי יותר ושאנחנו נבנה איזושהי מתודולוגיה חשדה, או לא משנה, שיטת measurement אחרת שהיא כבר תיתן לנו מענה להכול, לא רק כל פעם לאזור ספציפי, אלא ממש ברמה ההוליסטית".

אדווה: כי מה יקרה אם לא? מה יקרה אם אנחנו נמשיך לעשות כמו שאנחנו עושים עכשיו? בואו נסתכל שנה מהיום, שנתיים מהיום.

נועה: ברמה הכי פשוטה אנחנו פשוט לא נוכל למדוד בצורה אפקטיבית את הקמפיינים שלנו. כאילו הכי פשוט שיש.

נעמי: לא נדע כמה כסף להוציא ביוטיוב, כמה כסף להוציא בפייסבוק, פשוט לא נדע.

אדווה: ועדיין נוכל לדעת איזה קמפיינים ואיזה לא?

נעמי: לא.

אדווה: גם לא.

נעמי: לא.

אדווה: זאת אומרת זה לא רק המקום שבו אנחנו מפרסמים, זה גם מה אנחנו מפרסמים.

נעמי: נכון מאוד. זה ממש כאילו שתי הבעיות הלאה.

נועה: באופן כללי ההסתכלות שלנו על הפעילות המרקטיאלית היא הוליסטית. כלומר את אומרת שקמפיין מסוים שנעשה בתוך צ'אנל מסוים היה טוב או לא. זה קשור גם לתוכן שלו, גם ל-“Target Audience” שלו, גם לפלטפורמה שלו, והכול ביחד כחבילה אחת היה אפקטיבי או פחות אפקטיבי, ואז את יכולה למדוד ולנסות לראות אם את רוצה אולי לשנות באמת את התוכן, אולי את הפלטפורמה, כאילו לנסות להבין באמת איך לשפר את הדבר הזה כל הזמן. 

אדווה: מי צריך להתחיל לחשוב על זה? מי צריך לדאוג לזה? אנחנו מן הסתם מדברות עכשיו כמאנדיי, זו חברה בסדר גודל מסוים, זה רלוונטי גם לחברות קטנות יותר? זה רלוונטי לחברות שרק התחילו? למי זה-

נעמי: אז בעינינו לכולם. זה באמת האתגר שיש כרגע בתעשייה ואני חושבת שחברה שהיא היום קמה, להשקיע עכשיו המון טכנולוגיה בלאסוף מידע כנראה יהיה טעות, כי בקרוב לא יהיה יותר מידע ששווה לאסוף אותו ועדיף כבר מעכשיו להתכונן לשלב הבא. ומצד שני, חברות שהן כבר גדולות ויש להן פעילות שהיא מבוססת, על אחת כמה וכמה צריכות את זה, כי עוד מעט לא יהיה להן איך למדוד את הפעילות הזאת. אז זה ממש ככה משהו שהוא באמת רלוונטי לכל מי שעושה פרפורמנס מרקטינג.

אדווה: מדהים. זה כאילו חברה שקמה עכשיו, אם היא תשקיע בנושא של טרקינג, יש מצב שעוד שנה מהיום זה פשוט לא יהיה רלוונטי ולא תהיה לה אף דרך למדוד את הקמפיינים בעצם.

נועה: נכון. ובחברות חדשות גם יש כנראה משאבים יותר מוגבלים ולכן אפילו עוד יותר חשוב שהן ישקיעו את המשאבים הכנראה יותר מוגבלים האלה במקומות הנכונים כדי שעוד שנתיים, עוד שלוש שנים, תהיה להן צמיחה טובה והן יוכלו לראות ולמדוד בצורה אפקטיבית את הקמפיינים שלהן.

אדווה: אז באמת זה אולי מביא אותי לפרקטיקה של הדבר הזה, כי אני חושבת שדיברנו על ה"למה" ודיברנו על מה קרה, אבל יש פה שאלה מאוד גדולה של "איך".

נועה: כן. אז בגדול בגדול יש לנו שני פתרונות לדבר הזה. אני אתחיל בלהסביר את הפרון הראשון, שזה מה שנקרא ה"גיאו טסטינג", מבחנים גיאוגרפיים. אז השלב הראשון זה בעצם לזהות איזושהי הזדמנות עסקית, בעצם לנסות להבין על איזו שאלה עסקית אני רוצה לענות. למשל, אני אלווה את זה באיזושהי דוגמה ממאנדיי, למשל אני רוצה להבין מה האפקטיביות של קמפיין מסוים של מאנדיי שאני מריצה נגיד ביוטיוב בארצות הברית, איך הוא משפיע על כמות היוזרים שמגיעים למאנדיי ואחר כך עושה Sign up, כלומר נרשמת, מגיעה לאתר של מאנדיי ונרשמת למאנדיי. זו השאלה העסקית שלי. אז השלב השני זה בעצם לתכנן את הטסט עצמו. בתכנון של הטסט אני צריכה לבחור שני אזורים גיאוגרפיים, בשאיפה שהם יהיו כמה שיותר דומים אחד לשני מבחינת הגודל, מבחינת אוכלוסייה, דמוגרפיה וכולי, כדי לנסות לנקות כמה שיותר משתנים שונים שיכולים ללכלך את הדאטה מה שנקרא ולהשפיע על התוצאות של הטסט, אז למשל, אם נמשיך את הדוגמה, אז למשל אני אבחר את ניו יורק ובוסטון כשתי ערים יחסית דומות גם מבחינת הגודל, גם מבחינת האוכלוסייה והדמוגרפיה, ואני אנסה להריץ את הטסט עליהן. זה ממש כמו A B טסטינג, כן? וריאנט A נגיד יהיה ניו יורק ווריאנט B נגיד יהיה בוסטון.

נעמי: אני אשמח להוסיף רק משהו בנוגע לחשיבות של הבחירה באזורים שהם דומים. אז אם ניקח את זה רגע לעולם אחר, בוא נלך לעולם של חיסונים ושל ניסויים קליניים. אז נגיד שעושים עכשיו חיסון על, לא יודעת, תרופה לקורונה, או, סליחה, ניסוי על תרופה לאיזושהי מחלה, אז בעצם אנחנו נרצה לקחת קבוצה אחת, לתת לה את התרופה או את החיסון ולקבוצה השנייה לא לתת שום דבר ולמדוד את ההבדלים. ברגע שניקח קבוצות שהן מאוד שונות, למשל קשישים אל מול ילדים מתחת לגיל 10, ברור שההבדלים לא יכולים להיות מוסברים רק על ידי התרופה או החיסון כי יש המון שונות בין שתי הקבוצות האלה ולכן בעצם בשביל שנוכל להסיק מסקנה על ההשפעה של הפעילות שלנו, חשוב לנו לקחת קבוצות שהן כמה שיותר דומות, או במקרה הזה אזורים גיאוגרפיים שהם דומים.

נועה: טוב, אז השלב השלישי זה בעצם ממש להריץ את הניסוי. אז אם נשתמש בדוגמה הקודמת שלמשל ניו יורק זו קבוצת הניסוי ובוסטון זו קבוצת הבקרה שלי, והשאלה העסקית שלי היא מה ההשפעה של הקמפיין שלי בפייסבוק על ההרשמה למאנדיי, אז אני אקח את הקמפיין שלי בפייסבוק, בניו יורק אני אריץ אותו עם תקציב מטורף, אכפיל, אשלש את התקציב שלי בניו יורק כדי שבאמת יהיה לטסט הזה השפעה מאסיבית ויהיו הרבה פרסומות של הקמפיין הזה בניו יורק, ובבוסטון, שזו קבוצת הבקרה שלי, אני אחשיך לגמרי את הקמפיין הזה, אני לא אראה שום פרסומות של מאנדיי בפייסבוק בבוסטון. וככה יש לי שני אזורים יחסית דומים עם הבדל מאוד גדול מבחינת הפעילות המרקטיאלית שלי, בניו יורק יש לי פעילות מאסיבית של הקמפיין הזה ובבוסטון אין לי פעילות בכלל. השלב הבא זה בעצם לאסוף את הנתונים. אני מריצה את הטסט לאיזושהי תקופת זמן החלטתי, למשל לחודש, אז במשך החודש הזה אני מוודאה שבאמת אין שום פעילות מרקטיאלית שקורית בבוסטון ושיש פעילות מרקטיאלית מאסיבית שקורית בניו יורק למשל על הקמפיין שלי בפייסבוק, ואני אוספת את הנתונים. מה זה הנתונים האלה? אני רואה כמה אנשים הגיעו למאנדיי, לאתר של מאנדיי מניו יורק וכמה אנשים הגיעו למאנדיי מבוסטון, וגם כמה מהם עשו Sign up לאתר, שאני מזכירה שזו בעצם השאלה העסקית שלנו. השלב הבא זה בעצם לנתח את הנתונים ברגע שהטסט הסתיים ואספתי מספיק דגימות, למשל הרצתי את הטסט למשך חודש, אז השלב הבא זה בעצם לראות את האפקט של הטסט, האם באמת יש הבדל משמעותי בין קבוצת הטסט שלי, שפה זה ניו יורק, וקבוצת הבקרה שלי, שהיא בוסטון, על השאלה העסקית שלי, שהיא כמות ה-Sign ups למאנדיי. האם באמת יש משמעותית, מאסיבית, הרבה יותר אנשים שהגיעו מניו יוק לאתר ונרשמו אחר כך גם למאנדיי. 

אדווה: שיש איזשהו פרק זמן מינימלי או כמות אנשים מינימלית שאנחנו נרצה לבדוק את זה עליהם?

נועה: כן. אז יש ממש עולם סטטיסטי שלם של הרצה של טסטים כאלה, של מבחנים כאלה ושל ניתוח נתונים. אני לא אכנס לפה כי זה מאוד מאוד סטטיסטי, אבל יש על זה הרבה חומרים ואתם גם מוזמנים לפנות לנעמי ואליי בהקשר הזה ואנחנו נשמח לעזור עם כל מיני חומרים, אבל יש בעצם, זה קצת כמו טסטים שמריצים באמת במחקרים קליניים. יש איזושהי נקודה שבה הטסט הוא מה שנקרא “Statistically significant”, כלומר הוא מראה איזשהן תוצאות שהן מובהקות מבחינה סטטיסטית ואנחנו יכולים להתחיל להסתכל עליהן ולנסות להסיק מהן מסקנות על מה שקורה במציאות מה שנקרא. וזהו, והשלב האחרון אחרי הניתוח של הנתונים זה בעצם לפעול על פי הנתונים האלה. אז אם באמת, אם נשתמש בדוגמה הקודמת, אם באמת ראינו שהפעילות שלנו בניו יורק בקמפיין בפייסבוק הביא תוצאות משמעותיות והביא הרבה הרבה יותר Sign ups למאנדיי מאשר בבוסטון שבה לא הייתה לנו שום פעילות, זה אומר שכנראה הקמפיין שהרצתי בפייסבוק הוא אפקטיבי וכדאי להרחיב אותו ולהוסיף לו יותר תקציה. לעמת זאת אם לא היה הבדל משמעותי בין כמות ה- Sign ups שהגיע מניו יורק ומבוסטון, זה כנראה אומר שהקמפיין הזה קצת פחות אפקטיבי וכדאי לי לנסות להבין איך אני מגבירה את האפקטיביות שלו או ממש עוברת לקמפיין אחר.

אדווה: מה האתגרים, החסרונות, האתגרים שהפתרון הזה מביא איתו? כי לכאורה זה נשמע טוב, אבל אני בטוחה שכן יש שם גם אתגרים. 

נעמי: אני חושבת שהאתגר הראשון הוא באמת שזה טיפה יותר קשה להבנה. בעצם אם דיברנו על השיטה הקודמת, על שיטה שמבוססת על “User level” דאטה, אז יכולתי להגיד שאת, אדווה, ראית מודעה ואז את הגעת למאנדיי. זאת אומרת נשארתי ברמה של בן אדם ספציפי, ברמה הפרטנית. ובעצם פה השיטה היא הרבה יותר בהיי לבל. אני לא אדע להגיד על מישהו ספציפי שהוא הגיע בגלל קמפיין של פייסבוק, פשוט אדע להגיד "קמפיין של פייסבוק הביא לי תוספת של 1,000 חשבונות חדשים, של 1,000 אנשים שנרשמו עכשיו למאנדיי". אז זה ככה האתגר הראשון שהוא באמת אולי יותר באזורי ה-Enablement וה-Education הפנימי בתוך המחלקה והחברה. אתגר נוסף זה באמת היכולת שלנו לזוז מהר. בעצם הגיאו-טסטינג, שזה טיפה דומה ל-A B טסט, בשביל שנוכל באמת להסתמך על התוצאות שלו ושהוא יהיה מובהק סטטיסטית, אפשר לעשות שינוי אחד, גג שניים בכל פעם. וזה אומר שאם עכשיו יש טסט בניו יורק ובבוסטון אי אפשר לייצר עוד שינויים קיצוניים באחד מהאזורים האלה, כי זה ילכלך לנו את הדאטה. אז בעצם אם אנחנו עכשיו מודדות קמפיין של פייסבוק, אי אפשר לצאת עם איזושהי פעילות חדשה באחת מהערים האלה, כי זה יטה לנו את הטסט, וזה קצת מאלץ אותנו לרוץ יותר לאט. כמובן שגם פה אפשר לתת לזה איזשהו מענה עם חלוקה לאזורים, אבל בסוף זה כן משהו שהוא טיפה יותר מקשה, וכן צריך להגיד גם שהשיטה הזאת, לא מדובר במשהו שהוא רציף. בעצם טסט מאפשר לנו, כאילו חושף לנו רגעים של אמת, אפשר להגיד, על ההשפעה של הקמפיינים שלנו או של הפעילות המרקטיאלית בזמן מסוים באזור מסוים. אני לא יכולה להשליך ממה שקורה ב-US על מה שיקרה באוסטרליה או בבריטניה, ואני גם לא יכולה להשליך על מה יקרה עוד שמה קדימה, כי אנשים הם שונים והשוק יהיה שונה והתחרות תהיה שונה. אז בעצם מדובר בשיטה שמגלה לנו ככה מה ההשפעה, זה איזשהן נקודות של אמת בזמן מסוים באזור מסוים. אין לנו פה דרך למדוד את ההשפעה של קמפיין מסוים באופן רציף. אנחנו נצטרך לתכנן טסטים מראש וכל פעם לייצר אותם וככה לגלות מה קורה ובעצם כעבור תקופה לעשות שוב טסט על אותה פעילות או על אותו Marketing source כדי לבדוק שוב את ההשפעה ולראות האם הדברים השתנו או לא.  

אדווה: וגם אני מבינה ממה שאתן אומרות שקצת קשה לבודד משתנים בשיטה הזאת, נכון? כי אם עכשיו פרסמנו בניו יורק ובבוסטון לא, ואז יש סגר בניו יורק והלכנו על קמפיין שהוא של שלטי חוצות, אז אולי זה יטה את זה לגמרי, ומצד שני אם הלכנו על קמפיין בפייסבוק אולי זה יראה קפיצה מטורפת רק כי אנשים יותר בפייסבוק. איך מתמודדים עם זה?

נעמי: אז זה ממש מדויק מה שאמרת. זה באמת אתגר שקיים בשיטה. מתמודדים עם זה קודם כול עם הדאטה, אנחנו נראה התנהגות שונה כנראה בכלי שבו אנחנו מודדות את הטסט ויהיה לנו כנראה יותר קשה לראות תוצאות שהן סטטיסטיות, צריך פה תמיד להיות מאוד מחוברים גם למה שקורה בפועל ולדעת מה יכול להשפיע לנו על הנתונים בזמן אמת. זה משהו שגם מאוד יכול להשפיע על הדיזיין של הטסט במידה ובאמת יכולנו לדעת את זה בזמן.

נועה: חשוב לי להגיד שגיאו-טסט זה ממש סוג של מומחיות. צריך להכיר את כל הפרמטרים האלה כשאנחנו מתכננים את הטסט, חשוב להבין בדיוק באיזה אזורים כדאי להתמקד, לאיזה טווחי זמנים, מתי יש חגים, סגרים, דברים שונים שיכולים להשפיע על הטסט, וזה חלק מאוד מאוד קריטי, החלק הראשון של תכנון הטסט. לנסות לנקות כמה שיותר מהאפקטים האלה שיכולים בעצם להשפיע על הדאטה, זה חלק מהתורה המורכבת הזו שנקראת גיאו-טסטינג.

אדווה: בסוף זה כל כך אחר, זה מביא איתו איזשהן הזדמנויות שלא היו בשיטות הקודמות שהשתמשנו בהן?

נעמי: אז באמת אני חושבת שיתרון מאוד מאוד גדול בשיטה, אם לא העיקרי בה, זה באמת שזה מכין אותנו למציאות החדשה ועדיף לנו לעשות את זה כמה שיותר מוקדם, כמה שיותר מהר, וזה כאילו כביכול מגן עלינו מפני איבוד מידע, כי אנחנו בעצם מנתקות את הכבלים, מנתקות את התלות בדבר הזה, ואני חושבת שזה גם מאפשר לנו למדוד פעילויות בצורה יותר טובה ממה שעשינו לפני. בעצם לפני זה באמת השתמשנו ככה במידע הפרטני שהיה לנו ויצרנו איזשהו סט של חוקים והחלטנו שאיתו הולכים, זאת אומרת זו האמת שלנו, ככה אנחנו יודעים לחבר בין קמפיין מסוים ל-Sign ups מסוימים, זה מה שנכון. יאללה, רצים קדימה. לא בטוח שזה הדבר הכי נכון בעולם ולא בטוח שאנחנו בכלל נדע אם אנחנו טועות, כאילו אולי המודל שלנו לא באמת מייצג את המציאות ויהיה לנו מאוד קשה לגלות את זה. ובעצם השיטה הזאת היא כאילו הפוכה. אנחנו לא מניחות שום דבר. אנחנו פשוט נותנות לנתונים לגלות לנו מה קורה באמת. אז אני חושבת שיש פה הזדמנות מאוד גדולה לייצר בעצם מקומות אחרים שאפשר לגדול בהם, שאולי אנחנו לא מנהלים אותם כמו שצריך, אולי יש מקומות שצריך להוציא בהם פחות כסף ויש מקומות שצריך להוציא בהם יותר. וככה באמת זה בנוסף לדבר העיקרי, שזה אני חושבת הכנה ככה למגבלות שהולכות רק להחמיר.

אדווה: אז אנחנו בהתחלה של הדבר הזה, של הפתרון הזה? זה משהו שאנחנו עוד מפתחים אותו?

נועה: כן. אז אנחנו עדיין ממש בשלב הלמידה, אנחנו ככה ממש מריצים את הטסטים הראשונים בעולמות האלה ומגששים את דרכנו, אז אני חושבת שזה השלב הקריטי שבו אנחנו ממש לומדים את השיטה הזאת, לומדים את התורה הזאת, וגם לומדים איך להשתמש בה בצורה יותר מתודית הלאה. אנחנו עכשיו לומדים מה האזורים שהכי כדאי להריץ בהם את הטסטים, מה טווחי התאריכים, מה התקציב שאנחנו רוצים להשקיע בדבר הזה, מה השאלות העסקיות שאנחנו יכולים לענות עליהן, מה המגבלות, אני מניחה שגם נעשה הרבה מאוד טעויות ונלמד מהן. והמטרה שלנו כרגע היא גם לעשות את הטסטים ולענות על השאלות, אבל גם לנסות להסיק וללמוד מזה כמה שיותר הלאה, כדי לייצר כאן במאנדיי איזושהי תורה של הדבר הזה ואיזושהי מתודה שתוכל להשתמש בדבר הזה באופן יותר שיטתי ועקבי.

נעמי: אז ככה חשוב לי להוסיף שזה באמת כמו שנועה אמרה, אנחנו ממש באיזשהו תהליך למידה שהוא, השלב הראשון זה באמת רגע לייצר פה את הידע ולהבין איך נכון לעשות את הטסטים האלה ומה המודלים שאנחנו משתמשים בהם, וצריך להבין שיש לזה עוד איזשהו נדבך של גם Enablement פנימי בתוך מחלקת המרקטינג ובתוך החברה גם, כי מדובר בשיפט שהוא די גדול. זאת אומרת אנחנו שנים עובדים בצורה מסוימת, ומאנדיי מאוד טובה בלעבוד בצורה הזאת, וזה שיפט די אסטרטגי בצורה שבה אנחנו נמדוד את הפעילות המרקטיאלית שלנו. אז מעבר גם ליכולת שלנו, בעצם לצורך שלנו לייצר פה איזשהו בסיס ידע ומתודולוגיה ואיך נכון לעבוד, יש גם את הצד השני של ממש להנחיל את זה ולהתרגל ככה לעולם מושגים שהוא חדש.

אדווה: יש לכן דוגמה לטסט שכבר הרצנו? 

נעמי: כן. אז באמת אחד הצ'אנלים הראשונים שבהם התחלנו, או לפחות הבנו שיש צורך בשיטה אחרת זה באמת יוטיוב מובייל, שביוטיוב מובייל יש לנו כמה אתגרים. בעצם אין לנו מה שנקרא “Cross Device Tracking”. זה אומר שאם נחשפת למודעה באפליקציה של יוטיוב בפלאפון שלך ואחרי זה נרשמת למאנדיי בדסקטופ, אנחנו לא נדע את זה. וגם אם נחשפת למודעה באפליקציה בפלאפון אבל הלכת לדפדפן בפלאפון, לכרום שלך, גם לא נדע את זה. ובעצם תקופה ארוכה לא הצלחנו למדוד את הפעילות במובייל. ראינו עליות מאוד גבוהות ל-Sign ups וידענו שבעצם יש קהל עצום שכנראה נחשף למודעות ואחר כך נרשם, ופשוט אין לנו ויזאביליות אליו, וזה באתת היה אחד הסורסים הראשונים שרצינו להריץ בו את הטסט ובאמת הרצנו גיאו-טסט בארצות הברית סביב הפעילות הזאת, עשינו את הטסט הזה יחד עם גוגל, עם המומחים הטכניים שלהם, ובעצם לקחנו את US וחילקנו אותה לשני אזורים גיאוגרפיים. באזור מסוים הוצאנו בערך פי 7 בספנד, שזה אומר הרבה יותר מודעות, ובאזור השני השארנו אותו כמו שהוא, שזה היה בעצם בלי פעילות של יוטיוב מובייל, ובעצם לאורך התקופה ממש מדדנו את האינקרמנטל ליפט, זאת אומרת את ההבדל שהיה בוויזיטים וב-Sign ups שקיבלנו לפי החלוקה לאזורים. וככה זה היה טסט מעולה ללמידה, אני חושבת שהבנו שם הרבה מהדברים שאנחנו צריכים עוד להבין איך לעשות, אז בעצם הבנו שבשלב של הדיזיין, של תכנון הטסט, יש לנו אתגרים סביב להבין איך, יש כל מיני פרמטרים שצריך להכניס בשביל לתכנן את הטסט והבנו ששם יש לנו אתגרים, הבנו שגם כרגע יש לנו עוד קושי סביב הנושא הזה של לקחת את התוצאה שקיבלנו מהטסט, למשל כל Sign up נוסף שהפעילות הזאת הביאה לנו עלה נגיד עשר דולר, ולהבין האם זו עלות שטוב לנו איתה או שזו עלות גבוהה מדי. וזה באמת היה אחד מהדברים שככה הוביל אותנו, דחף אותנו קדימה על מה המתודולוגיה הנכונה בשביל לעשות טסטים וממש לייצר איזושהי תוכנית רציפה לטסטים. הבנו שגם סביב יוטיוב מובייל אנחנו צריכים לעשות עוד איזשהו טסט כדי להרגיש יותר בנוח עם התוצאות.

אדווה: אוקיי. אז אמרנו שיש שני פתרונות. דיברנו על גיאו-טסטינג, שזה בעצם היה הפתרון הראשון. מה הפתרון השני?

נעמי: אז באמת, אני רק אחזור על מה שאמרתי מקודם, שהגיאו-טסטינג באמת מאפשר לנו להסתכל רגע על איזושהי פעילות ספציפית ולהבין מה הוואליו שלה למאנדיי ובאיזה מחיר, שזה מעולה, אבל באמת בחברה שמנהלת תקציב פרפורמנס מרקטינג ורוצה להקצות אותו לרבעון הבא או לחודש הבא, היא צריכה להחליט כמה כסף לשים בכל מקום. ובשביל הדבר הזה באמת צריך להסתכל על כל הדברים ביחד ולתכנן ככה איפה יהיה נכון לשים את הדולר הבא. אז באמת פתרון שמאפשר לתכנן איך להקצות את התקציב ברמה ההוליסטית זה איזשהו מודל, זה נקרא "מרקטינג מיקסד מודל". פה ספציפית זה פתרון שאוהד, הדאטה סיינטיסט המדהים שלנו ככה עומל עליו ומפתח אותו כבר כמה חודשים, באמת מודל יחסית מורכב, אז נדבר על זה יחסית בקצרה. אבל בגדול זה מודל שמאפשר לנו לראות את התרומה של ערוצים שונים, בעצם להבין באיזה שלב אנחנו נמצאים, בוא נגיד, בחיי הערוץ, הוא כמה הפעילות שלנו שם היא באיזשהו מצב של רוויה, כלומר כבר לא הכי משתלמת, ולפי זה לתת לנו איזשהו, המודל בעצם מוציא איזשהו פלא, איזשהן המלצות לגבי איך לתכנן את התקציב, איך לחלק אותו בין הסורסים השונים שיש לנו, והוא גם מאפשר לנו לעשות את זה, ואחר כך להשוות בעצם מה קרה. נניח שהקשבנו להמלצות של המודל, אנחנו נבדוק האם הביצועים אחר כך היו טובים יותר באמת כמו שהמודל חזה, ומה שחשוב להגיד פה, זה שבעצם הדבר הזה מאוד מסתמך על גיאו-טסטינג. בעצם המודל, בשביל להיות כמה שיותר קרוב לאמת, אנחנו צריכים להזין בו תוצאות של גיאו-טסטינג שהן בעצם מגלות לנו את האמת בנקודת זמן ספציפית. אז במודל של US, גם חשוב להגיד, הדבר הזה הוא רלוונטי פר אזור, אנחנו נרצה להזין כמה שיותר תוצאות של טסטים שעשינו בסורסים השונים בשביל שהמודל ילמד מהתוצאות האלה ובאמת ככה אנחנו נוכל לתכנן את התקציב שלנו בהתאם למה שגילינו מהטסטים האלה.

נועה: כן. ואם נחבר את שני הפתרונות, אני חושבת שאפשר לדבר על זה ברמת המיקרו והמאקרו. גיאו-טסטינג נותן תשובות לשאלות קצת ברמת המיקרו, למשל מנהל או מנהלת קמפיינים יכולים לענות על השאלה "האם הקמפיין הספציפי שהרצתי הוא אפקטיבי או לא?, האם כדאי להמשיך אותו או לא?", ומודל ה-M.M.M, שבאמת משתמש גם בנתונים מהגיאו-טסטים השונים שאנחנו מריצים, נותן תשובה קצת יותר במאקרו. למשל יוני ה-VP מרקטינג שלנו, רוצה לדעת איך לחלק את עוגת התקציב המרקטיאלית שלנו לשנה הבאה. הוא יכול להשתמש במודל הזה כדי לענות על השאלה הזו וגם ללכת ולשפר את זה כל הזמן, כלומר המודל לומר כל הזמן את הגיאו-טסטים החדשים ונותן תשובות חדשות ומעודכנות לאן כדאי להשקיע את הכסף ואיך כדאי לחלק את העוגה, ואז אנחנו יכולים לזוז בהתאם למה שהתוצאות של המודל אומרות.

אדווה: כן, אני חושבת שזה חידוד טוב. כי באמת, נכון, יש פה שתי שאלות. התחלנו את הפרק ודיברנו על השאלה "איפה אני שמה את הדולר הבא שלי", וזו יכולה להיות שאלה שהיא פר שבוע, זאת אומרת, "איפה אני מפרסמת את הקמפיין שבוע הבא, האם אני ממשיכה להריץ אותו בפייסבוק? אולי אני מעבירה אותו לגוגל? אולי ליוטיוב מובייל?" ויש שאלה יותר גדולה, שזה ברמה האסטרטגית של החברה, "איך אני רואה את המרקטינג שלי ברבעון הבא?", זאת אומרת ממה שלמדתי, וזה באמת המודל שמאפשר. עכשיו אמרתן שזה כלי שאנחנו מפתחים פנימית. יש כלים כאלה שקיימים היום בשוק שחברות יכולות להשתמש בהם?

נועה: כן, אז יש כלים מצוינים של חברות חיצוניות, אני יכולה לציין למשל את סקיי ואת Measured, אלה שתי חברות מעולות שמספקות כלים וגם מספקות את כל התמיכה מסביב כדי לעזור לחברות שמתחילות את הצעדים הראשונים בעולמות הגיאו-טסטינג, להריץ להן את הטסטים הראשונים, ואני חושבת שאם יש איזושהי עצה שאני יכולה לתת לחברות שמתחילות להתעסק בעולמות האלה, בגלל שעולם הגיאו-טסטינג זה עולם מאוד מאוד מורכב, יש חברות חיצוניות שכבר מכירות ויש להן את הידע ואת ההבנה בעולמות האלה ולא שווה להמציא את הגלגל מחדש. כדאי לנסות להשתמש בידע ובמומחיות שלהם כדי להריץ לפחות את הטסטים הראשונים.

נעמי: גם חשוב לי להגיד שיש חברות שחצי שנה או שנה רק מפתחות מודל M.M.M או עובדות על האזורים האלה. זה באמת ככה אזור שצריך לעשות עליו הרבה עבודה.

אדווה: זו גם באמת הייתה הסיבה שהיה לנו חשוב לעשות את הפרק הזה ויחסית התקדמנו איתו מאוד מהר, כי נשתף שהגעתן עם הרעיון והבנו שקיים פה משהו שהוא באמת מאוד בחיתולים ושבניגוד ללפעמים תהליכים שכל חברה עוברת בנפרד, בזמן שלה, כמו שאמרת, נועה, יש פה איזה תהליך שהוא יותר גדול מחברה אחת, זה תהליך פוליטי, חברתי, שקורה עכשיו, שלחברות אין כל כך ברירה אלא ללכת איתו, זה לא משהו שאפשר להתנגד אליו, ובאמת רצינו רגע לעצור, וגם אם יש הרבה דברים שהם לא מפוצחים אצלנו עדיין לשתף את מה שכבר כן למדנו עד עכשיו, בגלל שזה מין, “We’re all in this together” כזה. ואולי באמת, אם התחלנו לדבר על דברים שלא פיצחנו עדיין, אז מה יש? איזה דברים יש שאנחנו עוד לא שם?

נעמי: אז אני חושבת שקודם כול אולי בראש אנחנו כבר שם, אנחנו מאוד עובדים ועובדות על הפתרון, אבל צריך להגיד שאנחנו עובדים בהרבה מהאזורים בשיטה הישנה, בעצם עוד אין לנו מענה נרחב שמבוסס רק על גיאו-טסטינג, אנחנו עדיין נסמכים גם על השיטה הישנה, ובעצם אנחנו גם עוד לא במקום שהדבר הזה הוא, זה כמובן קשור, אבל זה בעצם עוד לא ב-100 אחוז אופרטיבי. זה אומר שאנחנו עוד לומדים רגע איך לעשות גיאו-טסטינג ואיך לאפשר למנהלי קמפיינים לעשות את זה בעצמם, בעצם לא לייצר איזשהו צוואר בקבוק אצלנו שכולם תלויים או בצוות שלנו או בדאטה סיינטיסט. זה משהו שאנחנו רוצות להנגיש לצוותים עצמם כשזה יוכל להיות אופרטיבי, וזה ככה משהו שאנחנו עוד באמת בתהליכים של לבנות אותו, כי שוב, זה באמת איזשהו שיפט שהוא גדול בתוך הפעילות של המחלקה.

נועה: אני חושב שכרגע באמת האתגר המרכזי זה כמו שנעמי אמרה, להבין איך אנחנו באמת עושים את השיפט הזה וגם לנסות להבין מה הדרך  הכי טובה, המתודה הכי טובה להריץ את הטסטים, להבין מה האזורים הכי טובים, מה הספנד הכי טוב וכולי וכולי, ואני חושבת שהאתגרים של מחר, האתגרים הבאים שננסה להתמודד איתם, זה לנסות לקחת את המודל הזה, את המתודה הזו, ולהבין איך אנחנו עושים את זה בסקייל הגדול שמאנדיי עובדות בו, בקצב המאוד גבוה שמאנדיי עובדת בו, בעצם כל השינוי הזה מצריך גם איזשהו שינוי והתאמה לעולם של מאנדיי. אנחנו רגילים לענות על שאלות מאוד מאוד מהר, לעבוד עם תקציבים מאוד מאוד גדולים של מיליוני דולרים כל חודש בעולם המרקטינג, ועולם הגיאו-טסטינג צריך לעבור איזושהי התאמה כדי שאנחנו נדע איך להשתמש בו מבלי שזה יעכב את הסקייל שלנו, את הקצב שלנו. אז אני חושבת שזה הדבר הבא שנצטרך להתמודד איתו בעולמות האלה.

אדווה: אוקיי, אז אנחנו מתקרבות לסיום. אם מישהו מקשיב לנו ורוצה עכשיו להתחיל לעשות את השיפט הזה, להתחיל למדוד בצורה שונה, לעשות פרפורמנס מרקטינג אחרת אצלו או אצלה בחברה, יש לכן טיפים למי שמתחיל עם זה עכשיו?

נועה: אז נראה לי שהטיפ הכי חשוב מבחינתי זה לשמור על מיקוד. בעצם אם אני חושבת על חברה שרק מתחילה את הצעדים הראשונים בעולמות של הגיאו-טסטינג ויש לה באמת גם אולי משאבים קצת יותר מוגבלים, אז אם היא תנסה מהתחלה לעשות את הכול ולענות על כל השאלות המרקטיאליות שלה באמצעות גיאו-טסטינג זה יכול להיות מאוד מאוד קשה. כדאי להתחיל עם איזשהו מוקד מסוים. בתוך הפעילות שלה, על איזה שאלות עסקיות היא רוצה לענות? על איזה אזורים מרקטיאליים היא רוצה להתמקד? באיזה אזורים גיאוגרפיים היא רוצה להתמקד? ולהתחיל משם ואז מתוך זה, אחרי זה הייתי מוסיפה את השכבה של הגיאו-טסטינג, אבל באמת שיפעל רק על איזשהו אזור ממוקד ושאלה עסקית ממוקדת, ומשם אפשר להתרחב, להתמקצע, להכיר את המתודולוגיה, את השיטות, את הבסט פרקטיסס של העולם הזה, ולהרחיב את השיטה הזו של הגיאו-טסטינג לשאלות נוספות ולאזורים נוספים. 

אדווה: מעולה. אז זהו, אז אנחנו מסיימות, ואני אגיד שזה באמת נושא חדש, אז אם יש לכם עוד שאלות אלינו, שאלות לנעמי או שאלות לנועה, אפשר לשאול אותן בעמוד הפייסבוק שלנו בקהילה, אפשר לשאול אותן באתר שלנו והן יענו לכם. ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש אז אתם יכולים ללחוץ על כפתור הפעמון בספוטיפיי או לעקוב אחרינו בכל אחת מהאפליקציות. ותודה נעמי, ותודה נועה.

נועה: תודה רבה.

אדווה: ממש כיף שהייתן.

נעמי: תודה אדווה.

נועה: ממש.

אדווה: זהו, תודה רבה, תודה לכם שהאזנתם.

נועה: תודה רבה.

נעמי: תודה.