פרודקטיבי 61: איך לוודא שהמודלים הגדולים לא אוכלים לנו את המוצר?

מהפכת ה-AI הציבה אתגר מורכב בפני חברות מוצר רבות: כיצד משמרים את הערך המוצרי מול מודלי שפה גנריים שהולכים ומשתכללים במהירות. בפרק זה, נדב לוי, Senior Product Manager בסולה סקיוריטי (Sola Security), משתף בדילמה שפגשה החברה, כאשר לקוחות תהו מדוע לא לבנות את הפתרון בעצמם באמצעות חיבור ישיר ל-API של מודל Frontier קלאסי.

במקום להילחם בפידבק באופן שיווקי, הצוות הוכיח כי המעטפת המוצרית משפרת את רמת הדיוק מ-50% ל-85% ומייעלת את צריכת הטוקנים ב-300%. נדב מפרק את שלוש שכבות הקונטקסט ההכרחיות לפיצוח הבעיה, דן בטרייד-אוף המורכב שבין עודף גמישות לדטרמיניזם מוצרי, ומציג כלים מעשיים להתמודדות עם עלויות הכלכלה של הטוקנים, ניהול תחרות ישירה מול מודלים גנריים ומעבר ממוצר פסיבי למערכת אקטיבית המציפה תובנות למשתמש.

Episode transcript

Automatically transcribed — it may contain errors.

ProductTV, פודקאסט המוצר של סטארט-אפ פור סטארט-אפ.שלום לכולם, אני רן ארז ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות, על בעיות מוצריות שהם התקלו בהן, איך נגשו לפתור אותן ומה השיעורים שהם למדו בדרך. ובפרק שלנו אנחנו מדבר על הבעיה המוצרית הב איך מבדים שה-LLMs לא אוכלים לנו את המוצר שלנו, ומי שאולי חספר לנו על האתגר הזה הוא נדב לוי, Senior Product Manager בסולה סקיורטי. מה קורה נדב? היי, מה נשמע? מעולה, כיף שאתה פה. כיף להיות פה. אז ככה, לפני שאנחנו ב ת צוללים לבעיה, אולי תספר לנו כזה קצת עליך וקצת על סולה? אז אני מנהל מוצר בתחום הסקיורטי בערך עשור, רק בסטארט-אפים, חי סטארט-אפים, נושם סטארט-אפים, הייתי מנהל מוצר ראשון בארבעה מקומות שונים, ובסולה אני משנה וחצי. החברה בעצם מה שהיא עושה זה AI פלטפורם פור סקיורטי טימס, אנחנו בעצם לוקחים את כל הסקיורטי ושלבים אותה כדרך פתרון עם AI, ונותנים גמישות אינסוף לסקיורטי אופיריישנל טימס ולסוקים ולסיסויים. וואו, מעולה, וכזה מה הבעיה שאנחנו יכולים לדבר עליה ככה היום? אז הבעיה שאנחנו הולכים לדבר עליה זה בעצם חוויה שאנחנו עברנו בסולה, ממש מתחילת הדרך, התחלנו את הדרך ממש עם הגל ועם הסווייל של מהפכת AI, ונתקלנו בבעיה שבעצם אנחנו עומדים מול לא רק מתחרי בקטגוריה שלנו, אלא גם העולם, ה-AI, ה-AI הכללי, הג'ורנליסט, אנטרופיק, אופן AI, ואנחנו ממש ניסינו לזהות איך אנחנו יכולים להביא את הייחודיות המוצרית שלנו ואת היתרון היחסי שלנו לתוך המוצר. מעולה, אז ב ת בפרק של יום אנחנו ממש נרצה לקחת רגע את הסיפור שלכם ולפרק את זה כדי לעזור למנהלי ומנהלות מוצר לזהות את הסיגנלים שהדבר הזה אולי הולך לקרות, קצת איך להתגונן מזה דרך ה-case study שלכם וכזה טיפים ודברים שאתה יכול לתת רגע בדרך, ומעניין אותי להתחיל דווקא מהנקודה שבה הבנתם שיש בעיה עבורך ספציפית. אז אתה יכול לתת לנו כזה קצת צבע על זה? כן, אז בעצם אנחנו שהתחלנו, אז אני חושב שכמו רוב החברות שהתחילו בעידן החדש, היה לנו פלטפורמה ו-UI, והיה לנו AI שבא לעזרתנו וכסל לנו הרבה קיצורי דרך, ובעצם שתי הקצוות האלה הם משהו שניסינו לחבר, אבל מהר מאוד גילינו שהשוק לאו דווקא מגיב לזה כאיזשהו יתרון. שקנו את המוצר והתחלנו לקבל פידבקים מלקוחות, עלינו על הרבה שיחות עם לקוחות, ומה שהתחלנו לזהות איזשהו טרנד, שהיה איזושהי תמימות, אנחנו ידענו שזה מאוד קשה לבצע את מה שעשינו עד עכשיו, אבל הרבה לקוחות פשוט באו ו רו לנו, מה ההבדל? למה אני לא יכול לקחת קלוד, לחבר לו כמה MCP, כמה קונקטורים, ולרוץ קדימה ולעשות את מה שאתם עושים? ואנחנו היינו עמומים, זאת אומרת, בהתחלה לא הבנו כמה אנחנו נתפסים עם שחיקת הערך למוצר. בעצם בנקודה הזאת אתם מבינים שכשמשווים אתכם, לא משווים אתכם למתחרים, משווים אתכם ל… אז אני אבנה לבד בעצמי ובעצם מה אתם נותנים פה, מה הערך המוסף שלכם? בדיוק. אז לא רק השווו אותנו למוצרי סקיוריטי בשוק, אלא השווו אותנו למודלים, לפרונטיר מודלס. ובעצם זיהינו שכל המודלים האלה הם סופר ג'נרליסטים, הם מתקדמים בקצב מאוד מהיר, הם מביאים גמישות אינסוף, והלקוחות כן יכולים להתקדם מאוד מהר, אבל הם הולכים להתעכל במחסום שהם עוד לא ראו. זה מצד אחד. ומצד שני, ניסינו לקבע ולהבין יותר טוב איפה הערך המוסף שאנחנו יכולים לתת. ואני בטוח שהיה רגע איזושהי שיחה בצוות, שאומרים אולי הם צודקים, דווקא מעניינתי בשביל מנהלי מוצרים אחרים שאולי נמצאים בבעיה הזאתי, איך בודקים את הדבר הזה? כי אולי זה נכון. כנר במקרה הזה לא, אבל במקרים אחרים זה כן נכון. אז מעניינתי לדעת רגע את הסטייק שלך על זה. אז אני אקדים את המאוחר של מה שלמדנו, ובעצם רנו שנייה, בוא נר אם הם צודקים. בוא נתחיל, עכשיו יש קונספט כזה של איבלים, איבליוואישן ובנשמארקינג בלמם. עכשיו עושים את זה הרבה פעמים נגיד עם מודל ספיידר כדי לבדוק SQL, Queries וכן הל . אז רנו שנייה, אנחנו גם צריכים לבדוק אם מה שאנחנו נותנים הוא איכותי וכמה איכותי. אם אני אבוא ללקוח ויגיד לו שלי יותר טוב, של כולם יותר טוב. אז בעצם התחלנו עבודה מאוד מדעית ביחד עם צוות מחקר, ליצור בנשמארקינג פירי. הבנשמארקינג הזה בעצם מתחלק ל-evaluation

שבנוי מגולדן דאטאסט, שזה בעצם מה שהתשובה הצפויה לשאלה הצפויה. אז גולדן דאטאסט בא ואומר, אני מצפה לתשובה כזאת כל פעם שאני שואל. באותה שאלה זה בדיוק התשובה שתחזור. באותה שאלה, כן. אז אם אני עכשיו מבקש כמה פאבליק F3 בקטס יש לי חשופים לאינטרנט, אז אני מצפה לתשובה 3, ואני יודע שזה התשובה, תמיד זה התשובה. אז החלק השני של האיבליואיישן זה בעצם קוד סרז'ן. זאת אומרת מה שאתה בודק זה שהאוטפוט שלך הוא דטרמיניסטי. כלומר כל פעם שאני מבקש תוצ מהמודל הוא מחזיר לי בפורמט התקין. האיבליואציה השלישית שלי זה אלה למזג'אג'. מה שנקרא אנחנו נותנים למודל לשפוט את חבריו, כמו פיר ריוויו בעולם האקדמיה. אז זה בעצם מודל א', בודק את האיכות התשובה של מודל ב', ווייס ורסה, או כמה מודלים בודקים את איכות התשובה של מודל אחד. עכשיו ברגע שעשינו את הבנצ'מרקינג הזה, אז בעצם התחלנו להבין איך אנחנו יכולים למדוד את הערך המוסף שקיבלנו. ובו בזמן אנחנו צריכים גם לממש איזשהו פתרון, ולראות מה אנחנו יודעים לעשות בין שכבת הפלטפורם לבין שכבת המודל, שבעצם מייחד אותנו ותמיד משאיר אותנו צעד אחד קדימה מהמודלים. אוקיי, אבל אולי רגע לפני זה, ב ת אתם השקעתם זמן ברגע להוכיח שיש לכם ערך, וזה נר לי החלטה לא טריוויאלית בטח בסטארט-אפ שרץ מהר, צריך לדלבר רגע עכשיו עוד פיצ'רים, עוד יכולות. כאילו עצרתם רגע ו רתם בוא נבדוק רגע את האיכות, כאילו איך מקבלים את ההחלטה הזאת, אני דווקא מעניין אותי לדעת. איך מקבלים את ההחלטה הזאת, כי באיזשהו שלב אתה חייב להוכיח. בעולם שהוא מאוד דינמי, מאוד ורפי, מאוד איכותני, אתה צריך בעצם יכולת לקמת את עצמך, ולעבור ולהגיד לבן אדם שהוכח, אז תסתכל, אני יותר טוב ב-X אחוזים. אז ב ת המדידות שלנו הראו, ותכף נצלול למה גרם לזה לקרות, בעצם הצלחנו להוכיח שעל מודל שנקרא Pure LLM, הרמת דיוק מגיעה ל-50 אחוז בשיפורים. בשיפור של 50 אחוז, או שזה המודל שלהם? המודל שלהם הם מצליחים להגיע ל-50 אחוז דיוק לתשובות הבטחה שאנחנו נותנים להם. אוקיי. בעזרת הקונפיגורציה, או בעצם הערך הייחודי של סולה, אז הצלחנו להוכיח שאנחנו מגיעים ל-85 אחוז דיוק בממוצע. עכשיו זה סופר משמעותי בעולם של סקיורטי, בנוסף לזה, זה מדד אחד של איכות. עכשיו זה מתחבר קצת למשהו, מה שנקרא, מאוד מאוד פיקנטי, שאנחנו מדברים עכשיו על כלכלת טוקנים, שזה מה שמטריד אני חושב כל מפתח. כולם. את כולם, כולם פה מסתובבים ברחובות, מחפשים טוקנים, אז אני חושב שהמדד השני שלנו, זה ב ת הפתיע אותנו. זאת אומרת, האיכות היה לנו ממש כמטרה, כפו על יוצא גילינו עוד משהו מעניין, שלא רק שהאיכות שלנו הרבה יותר טובה, גילינו שהיעילות שלנו הרבה יותר טובה. אז… זה היה ממש שיחה אחרת, הפתעה בשבילנו, שראינו שאנחנו מצליחים להוריד תשובה של מודל, מה שנקרא, נקי, מתשע שאילתות, בשביל לייצר תשובה איכותית, לשתיים וחצי בממוצע, בעזרת השיפורים שלנו. זה שיפור של 300 אחוז, ביעילות. אז זה הפתיע אותנו, וזה גם מה שגרם לנו להבין, גם האיכות שלנו הרבה יותר טובה, גם אנחנו מצליחים לעשות את זה בצורה יותר אפקטיבית, וזה אנחנו יכולים להביא בעצם ללקוח. אז בנקודה הזאת אתם עושים את הבייסליין, ועכשיו אתם גרסה לגרסם, אתם בודקים את זה מול הבייסליין, אבל מה בסוף השיפורים? מה ה-value? אז השיפורים שבעצם עשינו, הם בדיוק בטבח בין מה ש רתי, המודל הפלטפורם. עכשיו מודל הפלטפורם הזה, הוא הופך להיות כבר מושג יחסית חדש, אבל מוכר, מה שהוא נקרא, ה-Harness. ה-Harness של המודל. אז אולי נגדיר את זה רגע לאנשים שעכשיו מקשיבים לנו, ואולי לא סגורים עד הסוף. אז ה-Harness זה בעצם המעטפת של המודל, שמאפשר לך ליצור קונפיגורציה שמתאימה למודל, ומשפרת אותו. לדוגמה, כל עוד קוד, זה סוג של ה-Harness. הם לוקחים את כל עוד ומותפים אותו בסביבה, באקו סיסטם, באורקיסטרציה מסוימת, שהופך אותו ליותר טוב למתכנתים. קרסר, אותו דוגמה. עכשיו שמוציאים Cloud for Design, זה הכל זה ה-Harnessים שבעצם עוטפים את המודל, מאפשרים לו גישה יותר נכונה למידע, מאפשרים לו קונטקסט יותר נכון, ומאפשרים לו אורקיסטרציה יותר נכונה של פעולות אוטסקיים מג'נטים. אוקיי, מצוין. אז ב ת אני חושב שהדוגמה של ליאוסה, השכל בראש, זה ההבדל בין הנהג למכונית. כאילו נהג מצוין יכול…

אם אתה רו הרבה מכוניות בהרבה תנאי שטח שונים, במקום שניסח צ'יפ, יש מקום שנעשה פורמולה אחד, יש מקום שנצטרך לקחת את הילדים לגן וניקח אותו אחר. זה עוזר להבין רגע את הקונטקסט של איפה אנחנו פועלים, כדי לתת תוצאות אופטימליות למסלול או למשימה שאנחנו מנסים לעשות. נכון, ואנחנו תמיד מנסים נגיד לשמור, אנחנו מנסים להיות מאוד אגנוסטים למודל. זאת אומרת אנחנו גם פנימית מחליפים כל הזמן בין המודלים, בודקים את המודלים החדשים, ומה שאנחנו תמיד רוצים לראות זה את ה-value added. זאת אומרת אני לוקח מודל נקי ואני רוצה לראות את השיפורים on top of it. המודל יכול להתקדם, אבל הערך המוצרי שלי שלא יגרום להם, לנו להיות obsolete מחר בבוקר, זה זה שאני מוסיף ערך שולי. זאת אומרת on top of המודל הוא יכול להתקדם ב-X, ואני תמיד אקדים אותו, תמיד אני אשפר אותו באחוז מסוים. אז מה הערך שמנהלי מוצר יודעים להביא בהרנס? אני חושב שאחד מהדברים שמנהלי מוצר יכולים, כלים שהם יכולים לשחק איתם, כדי להטיב עם המוצר וליצור בעצם דיפרנציאציה באופרינג שמביאים, אז אחד זה באיזה קונטקסט אתה מזין את המודל, ובפורמט הכי נכון. עכשיו אצלנו נגיד אנחנו בעולם של סקיורטי, אז הרבה משתמשים בגרפים, גרפים יחוסים. ואנחנו בעצם לקחנו את המודל, את הסכמה הזאת של relationship graph, ו רנו זה יכול להיות רעיון טוב גם, אם ניתן למודל את זה כאינפוט קונטקסטואלי. אז לא רק ניתן לו איזשהו טקסט פייל, אלא ממש נריץ בשבילו איזושהי סכמה של מערוכות יחסים בין יחסים מסוימים, וניתן לו את זה בצורה אחרת. זאת אומרת המודל רו את המידע כרגע, לא בצורה טקסטואלית, לא בקונטקסט יבש, אלא הוא מקבל את הקונטקסט בצורה מעובדת יותר. אז גם אתה חוסך לו עבודה, וגם אתה נותן לו לראות קשרים שהוא לא ר לפני זה. אז אחד זה מה אתה מזין בקונטקסט, שזה חברה של הבטחה יודעים לעשות יופי, אבל זה יחסית פשוט. שזה הקונטקסט הארגוני שלי הספציפי. שזה הקונטקסט הארגוני שלי, זה גם קונטקסט של domain expert, זה שיש אצלנו צוות סקיורטי שבוחן איזה קונטקסט כדאי להוסיף לכל שאלת המשתמש, בלי שהוא יודע אפילו. יש לנו vector db, משתמש מוסיף שואל שאלה מאחורי הקלעים, אנחנו עובדים מאוד קשה להשוות את זה ולזהות איזה שאלות אולי אפילו קצת יותר מחודדות, שהתשובה שהוא רוצה לקבל תגיע בצורה יותר נכונה, ואנחנו מזריקים את הקונטקסט הזה שמבוסס על האקספרטיז שלנו לתוך הקונטקסט הזה, הקונטקסט. ואז גם איך אתה מביא את זה, אז זה בעצם ה-relational graph, שאתה לוקח את המידע הארגוני, אתה מסדר אותו מחדש, אתה מאנדקס אותו מחדש, אתה יוצר קשרים, אתה יוצר איזשהו סכמה של blueprint, שהמודל יודע להשתמש, אתה נותן לו עוד כלי כדי להשתמש בו, כדי לנתח יותר טוב, כמו שיש לך אנליסט, אתה אומר לו, קח מוצר, תשתמש בו כדי לנתח את המידע, ואז אתה מביא לו מוצר יותר טוב כדי לנתח את המידע, אז ככה המודל גם, ככל שיש לו כלים יותר טובים ויותר נכונים למשימה שהוא רוצה לעשות, ככה התוצ גם תהיה יותר טובה. אני חושב שאולי כשאנחנו מדברים על קונטקסט, אז במקרה שלכם אנחנו מפרקים את זה בעצם לשלוש חוות של קונטקסט שהן שונות. השכבה הראשונה זה המידע הארגוני הספציפי, כאילו אני ארגון ספציפי, יש לי קונטקסט ארגוני, מה הנכסים שלי, מה הדברים האלה. המידע בלבל הבא זה איך עושים חקירות סייברואסט, איך subject matter experts ניגשים בכלל לעולמות האלה, וזה נקרא לזה השיטות והכלים שבעצם דרכם חוקרים, החוקרים הכי טובים, והדבר האחרון זה בעצם המודל המנטלי או הסכמה המנטלית שדרכה בכלל ניגשים לחקירת סייבר במקרה הזה, שזה בעצם לעבור ולהגיד חוץ מטקסט יש לך גם מערכת יחסים בין הנכסים השונים, וזה שיטת מודל מנטלי של איך החוקרים הכי טובים עובדים איתם, מה שהיית מצייר על דף בעת אתה עוזר למודל עכשיו לצייר, וכאילו יש אתגרים שונים בלהביא את הקונטקסט הארגוני, להביא את הקונטקסט של ה-SME, של ה-subject matter experts, ולהביא את הקונטקסט המיינדסטי נקרא לזה אפילו בדבר הזה, וזה דורש רגע דברים אחרים. נכון, אז כל אלה בעצם השכבות קונטקסט שדיברת עליהם, הכלים הנכונים, הקונקטורים הנכונים, הדאטה לייק המאונדקס שנגיש יותר למודל, והקונטקסט, נכון, אז כל הדברים האלה הם בעצם יוצרים לך הרנס ביחד, וזה כבר אולי תלוי בדומיינים, למרות שאני חושב שזה נושא שחשוב שיהיה בכל דומיינים, שזה טראסט. אז בעצם המודל גם מקבל כחלק מההרנס שלו גרדרלס נכונים לעולם סקירותי. נגיד זה מאוד חשוב התוצ שהתוצאת השלמה שאתה לא יודע משהו, אל תחרטט, תגיד…

תביא את כל המידע, אם אין לך את המידע אז תבין שאתה בבליינד ספוט, אל תביא מידע לא יזלוג. לא כל אנליסט, סכירו אותי, מותר לו להיות חשוף לכל המידע הארגוני. זה חברים עם ראייה שצריכה להיות מאוד חדה ומאוד רוחבית על הארגון ולכנס מאוד לאזורים רגישים, אבל לפעמים והרבה פעמים בטח שבארגונים גדולים, אז יש לך עדיין מידור בין עולמות ואתה רוצה שבעצם הגרדריילס ישמרו על כל אחד מהמשתמשים לעשות את העבודה שלו בצורה הכי יעילה. עבודה של ליסט פריבילג', סקופ מוגדר מראש לכל אנליסט וכן הל זה חלק מההרנס שאנחנו נותנים. ביחד, עם מה שנקרא השלב האחרון, שנייה לפני שהתשובה מגיעה אליך, אתה רוצה שגם אנחנו נעשה איזשהו וריפיקציה ואולי אפילו קורקטנס. כי יכול להיות שאנחנו יודעים שהמודל עבד לא בצורה נכונה, אז אנחנו צריכים לעשות לו, תבליעס להבין האם הוא ענה נכון או לא נכון. ובמידת הצורך לתקן, אולי לשלוח אותו עוד פעם לחפש תשובה יותר טובה, אולי הבנו שאנחנו צריכים לעשות פה איזשהו לופ, איזושהי חשיבה, אולי צריך להעביר למודל אחר וכן הל . פורמט אוטפוט, פשוט דיברנו עליו, האם הפורמט תקין וכן הל אז כל זה גם בשכבה האחרונה של ההרנס ששומר עלינו. אני חושב שגם במוצרי סייבר ספציפית, גם הלקוחות מנסים לשבור אתכם כדי לראות שאתם ב ת בסדר. מה זה לשבור? אתה לא מבין בכלל. זה שאתה מביא חבר'ה, שהלקוחות שלך הם החבר'ה החדים וההקירים והחבר'ה היצירתיים, אז כמובן שהם גם מנסים לאתגר אותנו וזה טוב. בסופו של דבר זה מלמד אותנו את הגבולות וזה גורם לנו להשתפר. אבל בא לי להקשות רגע, כי בסוף מה שאתה אומר, גם המתחרים שלך בעולמות האלה של פלטפורמות ל-AI, משתמשים יש להם גם פלטפורמה וגם משתמשים בפרונטיר מודלס. איך אתם בכלל עושים מחקר מתחרים? איך אתם יודעים שאתם לא רק יותר טובים מהמודל הקלאסי, אלא גם יותר טובים מהמתחרים שגם בונים הרנס קצת אחר? נכון, אז פה בהחלט נכנס גם עבודה עם הלקוחות ובנצ'מרקינג ובייק אופים ובבחינה של תוצאות. הבנצ'מרקינג שלנו דרך אגב, אנחנו יכולים למדוד גם, אנחנו יכולים למדוד כל קונפיגורציה, לא רק את של עצמנו. אנחנו יכולים לקחת כל אלה לפלס הרנס ולראות ולשים אותו בבנצ'מרק ולראות אם אנחנו נופלים מהמתחרים או שאנחנו יותר טובים מהם ולהשוות. זאת אומרת שההשוו היא גם, אם מודל איבלואציה שאתם בניתם לעצמכם, ואפשר גם להשוות את עצמכם למתחרים על אותם פרמטרים. כן. אוקיי, אבל בעצם זה גם בהבנה שהם יכולים להשוות אתכם אליהם עם מה שהם בנו, במידה והם בנו את זה. אנחנו מאוד עוגלים בשקיפות ולהיות טובים ואנחנו עם הרבה הרבה עבודה, בסופו של דבר גם בעולם הישן. איך אתה משווה את עצמך למתחרים? אתה הולך ואתה בודק ואתה רו את התוצ הכי נכונה, לכולם יש, לרשות כולם יש את כל הכלים להצליח. אבל אתה לא מרגיש שזה אולי קצת בעיות של כזה, בעיות של 2026 שלא יהיו בעיות של 2027? נגיד סתם, מודל מיתוס משתחרר וכל חברות הסייבר מתרסקות סתם, זה רגע כדוגמה אולי קצת מצחיקה אבל גם קצת לא. כאילו כל היצירת הקונטקסט הסביבתי הזה, ההרנס הזה, זה לא משהו שפשוט מודל יותר חזק יפתור? לא, זה העניין כי במודלים בסופו של דבר המודלים האלה הם ג'נרליסטים בין נייצ'ר, גם אם נגיד מיתוס עכשיו שיוצא הוא הרבה יותר טוב בסקיורטי ויכול לפתור בעיות סקיורטי. אחד זה לא אומר שהוא ב ת דומיין אקספרט בכל המדדים. שתיים, המודלים האלה מאוד טובים בתיאוריה ובפרקטיקה הרבה פעמים שאתה נכנס למידעיים ארגוניים וקונטקסט ארגוני וייחודיות של כל ארגון בעצמו, אז אתה מגלה שיש פער. אז המשחק הזה של להיות צעד אחד קדימה, אחד אנחנו מכירים את זה מעולם הסקיורטי, זה תמיד היה. תמיד היינו מסתכלים על התוקפים ורוצים להיות צעד אחד קדימה, זה אותו דבר, אנחנו רואים את המודלים שיוצאים, אנחנו בוחנים אותם, אנחנו משתפרים. אז הייחודיות זה לרכוב על הגל של השיפור ואנחנו רוצים שמיתוס יצא ואנחנו רוצים שאיי-איי יתפתח ואנחנו רוצים שהמודלים יהיו אלופים ויותר טובים. היתרון שלנו זה לקחת את זה ולהוסיף ולהיות עוד טופ אוף הרבה יותר טובים מהמודל שבאותו רגע נתון יוצא. אוקיי, משהו מתוך האיוולואציה או מתוך הדברים שאוספתם להארנס הגיעו ישירות ללקוחות גם כפיצ'רים? אז כן, ה ת שהיה לנו משהו אחד שאני זוכר שלא עבד קצת, שניסינו לתת קצת שליטה בהתחלה.

חשבנו שלתת למשתמש גמישות יתר, חשבנו על זה כגמישות, מה שהסתבר להיות גמישות יתר. ביקשנו ממנו לבחור את הקונפיגורציה. זאת אומרת, כמו שיש AI ריסרג' מוד, אז נתנו לו גרף סכמא מוד. אני בטוח שיש מקומות שזה עובד, או אולי בתעשיות אחרות. במקרה שלנו זה פשוט לא עבד עם אנשי סקיורטי. הם לא רצו שליטה עד כדי כך. הם רוצים משהו שהוא חצי מובנה. כולם אוהבים גמישות וכולם אוהבים לשחק, וכנר שגם פאור יוזרס מאוד אוהבים את הסופר גמישות. אבל אחד מהדברים שלמדנו שלא עבד זה לתת עודף גמישות למשתמש, ובסופו של דבר יוצר איזשהו אנלסיס פרלסיס. יש לך טבול הרסה, יש לך דף לבן שהמשתמש צריך כרגע גם להביא מעצמו ולחקור מעצמו מאפס, וגם עכשיו אתה מביא לו את הכלים של מתי הוא צריך להפעיל איזה כלי. אף אחד פשוט לא ישתמש בזה. אז הבנו שאנחנו צריכים לצקת את זה להארנס, וצריכים שזה יהיה שקוף למשתמש, לדעת מתי לבחור את הכלי הנכון בזמן הנכון. והמשתמש לאו דווקא יודע, כי הוא לא איתנו, הוא לא יושב איתנו במשרד, הוא לאו דווקא יודע מה היכולות של כל כלי, מה הניואנסים, מתי אני צריך להשתמש במודל הזה, מתי אני צריך להשתמש בכלי הזה, מתי… אז אנחנו הבנו שזה אנחנו צריכים אחד לבחור בשביל המשתמש. ושתיים, למדנו גם שמשתמשים בפלטפורמה שלנו עם עודף הגמישות ועודף השטח הפתוח שיש לנו, אז גם הם ראו אותנו כמוצר קצת פסיבי, שהבוא אתה תשאל אותי שאלה ואני אענה לך הכי טוב. ומה שגילינו שאנחנו צריכים לעבור לתת תובנות אקטיביות, אז זה עוד משהו שגילינו עם הזמן, שאנחנו לא רק רוצים להיות פלטפורמה שתשאל אותי ואני אענה לך, ועם כל האקוסיסטם כמובן וה-UI והאפשרויות, אנחנו רוצים גם להיות אקטיביים יותר, בשונה נגיד ממוצרי דיזיין שכאן וסרק זה אחלה ואני יודע מה אני רוצה להציע, ומוצר סקירות אתה צריך להציף ולתת סיגנלים, לתת התחלה של חקירות, להציף לו את הבעיות שישבו ולפעמים הוא לא יודע מה הוא צריך. אני חושב שבשיחה הזאת על הגמישות, מה שלי עולה בצורה מאוד משמעותית, זה היכולת שלנו לעזור למשתמש לקבל את ההחלטות הנכונות עבורו. ובהקשר הזה הרבה פעמים אנחנו כאילו עושים אוטסורס לקבלת ההחלטות למשתמש, אנחנו אומרים לו תבחר מה שאתה רוצה, אתה יכול לעשות הכל, ואז אני לא יודע מה לעשות, ואני חושב שדווקא מוצרים שיש בהם כאילו אנשים שהם פאור יוזרס, זה עוד יותר אפילו משתק, כי הם בטוחים שהם יודעים איך לעשות את זה בצורה מסוימת, ואתה מגלה שיש הרבה דרכים לעשות את זה או עוד דברים שהם יפספסו, דווקא מתוך האקספיריינס שלהם, ודווקא אתה לא רוצה לנהול אותם לדרך הישנה שהם עבדו, כי זה יביא אותם לתוצאות מסוימות, ואולי אתה יכול להביא אותם לתוצאות הרבה יותר טובות בהקשר הזה. זה ממש ככה, אז בעולם שהוא היה פוינט סלושנס, שמוצרי מדף שיש רק מסלול אחד, יש רק צורה אחת לקבל את המידע, אני נכנס, אתה שורק, מקבל אלרט, תפתור את האלרט, תמשיך הל לבין העולם ההיפר דינמי, מודל, הכל יכול, סופר גמישות, תבנה מה שאתה רוצה, תעשה איזה ויזואליזציה, תבנה איזה דוחות, אני חושב שהיינו יותר מדי במקום הישן, ועכשיו אני חושב שהגענו לאיזה מקום, לאיזה פרנטיר שהוא סופר גמיש, ואני חושב שהמקום זה בעצם איפשהו ב צע. איזה שהוא מודל היברידי, בטח שב-AI, יש לך, בטח שב-AI ובטח שבעולם שלנו של סקיוריטי, שאתה צריך גם לענות על שאלות חדשות ומשוכללות שאנשי סקיוריטי עוד לא פגשו לפני כן, אבל מצד שני אתה רוצה להיות יותר דטרמיניסטי. יכולים להיות אזורים שאתה רוצה יותר דטרמיניסטיות, אפילו בתוך, לא רק במוצר אלא בתוך המוצר, יש פיצ'רים שאתה תרצה בהם יותר דטרמיניסטיות, יותר עקביות, ויש פיצ'רים שאתה תרצה, תבנה איזה ויזואליזציה שאתה רוצה, נגיד צ'ינרות של דאשבורד. או, זה בדיוק, אני חושב שזה בדיוק ריפורטינג, זה בדיוק דוגמה שאפשר, יכול להיות ריפורטינג שהוא, אם אתה עוקב אחרי זה משבוע לשבוע, אתה חייב שזה יהיה מאוד דטרמיניסטי כדי לראות שאתה מסתכל על אותם דברים, אפלז מול אפלז, אבל ריפורט שהוא טקסטואלי ואתה רוצה לסכם, פה יש גמישות הרבה יותר גדולה. נכון, אפילו בתוך הריפורט הוויזואלי אתה יכול להגיד, ביצירה שלי אני רוצה שתאפשר לי את כל העולם, תיתן לי איזה גרף שאני רוצה, אני לא רוצה שתגביל אותי באיזה גרפים או באיזה מטריקות, אני אחליט, אבל ברגע שאני… בניתי. בניתי, אני רוצה לנעול את זה. מעולה. אני רוצה שתהיה עקבי, אני לא רוצה שיהיה ג'ון רטלי דוח חדש כל פעם בצורה יצירתית, כי מי יודע מה אני אקבל מחר. אני חושב שזה בדיוק הנקודה, שזה להיות יצירתי בטמפליט, אבל לא להיות יצירתי בשימוש בטמפליט. נכון, אז זה ב ת עולם שזה למנהלי מוצר מאוד להחליט איפה הם רוצים לשים את עצמם במקום הזה.

על הסקאלה הזאת. כל פיצ'ר שאני מוציא עכשיו, אני חושב האם אני רוצה שהוא יהיה נוקשה יותר, הוא גמיש יותר, האם אני רוצה שהוא יהיה פרי סטייל וייב קודינג, או שאני רוצה שהוא יהיה מטומטלת ב-100%. אז כמובן שכנר שזה איפשהו נועל ב צע, אבל זה לשיקולי. בתור מנהל מוצר להחליט עד כמה אני רוצה את הפיצ'ר הזה לכאן ולכאן. וזה בדיוק טרייד אוף שאתה צריך לקבל בתור פרודקט, אני חושב, אבל עוד משהו שאתה רת, וכאילו הקפיץ לי עוד איזשהו טרייד אוף שמעניין אותי לדעת רגע את הטייק שלך עליו, ובעצם רת, גילינו שאנחנו באיכות הרבה הרבה יותר גבוהה, אבל לא רק באיכות הרבה יותר גבוהה, גם ב-ROI יותר יעילים בצורה משמעותית, וזה כאילו כזה איזה כיף מדהים, אבל בא לי דווקא להתגייר בקטע של איך אתה בטרייד אוף של נגיד פיצ'ר, שהוא משפר את האיכות, אבל נהיה יותר יקר, כאילו מוריד את ה-ROI, או הפוך, איך אתה מקבל את ההחלטות בהקשר הזה? יש לך איזה נוסחה או רעיון או כללי אצבע? אז אני חושב שבהתחלה ניסינו קצת להילחם בזה, ו רנו יש לך פלטפורמה יותר טובה, יש לך פה, הנה יש לך עוד פיצ'ר כזה ב-UI, יש לך עוד זה, ה-UX שלי קצת יותר נוח וכן הל וזה לא, מה שנקרא, זה לא הזיז את המחת יותר מדי. אני חושב שמה שהזיז את המחת זה להראות להם, לתת להם להשתמש, לתת להם אפילו להתבחבש קצת, לתת להם אפשרות אפילו, אז בוא נעשה את זה ביחד. תבנו בעצמכם. מה זה תבנו בעצמכם? בוא אנחנו נעזור לכם להרכיב את זה, תרכיבו קלוד ו-MCP, בוא נתשל את המידע ובוא נעשה את זה ביחד. בוא תעשה את אותה שאלה, תשים פה ותשים פה, ותגיד לי מי הוא נהיה תשובה יותר טובה. עכשיו זה מאוד קל לעשות ה-POC הזה. היוזר מקנפג איזה משהו מאוד צער, שאלה מאוד פשוטה, ובוחן אותנו כנגד LLM בלי כלום. כן, וגם ה-LLM שהוא נתן זה ה-LLM שהוא כתב ל-LLM לכתוב לו את הפרומפט שעושה את זה. בדיוק. ואז מהר מאוד אנשים מתחילים להבין את ההבדל. ברגע שהם רואים בעיניים את התשובות, ורואים את הפולס פוזיטיבס, ורואים את האיכות של התשובה, ורואים את כל המהירות, את הגיילות, וכן הל זה מאוד קופץ. לפעמים אתה לא צריך לפחד. אתה לא צריך לפחד. אומרים לך, תבנה, אני יכול לעשות את זה לבד, אז אתה אומר, בוא נעשה את זה ביחד. למה שתעשה את זה לבד? אני עושה את זה בתור מנהל מוצר. אני בתור מנהל מוצר בונה קלוד פלוס-FCP, ואני רוצה לראות את הפיצ'ר שלי מנצח. זה חלק מהבדיקות שלי. מה שנקרא, אני בא להתערבות הזאת קצת בצורה לא הוגנת, כי אני יודע מה אני שווה. אבל אני צריך גם שהמשתמש יר את זה.

הוא לא יר תשובה טובה והוא לא יר ממצאים שהוא לא יכל להגיע אליהם ואם אני לא מר לו אושר של ממצאים גם שהוא אפילו לא היה חושב עליהם כי יש לנו בכלל גם צוות מחקר שמביא לו גם את השאלות שהוא לא ידע לשאול. וגם בצורה פרו אקטיבית מה שלמדנו שהמעבר מפסיבי ופרו אקטיבי זה גם מאוד מאוד הר למשתמשים שלנו. הנה הגבולות שאנחנו יודעים לפרוץ, אנחנו שמים לכם טמפלטים בואו תנסו אותנו ואז הם אפילו לוקחים את הדברים שאנחנו נותנים לפרו אקטיבי, מריצים חזרה במקום הטיפשי ורואים אותנו בעצם מככבים. אז זה בעצם השכבה כי AI תמיד עכשיו יהיה וויזואליזציה נשחקת קצת וההארנס הזה בעצם הקונפיגורציה, האקו סיסטם, הסידור, האורקסטרציה, פה זה הדומיין אקספרטיז שאנחנו יכולים להביא לשולחן. מדהים, אתה רו מה שאני לוקח? אז רגע קודם כל ההבנה של הקונטקסט להארנס מורכב מבין זה משלוש שכבות, שזה אחד המידע הארגוני של אותו לקוח, המידע של איך עושים סאבג'קט מטר אקספרט איך הם עושים את העבודה הזאת, ואז ב ת המיינדסט שהם צריכים שיהיה להם אם זה דיברנו רגע על הגרף בדיוק בצורה הזאת, איך ניגשים בכלל לחקירת סייבר במקרה הזה. הדבר השני שהיה בעיניי סופר מעניין זה הנושא הזה של בניתם איזשהו פרמרוק ליווליואציה ואז השתמשתם בו גם עליכם וגם על המתחרים וגם עליכם בכל פיצ'ר שהכנסתם וגיליתם את השיפור המשמעותי של מ-50 ל-85 אחוז, הבנת הקטע של העלויות שהוא פתאום הופך להיות משהו הרבה יותר דרמטי בשיחות עם לקוח אני בטוח, והדבר האחרון זה בעיניי הטרייד אוף המ ש מעניין הזה של כמה גמישות אנחנו נותנים, אני חושב שהתובנה הזאת של גמישות ביצירת הטמפליט ואחר כך עם מאוד מאוד דטרמיניסטיות בשימוש בטמפליט הוא איזשהו נקודה מאוד משמעותית בעיניי למנהלי מוצר, אז ככה עם זה אנחנו נסיים אבל רגע לפני אני אגיד שאם אתה רוצה לדעת בכל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות אז שוב המון המון תודה נדב תודה רבה ותודה לכם שהזנתם.