320: AI בקצרה למתחילים - המלחמות שלי עם הצ׳אט

היי כולם, אני רוני ארניב ואתם הגעתם לסטארט-אפ פור סטארט-אפ, מהדורת חגים בקצרה. פרקים קצרים שייצאו במהלך חגי תשרי, ובהם אנחנו מדברים על שיעורים שלמדנו בשנה האחרונה בעבודה עם AI. והעורך שלנו בפרקים האלה הוא עמיחי אבן חן, Senior Product Manager במאנדיי. עמיחי, מה העניינים? עלינו רוני. שוב אנחנו נפגשים. וואי. אני מרגיש כאילו הפרק הקודם היה לפני רגע. ממש. אוקיי, אז היום אנחנו מדברים על המלחמות שיש לך עם AI. דברים שלא עובדים מספיק טוב עדיין, ואיך אפשר להתמודד עם זה בכל זאת. שנתחיל? יאללה, בואי נתחיל. מעולה. אבל זה גרוע. אז אנחנו כבר בשלב שאנחנו מאוד מסתמכים על AI. אנחנו משתמשים בזה להרבה דברים, אבל זו טכנולוגיה עם הרבה הלוסינציות והרבה דברים שעדיין לא עובדים ממש טוב, ועל זה אנחנו נדבר היום. איפה אתה רו שדברים עדיין לא עובדים מספיק טוב? אז אני רוצה לספר לך משהו שקורה לי כל הזמן. יש לי במוצר כפתור, יוזר יכול ללחוץ עליו ולהשאיר פידבק. זה מה ש בתי, זה מה שלא בתי. ועכשיו אנשים לוחצים עליו כמו מטורפים, ואני נשאר עם אקסל ענק מלא באלפי פידבקים. והחלום שלי זה לקחת את כל הדבר הזה, לזרוק אותו לצ'אט שיפיטי ולהגיד לו מה התלונה שחוזרת הכי הרבה. ואין דבר שהוא גרוע בו יותר מלעשות את זה. הוא מביא לי את השלוש תלונות הראשונות ושוכח את השאר. הוא מתבלבל, הוא לא מבין את הקונטקסט. הוא ממש ממש לא טוב עדיין בסקל. הרבה פעמים זה קורה בגלל הלימיטציה של הטכנולוגיה. בסוף יש כמות הטקסט שאפשר לשלוח בבת אחת לאיי, אפילו היא מאוד מוגבלת. וגם במודלים שכאילו מסוגלים לכל המון המון טקסט, הם הולכים לאיבוד כשיש כמויות כאלה. וזה הרבה זמן שיגע אותי. אוקיי. אז אני רוצה להגיד קצת איך אני עושה את זה מתיגציה. איזה שיטות אני כן מצאתי. יאללה. אז הרבה פעמים מה שאני רוצה לעשות זה לקחת את הבעיה מאוד מאוד גדולה הזו ולפרק אותה לבעיות קטנות. מה זאת אומרת? לדוגמה, אני במקום להגיד לצ'אט בבת אחת, הנה אלף פידבקים, אני הופך את זה למין תיוג של פידבק פידבק. מה זאת אומרת? מה הכוונה? אני אומר לו כל פעם שנכנס פידבק חדש, אז תבדוק את הסנטימנט מהטקסט, האם הוא חיובי או שלילי. אז תייצא החוצה את איזה פיצ'ר הוא מזכיר. תייצא החוצה איזה בעיה יש לו. ועכשיו יש לי שלושת אלפים כאלה, ואז במקום לעשות את זה פעם אחת על שלושת אלפים, אני עושה את זה כל פעם על אחד מהפידבקים. עכשיו בדרך כלל זה לא עובד בצ'אט שיפיתי. הם שארים מאוד מאוד מתחכמים בעלי המתקדמים, אז אפשר להגיד לו, פתח את האקסל, תריץ אחד אחד, אבל זה הרבה פעמים מתבלגן. זה דברים שאני הרבה פעמים עושה עם איזושהי מערכת. אני אגיד, נכניס את זה. במנדי יש לנו עמודות ממש בטבלה שהן יודעות להגיד, קח את הטקסט מעמודה אחת ותקצר אותה, או תקטלג אותה לקטגורות, או תבדוק אם היא חיובית או שלילית, או תריץ איזה פרומט שאתה רוצה. ואז מה שאני עושה זה אני מכניס את כולם למין טבלה, אפשר לעשות את זה גם באקסל היום, ובגוגל שיט, וכולם יש שם את הדברים האלה, ואני אומר על כל אחד ואחד, תתייג לי אותו או תמצא את האירוע. לפעמים מה שאני עושה זה אני עובר על ה-10-20 הראשונים לבד, מוציא את האומר, אוקיי, זה הדברים שחוזרים הכי הרבה, עכשיו תעבור על כולם ותתייג אותם. שנייה, מה הכוונה שאתה אומר תתייג אותם? סליחה, אני לא מתחילה. נגיד יש לך, בוא ניקח את המוצר סטארט-אפ פור סטארט-אפ. סבבה? דברים שאני אביא. כן, אנשים עכשיו מכשירים פידבקים. הפידבקים יכולים להיות המרצים לא מספיק הריזמטיים, או אני מאוד מאוד אוהב את המרצים. הפידבקים יכולים להיות הנושא לא רלוונטי עליי, או הנושא הזה ממש לא הבנתי. הפידבקים יכולים להיות יותר ספציפיים, אני רוצה עוד יותר על פייננס, אני רוצה על מרקטינג, אני רוצה על פרודקט. עכשיו, את לא יכולה לקרוא 3,000 כאלה. אבל מה שהיה מעניין אותך זה להגיד, תשמעו, קיבלתי 3,000, וחצי מתוכן הזכירו את אני רוצה לשמוע עוד פרקים על פרודקט, עוד פרודקטים על EI, על סאס, על וואטאבר. עכשיו, אם תדחפי 3,000 פידבקים, הרבה פעמים יש את זה, נגיד יש לך איבנט, ובאיבנט אנשים אומרים מה הדברים שהם רוצים לשמוע בהרצ . אם תדחפי את כל מה שאנשים רשמו לצ'ט שיפיטי, ותשאלי אותו מה אנשים רוצים לשמוע בהרצ התשובות תהיה הילו סינציה משוגעת, והוא לא יצליח לקלוט את הכל. אבל אם תגיד לי לו, אוקיי, עכשיו יש לי 3,000 רישומים להרצ ובשאלה ששאלנו אותם על מה הייתם רוצים שנתמקד, היא כאן, עכשיו תנסה לקטלג אותה, נגיד. תגיד, האם זה EI, האם זה סאס, האם זה פרודקט, האם זה מרקטינג, האם זה סייל. ואז… שנייה, מה הכוונה שאתה אומר תתייג אותם? סליחה, אני לא מתחילה. נגיד יש לך, בוא ניקח את המוצר סטארט-אפ פור סטארט-אפ. סבבה? דברים שאני אבין. כן, לא, אנשים עכשיו מכשירים פידבקים. הפידבקים יכולים להיות המרצים לא מספיק הריזמטיים, או אני מאוד מאוד אוהב את המרצים. הפידבקים יכולים להיות הנושא לא רלוונטי עליי, או הנושא הזה ממש לא הבנתי. או הפידבקים יכולים להיות יותר ספציפיים, כן? אני רוצה עוד יותר על פייננס, אני רוצה על מרקטינג, אני רוצה על פרודקט. עכשיו, את לא יכולה לקרוא 3,000 כאלה. אבל מה שהיה מעניין אותך זה להגיד, תשמעו, קיבלתי 3,000, וחצי מתוכן הזכירו את אני רוצה לשמוע עוד פרקים על פרודקט, עוד פרודקטים על AI, על סאס, על וואטאבר. עכשיו, אם תדחפי 3,000 פידבקים, הרבה פעמים יש את זה, נגיד יש לך איבנט, ובאיבנט אנשים אומרים מה הדברים שהם רוצים לשמוע בהרצ . אם תדחפי את כל מה שאנשים רשמו לצ'אט שיפיטי, ותשאלי אותו מה האנשים רוצים לשמוע בהרצ התשובות תהיה הלו סינציה משוגעת, והוא לא יצליח לקלוט את הכל. אבל אם תגיד לי לו, אוקיי, עכשיו יש לי 3,000 רישומים להרצ ובשאלה ששאלנו אותם על מה הייתם רוצים שנתמקד, היא כאן, עכשיו תנסה לקטלג אותה, נגיד. תגיד, האם זה AI, האם זה סאס, האם זה פרודקט, האם זה מרקטינג, האם זה סייל. ואז… שנייה, מה הכוונה שאתה אומר תתייג אותם? סליחה, אני לא מתחילה. נגיד יש לך, בוא ניקח את המוצר סטארט-אפ פור סטארט-אפ. סבבה? דברים שאני אבין. כן, לא, אנשים עכשיו מכשירים פידבקים. הפידבקים יכולים להיות המרצים לא מספיק הריזמטיים, או אני מאוד מאוד אוהב את המרצים. הפידבקים יכולים להיות הנושא לא רלוונטי עליי, או הנושא הזה ממש לא הבנתי. או הפידבקים יכולים להיות יותר ספציפיים, כן? אני רוצה עוד יותר על פייננס, אני רוצה על מרקטינג, אני רוצה על פרודקט. עכשיו, את לא יכולה לקרוא 3,000 כאלה. אבל מה שהיה מעניין אותך זה להגיד, תשמעו, קיבלתי 3,000, וחצי מתוכן הזכירו את אני רוצה לשמוע עוד פרקים על פרודקט, עוד פרודקטים על AI, על סאס, על וואטאבר. עכשיו, אם תדחפי 3,000 פיד

אתה יכול לעשות זה באקסל, אתה יכול לעשות זה במנדי, אתה יכול לעשות זה בכל מקום, אבל אז התשובות שלך יהיו אוקיי, כמה אחוזים הם עושים איקס, כן? ואז זה עובד הרבה הרבה יותר טוב. אז עכשיו, זה אותו דבר אם יש לך רשימה של מועמדים ואת רוצה לסדר אותם ממי הכי מתאים לתפקיד למי הכי פחות. אם תזריקי לו חמישים קורות חיים, הוא לא יצליח. אבל אם תגיד לי לו לכל קורות חיים שאני מכניס, הנה תיאור משרה, הנה קורות חיים, בוא תדרג לי אותו מאחד עד חמש לכמה הוא מתאים, ואז תגיד לי אוקיי עכשיו תן לי את האלה שקיבלו את הציון הכי גבוה. אז תצליחי, פתאום הוא יכול לעבוד עכשיו על כמות מאוד מאוד גדולה של קורות חיים, כי הוא לא צריך לאכול את כולם בבת אחת, הוא אוכל אותם אחד אחד. אוקיי, מגניב, הבנתי. איפה עוד… הבעיה השנייה היא שאנחנו לא סומכים עליו. אפילו במה ש רתי קודם, את כאילו אומרת לו, תתייג לי ותחפש לי אם מדברים על סאס או ליאר, הרבה פעמים את לא סומכת על התשובה שלו. בואי ניתן דוגמה אולי, כאילו לבעיות של ון. אנחנו כולנו מכירים את זה, אבל סתם שיהיה לנו משהו כזה להאחז בו שאנחנו מדברים. אז נגיד אני לפעמים, יש לי כזה בורד של כל המתחרים שלנו, ויש לי איי שמחפש באינטרנט, מי המנכ״ל, מה הוולואציה, איזה פרודקט הוא הוציא ברבעון האחרון, מה הלינק לדוקומנטציה, כל מיני דברים בסגנון הזה. ולפעמים הוא מקשקש. לפעמים הוא ידלבל בחברה, זה לא בדיוק אותו דבר. פשוט ממציא. כן, לפעמים אני עושה מחקר מתחרים, ואני אומר, אוקיי, אני רוצה שתעשה לי טבלה של כל המתחרים, והאם יש להם פיצ'ר מסוים. והוא לא נכון, הוא טועה. אפילו בתיוגים שדיברנו קודם, יש לי פידבקים, ואני רוצה שתגיד לי אם זה חיובי או שלילי, או האם זה מתאים או לא מתאים. ועכשיו אני רוצה להגיע ל-100%, זה לא הטכנולוגיה. בכללי זה טוב לשים את זה במקומות שהדיוק הוא לא חלק הכי הכי חשוב, אם את צריכה ב ת דיוק, אז לצערי היום כנר שתצטרכי להיכנס. אבל עדיין אם את רוצה לשפר את ה… את היכולת שלנו לסמוך על התוצאות. כן, אז יש כמה דברים שאני עושה. אחד, זה הרבה פעמים אני מבקש מהאייי להסביר למה. לפעמים אני אומר לו, אוקיי, נגיד שוב, אני רוצה לסווק קורות חיים, אז אני אומר לו, תגיד לי למה, כמה הוא מתאים למשרה מ-1 עד 5, ותסביר במה הוא מתאים או לא מתאים. כן? ואז אני יכול הרבה פעמים להסתכל על ההסבר. כן, אותו דבר, שואל צ'אט פיטי, תשווה לי בין שני דברים, אז זה לא אומר לו מה יותר טוב, אני אומר לו, תסביר לי על מה אתה מתבסס כשאתה מקבל את ההחלטה הזו, ולפעמים אני מסתכל על התשובה, ואני אומר זה קשקוש במיץ. גם לפעמים אני אגיד, קצת טריקים כזה של אייי, לפעמים בעצם זה שהוא צריך לכתוב למה, גורם לו לשנות את התשובה, נכון. ולפעמים הוא ממציא גם את הלמה. אבל אני כן אגיד, זה עוזר לך לפחות לקבל, ואני גם אגיד פה איזה משהו קצת יותר עמוק, זה לא ב ת הסיבה שהוא עושה את זה. אייי זה לא בן אדם. כאילו כשהוא מג'נרט את הכמה זה מתאים ואת ההסבר, כאילו אם תגידי לו זה הציון, תסביר לי למה הציון הזה נכון, הוא תמיד יג'נרט תשובה. אז צריך לקחת את זה עדיין ברוון מוגבל, זה לא ב ת איך שאייי עובד, זה לא שב ת מה שהוא כותב לך, זה הסיבה שהוא עשה את הציון, אבל זה כן משהו, בטח בריזנינג מודל היום, שזה אייי קורא לעצמו כמה פעמים, שיכול לשפר את התשובה, ויכול לפחות לך בחלק מהמקרים לזהות שזה היה לא הגיוני, אולי אני צריכה לשנות את המשימה הכללית שאני נותנת לו, או דברים כאלה. אוקיי, אז בעצם מה שאני לומדת ממה שאתה אומר, זה שאפשר להגיע עד גבול מסוים בלבדא, ולשפר את ה ון, ולדעת שאנחנו יכולים לסמוך עליו, אבל יש לזה תקרה. נכון, אבל התרג הראשון ש רנו זה לבקש מהאייי להסביר למה, התרג השני זה לבקש מהאייי אחר לבדוק אותו. לבדק אחד לשני. אז לפעמים אני לוקח אייי אחד, ואני אומר לו תסביר לי, תוציא את התובנות מהפידבק הזה, ותסביר למה, ואז אני שולח לאייי אחר, תסתכל על התוכן ועל מה שהוא ר, ותבדוק אם אתה מסכים. זה נשמע המון עבודה. כאילו זה נשמע, השאלה שלי, אם העבודה שלנו ב ת יותר יעילה ככה. אז אני אתן לך דוגמאות. זו שאלה של שמרנים. לא, זה בסדר גמור. אני הייתי צריך לעשות, נגיד, השוו במחירים בין איזה עשרה מוצרים. עכשיו, אני אכלתי, כאילו, ייקח לי יום שלם להיכנס אחד אחד, למצוא את העמוד בילינג שלהם, לסדר את האירוע הזה, להבין כאילו מה ב ת כתוב שם וכאלה. אבל אני התחלתי ב… ביקשתי מהאייי, בוא תוציא לי מי כל המתחרים של המוצר הזה, ותשים לי, תמצא את העמוד בילינג שלהם ותוציא כמה זה עולה. ואז הבאתי את זה לאייי אחר, האם הוא פספס, האם הוא המציא. ואז הוא אומר לי, תשמע, שני אלה, הם לא בכלל קשורים, ויש אחד שהוא פספס. אוקיי, עכשיו, אפילו אם אני אכנס בעצמי לעמודים, קודם כל קיבלתי רשימה הרבה יותר טובה. ואז לפעמים אני אומר לו, אוקיי, תחלץ את המחיר. ואז אני מבקש מהאייי אחר, האם המחיר שהוא חלץ נכון. לפעמים האייי יגיד, תשמע, הוא המציא מספר, המספר לא קיים, אני לא אצלחתי למצוא גם. ואז, אבל לפעמים הוא אומר, כאילו, לפעמים יש דברים שמעלה לי את הרמת ביטחון מאוד מאוד גדולה. עכשיו, מחקר שהיה לוקח לי, כאילו, שבוע של להיכנס אחד אחד, לחפש את כל המתחרים, להיכנס אחד על האתר שלהם, להבין את הבילינג מודל, להעתיק. שלפעמים אני גם לא צריך תשובה של 100%, אני צריך להבין כאילו את הסדרי גודל, אבל עכשיו יש לי משהו הרבה יותר טוב, כי אני הכנסתי…

ג'יפיטי ואחד לפרפלקסיטי, ו רתי להם כל אחד, הנה התשובה שהשני ר, בוא תעשה לה פקט שקינג, ותסמן את הדברים של דעתך זה לא בטוח נכון, ועכשיו אני יכול כאילו לקבל תשובה הרבה הרבה יותר טובה, והיא ב ת חוסכת לי זמן. עכשיו אם זה לא חלק מהעבודה שלך, הכל בסדר. אבל נגיד מרעיין מגיע לפה, ואז את רוצה להוציא עליו איזה ביו. עכשיו זה גם בסדר שהביו לא יהיה מ אחוז, אבל את לא רוצה שיהיה חדיחות שלי קוראים עמיחי, ויש אחד אחר שהוא מנהל בית ספר, גם קוראים לו עמיחי, וזה מלא בחרת. אז זאת אומרת, את יכולה לקחת תמיד את התשובה הזאת. לשים, זה עמיחי שאני מתכוון אליו, הנה הלינקטין שלו, הנה התיאור שקיבלתי, אתה יכול לבדוק מה אני פה יתי, לא, ואם יש משהו משמעותי שפספסתי. אתה עדיין לא תגיד למ אחוז, אבל הסיכוי שיהיה לך שטויות על הדף יורד פלאים. טוב, אז עם זה אנחנו נסיים, עמיחי, תודה רבה. תודה לך. ותודה לכם שהזנתם. Start-up for Start-up Start-up for Start-up