איך בוחנים הצלחה של סוכן AI?
שבעה היבטים שכדאי לבדוק לפני שבוחנים הצלחה של סוכן AI בארגון. הצעת מחיר נשלחה ביום שני. הלקוח ביקש שיחזרו אליו בחמישי, אחרי שידבר עם השותף שלו. ביום רביעי סוכן ה־AI הכין הודעה מנומסת, ציין את המחיר הנכון ושלח אותה. במבט ראשון, ההודעה נראית מצוין. אבל הסוכן פנה יום מוקדם מדי וביצע בעצמו פעולה שהיה אמור להשאיר לאישור איש המכירות. אם מנהל המכירות בודק רק את נוסח ההודעה, הוא מפספס את שתי הטעויות. לכן כדאי לבדוק גם מה הסוכן עשה בדרך לתוצאה, על איזה מידע הסתמך ומה השתנה בעבודה של הצוות. נשתמש בסוכן שמכין פניות המשך להצעות מחיר כדי להמחיש שבע בדיקות שאפשר ליישם גם בשירות, בשיווק ובתפעול.
1. האם הסוכן השלים את המשימה?
לפני שמריצים בדיקה, מגדירים מה צריך לקרות כדי שהמשימה תיחשב גמורה. אצלנו הסוכן צריך לאתר הצעת מחיר שמועד המעקב שלה הגיע, לקרוא את סיכום השיחה האחרונה ולהכין טיוטה בכרטיס הלקוח, במקום שבו איש המכירות יוכל לבדוק אותה. אם הטיוטה טובה אבל נשארה בחלון הצ׳אט, איש המכירות עדיין צריך לחפש אותה ולהעתיק אותה למערכת. כדי לבדוק השלמה, פתחו את כרטיס הלקוח וחפשו שם את הטיוטה. זה המקום שבו הצוות צריך לקבל את התוצר.
2. האם התוצאה מדויקת ומבוססת על המידע הנכון?
נניח שהסוכן כתב ללקוח שמחיר ההצעה הוא 4,800 ש״ח. הסכום הזה באמת מופיע במערכת, אבל בהצעה ישנה. בהצעה העדכנית המחיר הוא 5,200 ש״ח. מבחינת איש המכירות, ההבדל בין שני המסמכים ברור. כדי שהסוכן יבחר נכון, צריך להגדיר איזו גרסה קובעת. קחו כמה טיוטות והשוו אותן למקור שעליו הסוכן הסתמך. בדקו במיוחד מחירים, מועדים והתחייבויות. אם מופיע פרט שגוי, בדקו איפה נוצרה הטעות. לפעמים הסוכן קרא את המסמך הנכון והבין אותו לא נכון. לפעמים הוא שלף מסמך אחר. אלה שני תיקונים שונים.
3. האם הסוכן פעל במסגרת ההרשאות שלו?
הודעה יכולה להיות מדויקת ומוכנה לשליחה, ובכל זאת להישלח לפני שאיש המכירות אישר אותה. לכן, בבדיקת הסוכן פתחו גם את היסטוריית הפעולות. בדקו אם הוא רק שמר טיוטה, אם שינה משהו בכרטיס הלקוח ואם יצאה הודעה בפועל. הגדירו מראש אילו פעולות דורשות אישור. אם הסוכן שלח אפילו הודעה אחת בלי אישור, זה ממצא שצריך לטפל בו לפני שמרחיבים את ההרשאות. ממוצע גבוה של טיוטות מוצלחות יכול להסתיר פעולה אחת שיש לה השלכות על הלקוח.
4. מה הסוכן עושה כשחסר מידע?
לקוח ביקש שיחזרו אליו ״אחרי החג״, ובמערכת אין תאריך. במקרה אחר מופיעים שני מחירים ואין סימון איזו הצעה אושרה. אלה מקרים טובים לבדיקה, כי גם לעובד מנוסה יש כאן שאלה שצריך לפתור לפני שפונים ללקוח. הגדירו מה אתם מצפים שהסוכן יעשה בכל מצב כזה. למשל, אם חסר תאריך, הוא יכול להציג לאיש המכירות את ההערה מהשיחה ולבקש ממנו לקבוע מועד. אם יש שני מחירים, הוא יכול להציג את שתי ההצעות ולסמן איזו החלטה נדרשת. במקרים האלה, עצירה והעברה מסודרת לאדם הן תוצאה מוצלחת.
5. האם הסוכן מצליח בעקביות, גם אחרי תיקון?
הרצתם מקרה אחד והסוכן טיפל בו היטב. עכשיו הריצו שוב את אותו מקרה ובדקו אם גם הפעם הוא בחר את ההצעה העדכנית ושמר את ההודעה כטיוטה. אחר כך נסו מקרים דומים שבהם סיכום השיחה כתוב אחרת. כך תראו אם הסוכן מבין את המצב גם כשהניסוח משתנה. שמרו כמה מהמקרים האלה לבדיקה חוזרת אחרי כל שינוי משמעותי. אם עדכנתם את ההנחיות כדי שהסוכן יעצור כשיש שני מחירים, בדקו גם שהוא עדיין מכין טיוטה כשיש מחיר אחד מאושר. אחרת, אתם עלולים לפתור בעיה אחת ולגלות שהצוות מקבל פתאום הרבה יותר מקרים לבדיקה ידנית.
6. האם הסוכן באמת חוסך לצוות זמן?
איך בוחנים הצלחה בחיסכון בזמן? הסוכן מכין טיוטה בעשר שניות. איש המכירות עדיין צריך לפתוח את ההצעה, לוודא את המחיר ולתקן את הנוסח. כדי לדעת אם נחסך זמן, מודדים מרגע פתיחת הפנייה ועד שיש הודעה מוכנה לשליחה, כולל הבדיקה והתיקון. נניח שלפני הפיילוט הכנת הודעה לקחה שש דקות, ואחרי הכנסת הסוכן היא לוקחת ארבע דקות כולל אישור. ב־120 פניות דומות בחודש, מדובר בחיסכון של ארבע שעות עבודה. את החיסכון הזה אפשר להשוות לעלות הכלי, החיבור למערכת והתחזוקה.
7. האם השימוש בסוכן שיפר את התוצאה העסקית?
אז איך בוחנים הצלחה של סוכן AI? אם הסיבה להכנסת הסוכן הייתה שלקוחות לא קיבלו פנייה בזמן, המדד הראשון הוא שיעור ההצעות שקיבלו פנייה במועד מתוך כלל ההצעות שהגיע מועד המעקב שלהן. אפשר למדוד גם כמה לקוחות הגיבו וכמה עסקאות התקדמו לשלב הבא. השוו בין תקופות או קבוצות עם פניות דומות ככל האפשר. אם יותר לקוחות קיבלו מענה בזמן אבל שיעור העסקאות שהתקדמו נשאר דומה, אפשר לומר שתהליך המעקב השתפר. כדי לדעת אם הייתה גם השפעה על המכירות, צריך להמשיך למדוד.
טיפ בונוס. מה עושים מחר בבוקר?
בוחרים משימה אחת וקחו עשרה מקרים שכבר טופלו. משלבים מקרים רגילים לצד מקרים שבהם היה חסר מידע או נדרש אישור. לפני ההרצה, כותבים ליד כל מקרה מה הסוכן אמור לעשות ואיפה הצוות אמור לקבל את התוצאה. מריצים את הבדיקה בסביבה שבה הסוכן יכול להכין טיוטות בלי לשלוח הודעות ללקוחות. עברו על התוצאות עם האדם שמבצע את המשימה בפועל. בודקים מה אפשר היה לאשר מיד, מה דרש תיקון וכמה זמן לקחה העבודה עד שההודעה הייתה מוכנה לשליחה. אם מצאתם טעות שחוזרת על עצמה, מתקנים אותה ומריצים שוב גם את המקרים שכבר עברו. כשתראו שהסוכן עובד בעקביות והצוות באמת מרוויח זמן, תוכלו להחליט אם להרחיב את השימוש בו.
