ציון נוכחות, נתח קול ומיקום ממוצע: איך מודדים נוכחות בתשובות AI

שלושה מדדים מתארים נוכחות בתשובות AI. אחוז אזכור — בכמה מהתשובות הוזכרתם בכלל. מיקום ממוצע — כשהוזכרתם, באיזה מקום ברשימת השמות הופעתם, כי הראשון נקרא אחרת מהחמישי. נתח קול — איזה חלק מכלל האזכורים בתחום שייך לכם לעומת המתחרים. ציון הנוכחות מאחד את שני הראשונים למספר אחד בין 0 ל-100; נתח הקול מדווח לצידו. כל אחד מהם נמדד רק על שאלות גילוי — שאלות שלא מזכירות את שמכם — כי שאלה שכוללת את השם רק מבקשת מהמודל לחזור עליו.

אחוז אזכור: כמה פעמים בכלל?

המדד הפשוט ביותר, ושני פרטים בו חשובים.

המכנה הוא תשובות גילוי בלבד. לא כל התשובות — רק אלה שנשאלו בלי שם העסק שלכם. תשובה לשאלה שכללה את שמכם לא נספרת כאן כלל.

סירובים לא נספרים. אם מנוע סירב לענות, התשובה יורדת גם מהמונה וגם מהמכנה. אחרת מנוע זהיר במיוחד היה מוריד לכם את הציון על משהו שאין לכם עליו שליטה.

עוד פרט: אם הוזכרתם פעמיים באותה תשובה, זה עדיין אזכור אחד. אנחנו סופרים תשובות שהזכירו אתכם, לא מספר פעמים שהשם הופיע.

מיקום ממוצע: להיות ראשון זה לא כמו להיות חמישי

כשמודל עונה "אני ממליץ על א', ב' ו-ג'", המקום ברשימה משנה. הראשון נקרא, השלישי נסרק, החמישי לרוב לא.

המיקום נספר לפי סדר ההופעה של שמות עסקים בתשובה, החל מ-1. אם הוזכרתם יותר מפעם אחת באותה תשובה, נלקח המקום הטוב ביותר — לא הממוצע שלהם. הנחת העבודה היא שהאזכור הראשון הוא זה שנקרא.

כשלא הוזכרתם כלל, אין מיקום. הוא לא נספר כ"אחרון" ולא כאפס במובן של מקום — פשוט אין ערך, והתשובה תורמת רק למכנה.

נתח קול: המספר היחיד שאומר משהו על השוק

אחוז אזכור של 30% הוא מצוין בתחום שבו כולם סביב 20%, ועלוב מול מתחרה שעומד על 70%. בלי מתחרים לידו, מספר מוחלט כמעט חסר משמעות.

נתח קול הוא החלק שלכם מתוך כלל אזכורי העסקים בתשובות: האזכורים שלכם, חלקי האזכורים שלכם ושל המתחרים יחד.

ופרט אחד שקל לפספס: נספרים רק אתם והמתחרים שהוגדרו. עסקים אחרים שהמנועים הזכירו ואיש לא רשם אותם אינם נכנסים לחישוב. הסיבה מעשית — אחרת כל שם אקראי שמנוע פלט היה מדלל את הנתח שלכם מול חברות שמעולם לא התחריתם בהן, והמספר היה יורד בלי שקרה דבר בשוק.

ציון הנוכחות: איך מחברים שניים מהשלושה

הנוסחה, במלואה:

ציון = 100 × אחוז_אזכור × ( 1 ÷ √מיקום_ממוצע )

מעוגל למספר שלם. דוגמה: אם הוזכרתם ב-40% מתשובות הגילוי, ובממוצע במקום השני —

100 × 0.40 × (1 ÷ √2) = 100 × 0.40 × 0.707 = 28

שלושה דברים שכדאי לשים לב אליהם בנוסחה הזו:

נתח הקול לא נמצא בה. זו לא השמטה. נתח קול תלוי במי הוגדר כמתחרה, וזו החלטה שלכם — אם הוא היה נכנס לציון, הציון היה משתנה כשמוסיפים מתחרה לרשימה, בלי ששום דבר בעולם השתנה. מדד שזז כשמשנים הגדרה הוא לא מדידה. לכן הוא מדווח בנפרד, ולכן שווה להסתכל על שניהם.

המיקום נכנס בשורש ולא ליניארית. ההפרש בין מקום ראשון לשני גדול בהרבה מההפרש בין השביעי לשמיני, והשורש משקף את זה.

מי שלא הוזכר מקבל אפס, ולא שגיאה. כשאין אזכורים אין מיקום ממוצע, ובמקום לחלק במשהו לא מוגדר הציון מוגדר כאפס.

למה רק שאלות גילוי נספרות

זו ההחלטה היחידה כאן שמישהו עשוי לחלוק עליה, ולכן היא במפורש.

אם נשאל "מה אתם יודעים על משרד כהן?", המודל יזכיר את כהן. הוא נתבקש. זה לא אומר שמוצאים את כהן — זה אומר שהוא יודע לענות על שאלה שכבר מכילה את התשובה.

שאלה כזו מודדת מוניטין: מה נאמר עליכם כשכבר יודעים מי אתם. זה מדד לגיטימי ומעניין, ואנחנו מדווחים אותו בנפרד — כמה מהשאלות שנקבו בשמכם התייחסו אליכם, וכמה מהן בחיוב או בשלילה. הוא פשוט לא נוכחות.

לערבב את השניים זה מה שמנפח ציון עד שהוא חסר משמעות. מאגר שאלות שחציו שאלות מותג ייתן לכל עסק ציון גבוה, כי חצי מהשאלות מבטיחות אזכור מראש.

מתי אנחנו מסרבים לתת ציון

אם אחרי כל הסינון לא נותרה אף שאלת גילוי, אין לנו מה לחשב.

במקרה הזה הדוח אומר "לא הצלחנו למדוד" ולא מציג אפס. ההבדל אינו סמנטי: אפס אומר "שאלנו ולא מצאנו אתכם", וזו מסקנה עסקית. "לא ניתן למדוד" אומר "לא שאלנו שום שאלה שיכולה למצוא אתכם", וזו אמירה על הבדיקה, לא עליכם.

זו גם הסיבה שכל שורת ציון נושאת את מספר תשובות הגילוי שמאחוריה. מספר בלי המכנה שלו אינו ניתן לבדיקה.

איך שני המנועים מתחברים לציון אחד

הבדיקה רצה מול ChatGPT ומול Gemini, וכל אחד מקבל ציון משלו. הציון המשולב הוא ממוצע של שני הציונים, במשקל שווה — לא הנוסחה שמורצת מחדש על ערימת הנתונים המאוחדת.

ההבדל חשוב: מיצוע מיקומים בין מנוע שהזכיר אתכם ראשון ומנוע שלא הזכיר אתכם בכלל אינו כמות בעלת משמעות. ממוצע של שני ציונים, לעומת זאת, הוא בדיוק מה ש"50/50" אומר.

מנוע שלא הצליח למדוד דבר לא נכנס לממוצע ולא גורר אותו למטה.

אז מה נחשב ציון טוב?

אנחנו לא יודעים, ולא נמציא מספר.

כל סף שתראו — "מעל 40 זה טוב" — הוא ניחוש, אלא אם מישהו מדד אותו בתחום שלכם בעברית. אנחנו מודדים בעברית בישראל בדיוק כדי שיהיו נתונים כאלה, ועד שיהיו מספיק מהם, המספר היחיד ששווה משהו הוא יחסי: גבוה יותר משהיה לכם בחודש שעבר, וגבוה משל המתחרה שאכפת לכם ממנו.

זו גם הסיבה שהמדידה חוזרת על אותן שאלות בדיוק. ניסוח שמשתנה בין הרצות הופך כל השוואה לחסרת ערך.

רוצים לראות את שלושת המספרים על העסק שלכם? הבדיקה חינמית ולוקחת בערך דקה.