איך ChatGPT ו-Gemini מחליטים אילו עסקים להזכיר בתשובה

מנועי תשובות לא "מדרגים" עסקים כמו מנוע חיפוש. הם מייצרים תשובה משני מקורות: מה שנלמד בזמן האימון, ומה שנשלף בזמן השאלה מחיפוש חי. עסק נכנס לתשובה כשהוא מופיע מספיק פעמים, בהקשר מספיק ברור, במקורות שהמודל נשען עליהם — ובעיקר כשיש טקסט שקושר בין השם שלו לבין השאלה שנשאלה. לכן שני עסקים באותו גודל יכולים לקבל תוצאות הפוכות: לא הגודל קובע אלא כמה קל למודל לקשור ביניכם לבין הצורך.

שני מקורות מידע: אימון מול שליפה חיה

ההבחנה הזו מסבירה כמעט כל התנהגות שנראית מוזרה.

מה שנלמד באימון הוא מה שהמודל ראה בזמן שאומן. זה מסביר למה מודל יכול לדבר בביטחון על חברה גדולה וותיקה בלי לחפש כלום — הטקסט עליה היה בכל מקום. זה גם מסביר למה הוא לפעמים מדבר בביטחון על מצב שכבר לא נכון.

מה שנשלף בזמן השאלה הוא תוצאה של חיפוש שרץ באותו רגע. בעולם המקצועי קוראים לזה שליפה מוגברת — Retrieval-Augmented Generation, או RAG: המערכת מחפשת מסמכים רלוונטיים, מעבירה אותם למודל יחד עם השאלה, והמודל כותב תשובה על סמך מה שקיבל. זה מה שמאפשר לעסק שנוסד לפני חודשיים להופיע בכלל.

לשני המסלולים האלה יש השלכה מעשית אחת: הם משתנים בקצב שונה לגמרי. מה שנשלף חי יכול להשתנות תוך שבועות; מה שנלמד באימון מתעדכן רק כשמודל חדש יוצא, ואף אחד מבחוץ לא יודע מתי. מי שנוקב בתאריך שבו "המודל יכיר אתכם" ממציא אותו.

אם הגעתם לכאן בלי רקע, מה זה AEO ובמה הוא שונה מ-SEO.

מה גורם למודל לקשור בין עסק לשאלה?

כאן צריך להיזהר. הספקים — OpenAI, Google, Anthropic — לא מפרסמים את הכללים המדויקים, והם משתנים. מה שאפשר לומר בביטחון הוא מה שנובע מאופן הפעולה הכללי של מערכות כאלה, ומה שאנחנו מודדים בפועל.

לפי מה שאנחנו מודדים, שלושה דברים חוזרים:

• הופעה משותפת. השם שלכם מופיע באותו טקסט שבו מופיעות המילים שמתארות את הצורך — "דיני עבודה", "חיפה", "פיטורים" — ולא רק בעמוד הבית שלכם, שבו מופיע רק השם.
• בהירות של הישות. ברור שמדובר באותו עסק בכל המקומות. שם אחד, לא חמישה. עסק שמופיע בעשר גרסאות שם מפוצל בפועל לעשרה עסקים חלשים.
• אישור ממקורות שונים. אותו מידע מופיע ביותר ממקום אחד, ולא רק באתר שאתם שולטים בו במלואו.

לצד אלה יש שכבה טכנית: סכמה בפורמט JSON-LD לפי התקן של schema.org עוזרת למכונה להבין מה יש בדף. שווה לעשות — אבל שימו לב לניסוח: היא עוזרת להבנה, ואף ספק לא הצהיר שהיא גורם דירוג בתשובות.

דוגמה: שני משרדים, אותה איכות, תוצאה הפוכה

נניח שני משרדי עורכי דין בחיפה, שניהם טובים, שניהם ותיקים.

הראשון כתב באתר שלו "ליטיגציה אזרחית ומסחרית", ומופיע בשלושה מקומות ברשת תחת שלוש גרסאות שם. הוא לא הופיע באף כתבה ולא באף דירוג.

השני כתב דף אחד בשם "פוטרתם בלי שימוע? מה החוק מחייב את המעסיק", מופיע בגרסת שם אחת בכל מקום, ומוזכר בכתבה אחת על דיני עבודה.

כששואלים "מי עורך דין מומלץ לדיני עבודה בחיפה", לשני יש שלושה קישורים בין השם שלו לבין השאלה: המילים בדף, שם עקבי שאפשר לצבור עליו, ומקור חיצוני שמאשר. לראשון אין אף אחד מהם — לא כי הוא פחות טוב, אלא כי שום טקסט לא קושר בינו לבין מה שנשאל.

זה כל המנגנון. הוא לא מסתורי והוא לא מודד איכות.

למה התשובות משתנות בין הרצה להרצה?

כי מודלים מייצרים טקסט בתהליך שיש בו אקראיות מובנית, ובמסלול השליפה החיה גם החיפוש עצמו יכול להחזיר תוצאות שונות בשתי נקודות זמן.

זה לא תקלה, וזה לא משהו שאפשר "לכבות" מהצד שלכם. זה כן אומר דבר אחד חשוב מאוד: תשובה בודדת אינה מדידה. מי שפותח את ChatGPT פעם אחת, מקבל את שמו בתשובה ומסיק שהוא "מופיע" — הסיק מדגימה אחת. ומי שלא מופיע פעם אחת ומסיק שהוא נעלם — אותו הדבר.

זו הסיבה שאנחנו שואלים עשרות שאלות ולא אחת, וחוזרים עליהן לאורך זמן. לא כי זה יסודי יותר, אלא כי אחרת אין מה למדוד.

מה לגבי מקורות מצוטטים?

לפעמים התשובה מגיעה עם קישורים ולפעמים לא, וההבדל אומר פחות ממה שנדמה.

כשיש קישורים, הם רמז טוב לאילו מקורות נשלפו באותה שאלה — וזה מידע שימושי: אם המנועים מצטטים דירוג או מדריך שאתם לא מופיעים בו, זו בדרך כלל הפעולה המשתלמת ביותר שיש.

כשאין קישורים, זה לא אומר שהתשובה הומצאה. זה יכול פשוט להיות שהיא נשענה על מה שנלמד באימון. ההיעדר של ציטוט הוא היעדר מידע, לא ראיה.

שווה גם לדעת שהשליפה החיה לא בהכרח עוברת דרך גוגל. חלק מהמערכות נשענות על אינדקסים אחרים — Bing הוא הנפוץ שבהם — ולכן אתר שגוגל סורק היטב ואינדקס אחר בקושי מכיר יכול להיות נגיש בערוץ אחד ולא באחר. זו עוד סיבה שדירוג טוב בגוגל אינו מעיד בהכרח על נוכחות בתשובות.

ועוד נקודה שקל לפספס: הקישורים שמופיעים בתשובה הם לא בהכרח כל מה שנשלף. הם מה שהמערכת בחרה להציג. אז רשימת מקורות קצרה אינה עדות לכך שנקראו מעט מקורות.

איך זה עובד בעברית ספציפית?

כאן יש הבדל אמיתי, וזו הסיבה שכדאי לקרוא מאמר ישראלי ולא תרגום של מאמר אמריקאי.

כמות הטקסט העברי שהמודלים ראו קטנה בהרבה מכמות הטקסט באנגלית. התוצאה המעשית: משקלו של כל מקור ישראלי מרכזי גדול יותר. באנגלית, עסק שלא מופיע במקור אחד יופיע בעשרים אחרים. בעברית, המקורות שמדברים על תחום מסוים לעומק הם לפעמים חמישה.

נוסף על כך יש בעיית תעתיק. עסק שנקרא "לוי ושות'" יכול להופיע גם כ-"Levy & Co", גם כ-"Levi", וגם בשילוב. לאדם ברור שזה אותו משרד; למכונה זה שלוש ישויות, אלא אם משהו בטקסט קושר ביניהן.

יש גם השלכה חיובית, ופחות מדברים עליה: התחרות על אזכור בעברית דלילה בהרבה מהמקבילה באנגלית. בשוק האמריקאי, כל נישה מכוסה בעשרות מדריכים מפורטים שנכתבו בדיוק כדי להיכנס לתשובות. בעברית, בתחומים שלמים אין אף דף שעונה ישירות על השאלה שלקוחות שואלים. מי שכותב אותו ראשון לא מתחרה על מקום ברשימה — הוא יוצר את הרשימה.

וכדאי לזכור שהשאלות עצמן נשאלות בעברית. תוכן באנגלית על עסק ישראלי עוזר פחות ממה שנדמה, כי הקישור שהמודל צריך לעשות הוא בין השם שלכם לבין המילים שהופיעו בשאלה — והן היו בעברית.

חשוב לומר: אנחנו מודדים דרך ה-API של הספקים, לא דרך האפליקציה. לאדם שמדבר עם ChatGPT יש היסטוריה, העדפות ולפעמים גישה לגלישה חיה — ולכן התשובה שלו יכולה להיות שונה מזו שאנחנו רואים. מה שהמדידה כן נותנת היא בסיס אחיד להשוואה: אותן שאלות, אותם מודלים, לאורך זמן ומול מתחרים.

מה שאנחנו לא יודעים

זה החלק שרוב המאמרים בנושא מדלגים עליו, ולכן הוא כאן.

• איננו יודעים את הכללים המדויקים. הספקים לא מפרסמים אותם. כל מי שמצהיר שהוא יודע בדיוק איך ChatGPT בוחר מקורות מוכר ודאות שאין לו.
• איננו יודעים מתי מודל מתעדכן, ולכן איננו יודעים כמה זמן ייקח עד ששינוי שעשיתם ישפיע על המסלול שנלמד באימון.
• איננו יודעים איך משוקללים המסלולים — מתי המודל מעדיף מה שנשלף על פני מה שלמד.
• איננו מודדים את כל המנועים. אנחנו מודדים את ChatGPT ואת Gemini, שני המנועים שצרכני הקצה בישראל משתמשים בהם בפועל. Perplexity ו-Claude קיימים ואינם בבדיקה הזו, מסיבה של תקפות המדידה ולא של עלות.

מה שכן אפשר לעשות זה למדוד: לשאול את אותן שאלות שוב ושוב, לאורך זמן, ולראות מה מזיז את המחט. זה פחות מרשים מהבטחה, וזה הדבר היחיד כאן שאפשר לבדוק.

רוצים לראות מה המנועים עונים בתחום שלכם? הבדיקה חינמית ולוקחת בערך דקה.