איך עובד GEO בהינדי?

הינדי היא השפה השלישית המדוברת ביותר בעולם — יותר מ-600 מיליון אנשים לפי ספירת Ethnologue — ושפת התוכן של פחות מ-0.1% מהאתרים. באף שפה אחרת שאנחנו עובדים בה היחס בין דוברים לתוכן אינו מוטה אפילו קרוב לכך: נתח הרשת של 0.4% בעברית משרת בערך תשעה מיליון דוברים; הפירור של ההינדי משרת שש מאות מיליון. כשעוזר מרכיב תשובה בהינדי, הוא מאחזר מאחד הקורפוסים המסחריים הדקים ביותר ברשת.

הדלילות הזאת משנה את מי מצטטים. עוזרים נשענים על קומץ המקורות המובנים בהינדי שקיימים, או חוזרים לעמודים באנגלית ומתרגמים תוך כדי — מה שאומר שהמעט מקורות הינדי ילידיים שכן עונים על שאלה בצורה נקייה מצוטטים שוב ושוב. בנישות אנגליות צפופות, משבצת ציטוט דורשת חודשים של אישוש כדי לנצח; בהינדי, עמוד אחד בנוי היטב יכול להחזיק אותה כמעט בלי התנגדות.

המדריך הזה הוא בן-הזוג ברמת השפה למדריך השוק שלנו להודו, שמכסה את השוק עצמו — מספרי משתמשים, פרומפטים ברמת מטרופולין, דפוסי רגישות למחיר. כאן אנחנו נשארים עם השפה: מה דוונאגרי עושה לבתים ולטוקנים, איך הינגליש מתנהג באחזור, ולמה עבודת ישות בהינדי נוסעת מעבר לגבולות הודו.

לדוונאגרי יש מחיר מכני שרוב הצוותים אף פעם לא רואים. ב-UTF-8 כל תו דוונאגרי תופס שלושה בתים, ולכן אותו תוכן שוקל בערך פי שלושה מהמקבילה האנגלית. תקציבי crawl מרגישים את זה, ייצואים קריאים למכונה מרגישים את זה — באתר שלנו עצמו, ייצוא ה-llms-full בהינדי אילץ אותנו להכפיל את מגבלת הגודל — וכל דבר שחותך לפי מספר בתים חותך את ההינדי קודם.

טוקניזציה מחמירה את הבעיה. הטוקנייזרים מאחורי המודלים הגדולים מאומנים בעיקר על אנגלית ועל טקסט בכתב לטיני, והם מפרקים דוונאגרי להרבה יותר טוקנים למשפט: מחקר על הוגנות טוקנייזרים מדד הבדלים של עד פי 15 בין שפות לאותו טקסט. בפועל, פחות הינדי נכנס לחלון הקשר, קטעי אחזור נחתכים מוקדם יותר, ועמודים מילוליים מאבדים את הטענות המרכזיות שלהם לחיתוך.

המענה הוא מבני, לא ממולח: פסקאות קצרות ועצמאיות שמציינות את שם המותג ואת הטענה במשפט הראשון, צורות פשוטות וחוזרות במקום וריאציה אלגנטית, וכותרות שתואמות לאופן שבו שאלות באמת מנוסחות. כתיבה תשובה-תחילה חשובה בכל שפה; בהינדי כלכלת הטוקנים הופכת אותה לחסרת-תחליף.

חלק גדול מהפרומפטים האמיתיים בהינדי בכלל לא נוגע בדוונאגרי. משתמשים מקלידים דקדוק הינדי בכתב לטיני, עם אוצר מילים מסחרי באנגלית — שמות מותגים, קטגוריות, "best", "price" — מעורבב באמצע המשפט. החלפת הקוד הזאת מבנית מספיק כדי שחוקרי NLP בנו סביבה בנצ'מרק (GLUECoS, כשאנגלית-הינדי היא אחד משני זוגות השפות שלו), והאחזור מתייחס לצורה בדוונאגרי, לצורה בהינגליש ולצורה באנגלית של אותה שאלה כשלושה ניסוחים שונים שמגיעים לשלושה מאגרי מקורות שונים.

הינגליש מוסיף קמט שאין לשני המצבים האחרים: אין איות תקני. אותה מילה מתועתקת כ-"accha", "acha" או "achha"; "kaise" מתחרה ב-"kese"; "zyada" ב-"jyada". זה לא נפתר באתר הינגליש נפרד — הינגליש הוא מצב אחזור, לא locale. זה נפתר בפסקאות שמציינות את המותג ואת הקטגוריה בשני הכתבים, כדי שהתאמה מעורבת-כתב תמצא אותן, ובסוללת פרומפטים בהינגליש שנמדדת על העקומה שלה.

מודלים חייבים ללמוד שההצגה בדוונאגרי וההצגה הלטינית של מותג הן אותה ישות — אחרת הציטוטים מתפצלים בין שני שמות מוכרים-למחצה, ואף אחד מהם לא צובר סמכות. המשמעות: להצהיר על שתי הצורות במכוון — נתונים מובנים עם שמות חלופיים, פרופילים שמאייתים את שתי ההצגות, ועמודי הינדי שמדפיסים את שם המותג הלטיני לצד הדוונאגרי במקום להשאיר את המיפוי ליד המקרה. מקורות בהינדי מערבבים כתבים באמצע המשפט כהרגל, וזה עובד לטובתכם — אם העמודים שלכם עצמם קובעים קודם את הצימוד הקנוני.

עבודת ישות בהינדי גם נוסעת. פרומפטים בהינדי מגיעים מהדיאספורה באיחוד האמירויות, בארה"ב ובבריטניה, לא רק מהודו — מדריך דובאי שלנו מריץ מסלול הינדי ייעודי בדיוק מהסיבה הזאת, כי הקהילה ההודית היא קבוצת האוכלוסייה הגדולה ביותר באמירויות. מקור בהינדי שעוזרים יכולים לצטט משרת קונה בלאקנאו וקונה בדובאי מאותו עמוד; שכבת השפה היא השקעה אחת שמחולקת על פני כל שוק שבו דוברי הינדי שואלים שאלות.

הינדי אינה הימור עתידי; המשטחים חיים. גוגל השיקה AI Overviews בהודו באוגוסט 2024 באנגלית ובהינדי, עם מתג שפה שהציגה כתכונה India-first, ו-ChatGPT, Perplexity ו-Gemini כולם עונים היום על פרומפטים בהינדי ובהינגליש. הקורפוס דק ורוב המותגים לא שמו לב — הצירוף הזה הוא כל ההזדמנות.

הינדי היא אחת מתשע השפות הילידיות שלנו, ואנחנו מודדים אותה כמו שאנחנו מודדים את כולן: סט פרומפטים קבוע לכל שפה שמוגדר ביום הראשון, סשנים נקיים ללא התחברות על פני ChatGPT, Perplexity ו-Gemini, ונתח קול ושיעור ציטוט במעקב מול בייסליין היום הראשון. אנחנו לא ממציאים תוצאות לקוח — השיטה מיושמת קודם על האתר שלנו ומתועדת בצילומי מסך לא ערוכים בקייס הסטאדי הפומבי שלנו, כשהינדי במפורש בין היכולות המאומתות.