איך עובד GEO בהינדי?

הינדי היא השפה השלישית המדוברת ביותר בעולם — יותר מ-600 מיליון אנשים לפי ספירת Ethnologue — ושפת התוכן של פחות מ-0.1% מהאתרים. באף שפה אחרת שאנחנו עובדים בה היחס בין דוברים לתוכן לא מעוות עד כדי כך: 0.4% מהרשת בעברית משרתים כתשעה מיליון דוברים; הנתח הזעיר של ההינדי משרת שש מאות מיליון. כשעוזר מרכיב תשובה בהינדי, הוא שולף מאחד הקורפוסים המסחריים הדלים ביותר ברשת.

הדלות הזאת משנה מי מצוטט. עוזרים נשענים על המעט שיש ממקורות מובנים בהינדי, או חוזרים לעמודים באנגלית ומתרגמים תוך כדי עבודה — וזה אומר שהמקורות המעטים בהינדי שעונים היטב על שאלה מצוטטים שוב ושוב. בנישות עמוסות באנגלית, זכייה במשבצת ציטוט לוקחת חודשים של אישוש; בהינדי עמוד אחד מובנה היטב יכול לתפוס אותה כמעט בלי מתחרים.

המדריך הזה משלים ברמת השפה את מדריך השוק שלנו להודו, שמכסה את השוק עצמו — מספרי משתמשים, פרומפטים ברמת המטרופולין, דפוסי רגישות למחיר. כאן אנחנו נשארים עם השפה: מה דוונאגרי עושה לבתים ולטוקנים, איך הינגליש מתנהג בשליפה, ולמה עבודה על ישות בהינדי עוברת את גבולות הודו.

לדוונאגרי יש מחיר מכני שרוב הצוותים אף פעם לא רואים. ב-UTF-8 כל תו דוונאגרי תופס שלושה בתים, לעומת אחד בכתב לטיני; טקסטים בהינדי קצרים יותר ושומרים על שמות לטיניים וספרות, ולכן בפועל אותם מדריכים שוקלים בערך פי שניים מהמקבילים באנגלית (1.7 MB לעומת 0.84 MB באתר שלנו, אוקטובר 2026). תקציבי סריקה מרגישים את זה, ייצואים שנקראים בידי מכונות מרגישים את זה — באתר שלנו ייצוא llms-full בהינדי היה הראשון שחרג ממגבלת הגודל, שעלתה מאז מ-100 KB ל-2 MB — וכל מה שחותך לפי מספר בתים חותך קודם את ההינדי.

הטוקניזציה מחמירה את הבעיה. הטוקנייזרים שמאחורי המודלים הגדולים מאומנים בעיקר על טקסט באנגלית ובכתב לטיני, והם מפרקים דוונאגרי להרבה יותר טוקנים למשפט: מחקר על הוגנות טוקנייזרים מדד הבדלים של עד פי 15 בין שפות עבור אותו טקסט. בפועל, פחות הינדי נכנס לחלון ההקשר, קטעים שנשלפים נחתכים מוקדם יותר, ועמודים ארוכי מלל מאבדים את הטענות המרכזיות שלהם בחיתוך.

כתבו קטעים קצרים ועצמאיים, עם שם המותג והעובדה המרכזית קרוב לתחילתם. השתמשו בניסוח עקבי ובכותרות שמשקפות את השאלות של הקוראים. תשובות ישירות חשובות בכל שפה; הצורך של הינדי בטוקנים הופך מבנה תמציתי לשימושי במיוחד.

חלק גדול מהפרומפטים האמיתיים בהינדי בכלל לא נוגע בדוונאגרי. משתמשים מקלידים דקדוק הינדי בכתב לטיני, כשאוצר מילים מסחרי באנגלית — שמות מותגים, קטגוריות, “best”, “price” — משולב באמצע המשפט. הערבוב הזה מבני מספיק כדי שחוקרי NLP בנו סביבו מדד השוואה (GLUECoS, שבו אנגלית והינדי הן אחד משני זוגות השפות), והשליפה מתייחסת לצורה בדוונאגרי, לצורה בהינגליש ולצורה באנגלית של אותה שאלה כאל שלושה ניסוחים שונים שמגיעים לשלושה מאגרי מקורות שונים.

להינגליש אין כתיב תקני: אותה מילה יכולה להופיע כ-“accha”, “acha” או “achha”, ו-“kaise” ו-“kese” הן וריאציות של אותה מילה, וכך גם “zyada” ו-“jyada”. אתר נפרד בהינגליש הוא לא הפתרון שאנחנו ממליצים עליו. הוסיפו את המותג ואת הקטגוריה בשתי מערכות הכתב בעמודי ההינדי, איפה שזה שימושי, ואז בדקו שאלות בהינגליש בנפרד כדי לראות אם העמודים האלה נמצאים.

המודלים צריכים ללמוד שהכתיבה בדוונאגרי והכתיבה בכתב לטיני של מותג הן אותה ישות — אחרת הציטוטים מתפצלים בין שני שמות שמוכרים למחצה ואף אחד מהם לא צובר סמכות. זה אומר להצהיר במכוון על שתי הצורות: נתונים מובנים עם שמות חלופיים, פרופילים שכותבים את שתי הצורות, ועמודי הינדי שמדפיסים את שם המותג הלטיני לצד הדוונאגרי במקום להשאיר את ההתאמה בין השניים למקרה. מקורות בהינדי מערבבים מערכות כתב באמצע משפט כדרך קבע, וזה עובד לטובתכם — אם העמודים שלכם קובעים ראשונים את הצימוד הקנוני.

עבודה בהינדי משרתת גם קוראים מחוץ להודו. אנשים באיחוד האמירויות, בארה״ב ובבריטניה שואלים עוזרים בהינדי. המדריך שלנו על דובאי כולל הינדי כי הקהילה ההודית היא קבוצת האוכלוסייה הגדולה ביותר באמירויות. עמוד שימושי בהינדי יכול לשרת לקוחות בלאקנאו ובדובאי כאחד, וכך התוכן נותן ערך בכמה שווקים.

הינדי היא לא הימור לעתיד; המוצרים כבר פעילים. Google השיק AI Overviews בהודו באוגוסט 2024, באנגלית ובהינדי, עם מתג שפה שהוא הציג כפיצ׳ר שהושק קודם בהודו, ו-ChatGPT, Perplexity ו-Gemini כולם עונים היום על פרומפטים בהינדי ובהינגליש. הקורפוס דל ורוב המותגים לא שמו לב — השילוב הזה הוא כל ההזדמנות.

הינדי היא אחת מתשע השפות שאנחנו כותבים בהן ברמת שפת אם, ואנחנו מודדים אותה כמו את כולן: סט פרומפטים קבוע לכל שפה שנקבע ביום הראשון, סשנים נקיים (שיחה חדשה בלי התחברות לחשבון ובלי היסטוריה) ב-ChatGPT, ב-Perplexity וב-Gemini, ומעקב אחרי נתח קול ושיעור ציטוט מול המדידה הראשונית. את השיטה הפעלנו קודם כול על האתר שלנו, והיא מתועדת עם צילומי מסך לא ערוכים במקרה הבוחן הפומבי שלנו, שבו הינדי נמנית במפורש עם היכולות המאומתות.