Как работает GEO на хинди?

Хинди — третий язык мира по числу говорящих, больше 600 миллионов человек по подсчёту Ethnologue, — и язык контента меньше чем 0,1% сайтов. Ни в одном другом языке, с которым мы работаем, соотношение носителей и контента не перекошено даже близко так: 0,4% веба на иврите обслуживают примерно девять миллионов носителей; крохотная доля хинди — шестьсот миллионов. Когда ассистент собирает ответ на хинди, он извлекает из одного из самых тонких коммерческих корпусов веба.

Эта тонкость меняет то, кого цитируют. Ассистенты либо опираются на горстку существующих структурированных хинди-источников, либо откатываются на английские страницы и переводят на лету — а значит, те немногие нативные хинди-источники, которые чисто отвечают на вопрос, цитируются снова и снова. В тесных английских нишах слот цитирования выигрывается месяцами подтверждений; в хинди одна хорошо структурированная страница может занять его почти без сопротивления.

Этот гайд — языковой компаньон нашего гайда по индийскому рынку, который покрывает сам рынок: числа пользователей, промпты уровня городов-миллионников, паттерны чувствительности к цене. Здесь мы остаёмся с языком: что деванагари делает с байтами и токенами, как хинглиш ведёт себя в извлечении и почему работа с хинди-сущностью выходит за границы Индии.

У деванагари есть механическая цена, которую большинство команд никогда не видит. В UTF-8 каждый символ деванагари занимает три байта, поэтому тот же контент весит примерно втрое больше английского эквивалента. Это чувствуют краулинговые бюджеты, это чувствуют машиночитаемые экспорты — на нашем собственном сайте экспорт llms-full на хинди заставил нас удвоить лимит размера — и всё, что обрезает по числу байтов, обрезает хинди первым.

Токенизация усугубляет проблему. Токенизаторы за главными моделями обучены преимущественно на английском и текстах на латинице и дробят деванагари на куда больше токенов на предложение: исследование справедливости токенизаторов намерило разницу до 15 раз между языками для одного и того же текста. На практике в контекстное окно помещается меньше хинди, сниппеты извлечения обрываются раньше, а многословные страницы теряют ключевые утверждения на обрезке.

Контрмера структурная, а не хитрая: короткие самодостаточные фрагменты, где имя бренда и утверждение названы в первом предложении, простые повторяющиеся формы вместо элегантного варьирования и заголовки, совпадающие с тем, как вопросы реально формулируют. Answer-first письмо важно в каждом языке; в хинди токенная экономика делает его безальтернативным.

Большая доля реальных хинди-промптов вообще не касается деванагари. Пользователи набирают грамматику хинди латиницей, с английской коммерческой лексикой — имена брендов, категории, "best", "price" — вперемешку посреди предложения. Это переключение кодов настолько структурно, что NLP-исследователи построили вокруг него бенчмарк (GLUECoS, где англо-хинди — одна из двух языковых пар), а извлечение обращается с формой на деванагари, формой на хинглише и английской формой одного и того же вопроса как с тремя разными формулировками, достающими три разных пула источников.

Хинглиш (Hinglish) добавляет складку, которой нет у двух других режимов: стандартного написания не существует. Одно и то же слово романизируется как "accha", "acha" или "achha"; "kaise" конкурирует с "kese"; "zyada" — с "jyada". Это не решается отдельным хинглиш-сайтом — хинглиш есть режим извлечения, а не локаль. Это решается фрагментами, где бренд и категория названы в обеих письменностях, чтобы их находило сопоставление со смешанными письменностями, и хинглиш-батареей промптов, измеряемой по собственной кривой.

Модели должны выучить, что запись бренда на деванагари и запись латиницей — одна и та же сущность, иначе цитаты расщепляются между двумя полузнакомыми именами и авторитет не накапливается ни у одного. Это значит объявлять обе формы намеренно: структурированные данные с альтернативными именами, профили, где прописаны обе записи, и хинди-страницы, которые печатают латинское имя бренда рядом с деванагари, а не оставляют связку на волю случая. Хинди-источники привычно мешают письменности посреди предложения — и это работает на вас, если ваши собственные страницы первыми задают каноническую пару.

Работа с хинди-сущностью ещё и путешествует. Хинди-промпты приходят от диаспоры в ОАЭ, США и Великобритании, а не только из Индии — наш гайд по Дубаю ведёт отдельную хинди-дорожку ровно поэтому: индийская община — крупнейшая группа населения Эмиратов. Хинди-источник, который ассистенты могут процитировать, обслуживает покупателя в Лакхнау и покупателя в Дубае с одной страницы; языковой слой — одна инвестиция, амортизированная на каждый рынок, где носители хинди задают вопросы.

Хинди — не ставка на будущее; поверхности уже живые. Google запустил AI Overviews в Индии в августе 2024 года сразу на английском и хинди, с переключателем языков, который представил как фичу впервые для Индии, а ChatGPT, Perplexity и Gemini уже сегодня отвечают на промпты на хинди и хинглише. Корпус тонок, и большинство брендов этого не заметило — эта комбинация и есть вся возможность.

Хинди — один из наших девяти нативных языков, и мы измеряем его так же, как все остальные: фиксированный набор промптов на язык, определённый в первый день, чистые сессии без логина в ChatGPT, Perplexity и Gemini, доля упоминаний и доля цитирований против базовой линии первого дня. Мы не выдумываем клиентские результаты — метод сначала применяется к нашему собственному сайту и задокументирован неотредактированными скриншотами в нашем публичном кейсе, где хинди явно входит в проверенные способности.