Как настроить robots.txt для ИИ-краулеров?

У вопроса «Блокировать ли ИИ-краулеры?» нет ответа, потому что это не один вопрос. Каждая крупная ИИ-компания запускает отдельные краулеры под отдельные задачи: краулеры для обучения наполняют корпус модели, краулеры поискового индекса собирают материал для ответов, которые на вас ссылаются, а краулеры по запросу пользователя читают страницу, потому что человек только что спросил о ней ассистента. Закройте их все одной строкой, и вы не заявите позицию по обучению моделей, а просто исчезнете из ответов ИИ.

Цена у решений разная. Заблокировать краулер для обучения — выбор принципиальный, и в большинстве случаев видимость от него не страдает. Google и Apple пишут об этом прямо. У OpenAI и Anthropic это следует из разделения агентов: поиск работает на отдельных агентах, и последствия для них описаны отдельно. Если заблокировать поискового агента или агента загрузки по запросу, цена прямая и прописана в документации: OpenAI, например, пишет, что сайты, отказавшиеся от OAI-SearchBot, «не будут показываться в поисковых ответах ChatGPT». Механику каждого ассистента мы разбираем в гайдах о том, как попасть в ответы ChatGPT, Claude и Perplexity; эта страница даёт полную карту.

Сделку задают два числа. Cloudflare посчитал, сколько страниц ИИ-компании обходят за каждого посетителя, которого присылают обратно: по данным Cloudflare Radar за июнь 2025 года, примерно 1 700 обходов на один переход у OpenAI и около 70 900 у Anthropic. С тех пор соотношения падают (панель AI Insights у Cloudflare показывает их в реальном времени), но суть ясна: вы отдаёте тяжёлый обход в обмен на цитирования. Свои условия вы задаёте по таблице ниже.

Каждая строка ниже сверена с документацией самого оператора по состоянию на август 2026 года. «Токен» — это имя, которое работает только как группа в robots.txt: отдельного краулера с таким user-agent нет.

Таблица сводится к трём рабочим политикам.

Конфигурация 1 — видимость прежде всего. Разрешить всё, и явно: отдельная группа Allow для каждого краулера из таблицы, описанного в документации (всех, кроме Bytespider: разрешать краулер, который игнорирует файл, бессмысленно) плюс общее правило. Подходит сайтам, которые живут тем, что их находят и цитируют: контентным бизнесам, агентствам, большинству B2B. Так сделано у нас (подробнее — в разделе «Как это настроено у нас»).

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…и так далее для каждого агента из таблицы. Полная версия — наш рабочий файл get-geo.ai/robots.txt.

Конфигурация 2 — без обучения. Самый частый осознанный выбор: не попадать в корпус моделей и оставаться в ответах. Запрещаем краулеры и токены для обучения, разрешаем остальное. Две оговорки, прежде чем копировать. Строка для Bytespider остаётся лишь просьбой (причину объясняем в следующем разделе). А из всех отказов от обучения только отказ от Meta-ExternalAgent обходится потерей видимости, потому что сайт выпадает и из индекса Meta. Сама конфигурация:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Конфигурация 3 — полный запрет. Оправдан для платного или закрытого контента. В robots.txt над одним блоком правил можно поставить несколько строк User-agent, так что файл остаётся компактным. Applebot мы сюда не включаем: если его заблокировать, вы пропадёте и из поиска Siri и Spotlight, а это потеря серьёзнее, чем ответы ИИ:

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Прежде чем выкладывать такой файл, прочитайте следующий раздел: для нескольких агентов выше файл — просьба, а не преграда.

Robots.txt — это заявленная политика, а не способ что-то запретить силой. Для целого класса агентов операторы признают это сами. OpenAI о ChatGPT-User: «Поскольку эти действия инициирует пользователь, правила robots.txt могут не применяться». Meta о Meta-ExternalFetcher: он «может обходить robots.txt, потому что выполняет загрузки, которые запросил пользователь». Краулер Perplexity по запросу пользователя «обычно игнорирует правила robots.txt». Amazon об Amzn-User: он «может следовать не всем директивам robots.txt». Логика одна: спросил человек, значит, загрузка считается визитом человека, а не обходом.

Есть ещё Bytespider, у которого документации нет вовсе и который, по измерениям, игнорирует файл на практике: Cloudflare обнаружил, что он обращается к защищённым сайтам чаще любого другого ИИ-краулера (40,4% в середине 2024 года), а HAProxy насчитал на него почти 90% своего трафика ИИ-краулеров и отметил, что инструкции robots.txt он игнорирует.

Поэтому реально ограничивать доступ приходится уровнем ниже. Сверяйте краулеры со списками IP-адресов, которые публикует большинство операторов (OpenAI, Anthropic, Apple, Common Crawl и DuckDuckGo ведут списки в JSON, Amazon публикует диапазоны на странице для разработчиков), и блокируйте на CDN или WAF то, что действительно хотите остановить. Проверка важнее, чем кажется: по данным HUMAN Security, один из 18 запросов с user-agent известного ИИ-краулера поддельный.

Наш собственный robots.txt — конфигурация «видимость прежде всего»: 19 явных групп Allow по агентам (каждый агент из таблицы, который соблюдает файл, краулеры по запросу пользователя, которых мы всё равно рады видеть, и классический Bingbot), а за ними общее правило Allow. В эту форму мы переделали файл в августе 2026 года, заодно убрав устаревшую группу anthropic-ai. Когда проверяли факты для этого гайда, убрали и группу cohere-ai, добавленную на всякий случай: по документации самой Cohere, краулеров у неё сейчас нет.

Очевидное возражение: одна строка «User-agent: * / Allow: /» дала бы точно такое же поведение краулеров. Верно. Но явные группы дают три вещи, которых однострочник не даёт. Каждый оператор видит явное разрешение, а не просто отсутствие запрета. Будущие правки безопаснее: Disallow, добавленный для одного агента, не распространится незаметно на агентов, о которых никто не подумал. И файл заодно служит нам чек-листом для проверки: когда оператор выпускает нового агента (за последние два года так сделали и OpenAI, и Anthropic), пробел виден в самом файле и в наших логах краулеров.

Остальную настройку GEO (Generative Engine Optimization) на этом сайте мы описали в отдельном гайде. Издатель с платным архивом может выбрать конфигурацию 2 или 3. Что бы вы ни выбрали, пересматривайте файл раз в квартал: OpenAI добавил OAI-SearchBot в 2024 году, Anthropic — Claude-SearchBot в 2025-м, а Amazon к 2026 году разделил обход на три агента. Политика, написанная в 2024 году, может уже не покрывать нужных краулеров.