Что такое llms.txt и нужен ли он вашему сайту?

Предложение опубликовал Джереми Ховард из Answer.AI 3 сентября 2024 года на llmstxt.org. Идея такая: HTML-страницы для языковых моделей тяжёлые и захламлённые, поэтому сайту стоит отдавать по адресу /llms.txt отобранную вручную карту в Markdown. В ней один заголовок H1 с названием сайта, блок-аннотация (blockquote) с «ключевой информацией, необходимой для понимания остального файла», а дальше разделы со ссылками. Каждый пункт — Markdown-ссылка, к которой можно добавить пояснение в одну строку. Раздел Optional помечает ссылки, которые агент может пропустить, когда нужен более короткий контекст. Ещё спецификация советует держать чистые Markdown-копии страниц по тем же адресам с окончанием .md.

Два уточнения о том, чего llms.txt не делает. Он не управляет доступом: ничего не разрешает и не запрещает. Это задача robots.txt, и все настройки для ИИ-краулеров мы разобрали в гайде о robots.txt. А llms-full.txt, один файл с полным текстом сайта, в спецификации вообще не описан. Это неофициальное соглашение, которое распространилось в ноябре 2024 года: тогда Mintlify, хостинг документации, начал автоматически генерировать оба файла для всех сайтов, которые у него размещены.

Опубликованные замеры показывают: ИИ-краулеры почти не обращаются к llms.txt.

Ни одна ИИ-компания не обещала его читать. Ни OpenAI, ни Anthropic, ни Google, ни Perplexity: ни в одной официальной документации этих компаний не сказано, что их продукты запрашивают или разбирают llms.txt. Google открыто отмахивается от файла. Джон Мюллер написал в апреле 2025 года: «Насколько я знаю, ни один ИИ-продукт не заявлял, что использует LLMs.TXT (и по логам сервера видно, что они его даже не запрашивают). По-моему, это сравнимо с метатегом keywords». А Гэри Илш в июле 2025 года подтвердил, что Google его не поддерживает и поддерживать не планирует.

Логи серверов говорят то же. Ahrefs проверил 137 000 доменов в июне 2026 года: 97% опубликованных файлов llms.txt не получили ни одного запроса за предыдущий месяц, а у тех 3%, к которым хоть кто-то обращался, лишь около 1% трафика пришлось на краулеры ИИ-поиска. Evil Martians разобрали логи собственного сайта за два месяца: из примерно 770 запросов к файлу 37 пришли от ИИ-агентов, которые назвали себя. Otterly за 90 дней отследил 62 100 визитов ИИ-краулеров: 84 из них пришлись на /llms.txt, втрое меньше, чем получает средняя страница с контентом. А SE Ranking проверил 300 000 доменов: есть ли связь между файлом на сайте и ссылками на сайт в ответах ИИ. Связи не нашлось.

Тем временем файлов становится всё больше: примерно с 4 100 в июне 2025 года до 36 100 год спустя. Рост почти в девять раз — у файлов, которые мало кто читает. Список публикующих и впечатляет, и выглядит иронично. Anthropic, Cloudflare, Zapier, Stripe и Vercel отдают такой файл (в основном на доменах документации), а Perplexity публикует свой llms.txt, хотя ни разу не заявлял, что читает чужие.

В тех же логах прячется один настоящий сигнал, и он указывает на другую часть предложения: по данным Evil Martians, Claude Code запрашивал Markdown через согласование формата (content negotiation) в 76% обращений. Машины действительно предпочитают чистый Markdown HTML-разметке. Игнорируют они индексный файл, а не идею.

Наш сайт отдаёт /llms.txt и отдельный файл llms-full для каждого языка. Никакого эффекта мы им не приписываем: нет данных, что хоть один ассистент нашёл наш контент через эту карту, а не через обход сайта и поисковые индексы. Мы исходим из того, что наш файл читают не чаще, чем в среднем по замерам. Зачем тогда его держать?

Мы генерируем файл из того же реестра контента, что и страницы, карту сайта и список гайдов. Когда мы публикуем или меняем гайд, llms.txt обновляется вместе с ним. Поэтому держать его дёшево, а пригодиться он может, если его начнут читать новые инструменты. Файл, который ведут вручную, добавил бы работы и рано или поздно разошёлся бы с сайтом.

Живой файл на рабочем сайте ещё и упирается в настоящие инженерные ограничения, о которых молчат обзорные статьи. Наш экспорт llms-full несколько раз перерастал свой лимит размера с тех пор, как появилась версия на хинди: деванагари занимает в UTF-8 около трёх байт на символ, и даже с учётом более коротких текстов на хинди те же гайды весят примерно вдвое больше английских. Поэтому лимит вырос со 100 килобайт в августе 2026 года до 2 мегабайт сегодня. Если ваш llms-full.txt не помещается в контекстное окно модели, вы вернулись к той самой проблеме, которую файл должен был решить.

Мы держим файл как эксперимент, поддержка которого ничего не стоит. Он входит в техническую настройку для GEO (Generative Engine Optimization), которую мы описали в гайде о том, как мы делаем GEO на собственном сайте. Там же разобраны доступ краулеров, страницы, из которых легко извлечь ответ, и одинаковые сведения о компании. А вот их вклад в цитирование измерить можно.

Если в вашем стеке llms.txt достаётся бесплатно (плагин, хук генератора статики, шаблон CMS), берите формат прямо из спецификации:

Минимальный пример llms.txt: один заголовок H1 с названием сайта, затем блок-аннотация (blockquote), которая описывает сайт в двух–трёх предложениях, которые можно привести дословно. Разделы H2 (страницы, гайды, документация), в каждом список Markdown-ссылок с пояснением в одну строку. Раздел Optional для того, что агент может пропустить. Вот и весь стандарт.

Три ошибки, из-за которых лучше бы файла не было вовсе: