Что такое llms.txt — и нужен ли он вашему сайту?

Предложение принадлежит Джереми Ховарду из Answer.AI и опубликовано 3 сентября 2024 года на llmstxt.org. Идея такая: HTML-страницы для языковых моделей тяжелы и перегружены, поэтому сайту стоит отдавать курированную markdown-карту по адресу /llms.txt — один H1 с названием сайта, блок цитаты с «ключевой информацией, необходимой для понимания остальной части файла», затем разделы со ссылками, каждая из которых — markdown-ссылка с необязательной пометкой в одну строку. Раздел Optional помечает ссылки, которые агент может пропустить, когда нужен более короткий контекст. Спецификация советует держать и чистые markdown-двойники страниц — по тому же адресу с добавленным .md.

Две вещи, которыми llms.txt не является. Он не управляет доступом — ничего не разрешает и не запрещает; это работа robots.txt, и переключатели всех AI-краулеров мы разобрали в гайде по robots.txt. А llms-full.txt — единый файл с полным текстом сайта — в спецификации отсутствует вовсе: это соглашение экосистемы, ставшее популярным в ноябре 2024 года, когда Mintlify начала автоматически генерировать оба файла для каждого документационного сайта на своём хостинге.

Это тот вопрос, вокруг которого большинство гайдов ходит кругами — обращаются ли AI-краулеры к llms.txt? — и ответ по замерам прямолинеен: почти никто.

Ни один AI-вендор не взял на себя обязательство его читать. Ни OpenAI, ни Anthropic, ни Google, ни Perplexity: ни в одной официальной документации не сказано, что их системы загружают или разбирают llms.txt. Google высказывается откровенно пренебрежительно. Джон Мюллер в апреле 2025 года написал: «Насколько мне известно, ни один AI-сервис не заявлял, что использует LLMs.TXT (и по логам сервера видно, что они даже не проверяют его наличие). По мне, это сопоставимо с мета-тегом keywords». Гэри Илш в июле 2025 года подтвердил: Google файл не поддерживает и не планирует.

Логи сервера говорят то же. Ahrefs проверила 137 000 доменов в июне 2026 года: 97% опубликованных файлов llms.txt не получили за предыдущий месяц ни одного запроса, а у тех 3%, к которым обращались, лишь около 1% обращений пришёлся на боты AI-поиска. Evil Martians прочесали логи собственного сайта за два месяца: из примерно 770 загрузок файла 37 пришлись на известных AI-агентов. Otterly наблюдала 62 100 визитов AI-ботов за 90 дней — на /llms.txt пришлось 84, треть от того, что получает средняя контентная страница. А SE Ranking проверила 300 000 доменов на связь между наличием файла и цитированием в AI-ответах: связи нет.

При этом внедрение продолжает расти — с примерно 4 100 опубликованных файлов в июне 2025 года до 36 100 годом позже: почти девятикратный рост числа файлов, которые почти никто не читает. Список публикующих впечатляет и иронизирует в равной мере: Anthropic, Cloudflare, Zapier, Stripe и Vercel отдают такой файл, в основном на доменах документации, — а Perplexity публикует собственный llms.txt, ни разу не заявив, что читает чужие.

Один настоящий сигнал скрыт в тех же логах, и указывает он на другую часть предложения: Evil Martians обнаружили, что Claude Code запрашивает markdown через content negotiation в 76% своих загрузок. Машины действительно предпочитают чистый markdown вместо HTML — игнорируют они файл-указатель, а не идею.

Наш сайт отдаёт /llms.txt и файлы llms-full по локалям, и никакого эффекта мы им не приписываем: у нас нет данных, что хоть один ассистент нашёл наш контент через карту, а не через краулинг и поисковые индексы, и мы исходим из того, что наш файл живёт не лучше измеренного среднего. Так зачем его держать?

Потому что в нашей архитектуре он ничего не стоит и не может устареть. Файл генерируется из того же реестра контента, из которого собираются страницы, sitemap и хаб гайдов: выходит или меняется гайд — llms.txt обновляется тем же коммитом. Карта, которая поддерживает себя сама, — бесплатный опцион на будущее, в котором какой-нибудь агент её всё-таки прочитает. Карта, которую нужно поддерживать руками, — обязательство, которое тихо разойдётся с сайтом.

Живой файл в продакшене вскрывает ещё и реальные инженерные ограничения, мимо которых проходят статьи-рассуждения. Наш экспорт llms-full дважды перерастал ограничение размера с тех пор, как появилась локаль на хинди: деванагари в UTF-8 занимает около трёх байт на символ, и даже при более коротких текстах на хинди те же гайды весят примерно вдвое больше английских, поэтому предел теперь стоит на 300 килобайтах — втрое выше исходного. Если ваш llms-full.txt больше контекстного бюджета модели, вы воспроизвели ту самую проблему, которую файл должен был решить.

Такова честная форма этого решения: мы публикуем файл как ставку с нулевой ценой и описываем его именно так — как часть технического слоя, задокументированного в гайде о том, как мы делаем GEO на собственном сайте, а не как рычаг ранжирования. Что действительно измеримо влияет на цитирование, разобрано там же: доступ для краулеров, извлекаемые страницы, работа с сущностью.

Если llms.txt достаётся вам бесплатно — плагином, хуком статического генератора, шаблоном CMS, — вот формат llms.txt прямо из спецификации.

Минимальный пример llms.txt: один H1 с названием сайта, затем блок цитаты, который в двух-трёх предложениях описывает, что это за сайт, — так, чтобы агент мог их процитировать. Разделы H2 — страницы, гайды, документация — каждый со списком markdown-ссылок и пометкой в одну строку на каждую ссылку. Раздел Optional для того, что агент может пропустить. Это весь стандарт.

Три ошибки, из-за которых файл становится хуже, чем его отсутствие: