// 指南
什么是 llms.txt？你的网站需要它吗？
作者: Dmitry Filippov, Founder, GET-GEO.AI
发布于: 2026-08-19 · 更新于: 2026-09-22
// 简短答案
llms.txt 是一份还在提案阶段的 Markdown 地图，放在 /llms.txt，把网站的关键页面整理给 AI 助手看。没有一家主流 AI 公司承诺读它，多数已发布的文件一个月里一次请求都收不到。如果生成它不花钱，就发一份；但现在别指望它有什么用。
- llms.txt 是 Jeremy Howard 在 2024 年 9 月 3 日提出的关键页面 Markdown 地图；它不授予任何访问权限，也没有一家 AI 公司承诺读它。
- Ahrefs 在 2026 年 6 月查了 137,000 个域名：97% 已发布的 llms.txt 文件前一个月一次请求都没收到。
- SE Ranking 测了 300,000 个域名，发现有没有 llms.txt 和是否被 AI 回答引用之间没有关系。
- 采用量照样涨了近九倍：从 2025 年 6 月约 4,100 个已发布文件到一年后的 36,100 个，Anthropic、Cloudflare、Stripe、Zapier 都在其中。
- 唯一测到的信号和索引文件无关，而是 Markdown 本身：Evil Martians 发现 Claude Code 有 76% 的抓取请求 Markdown。
llms.txt 是什么
这份提案出自 Answer.AI 的 Jeremy Howard，2024 年 9 月 3 日发布在 llmstxt.org。出发点是：HTML 页面对语言模型来说又重又乱，所以网站应该在 /llms.txt 放一份精选的 Markdown 地图。格式是：一个 H1 写站点名称；一段引用块做摘要，放“理解文件其余部分所需的关键信息”；再分节列链接，每条是一个 Markdown 链接，可以附一行说明。Optional 小节标出上下文不够用时可以跳过的链接。规范还建议给每个页面配一份干净的 Markdown 版本，地址就是原 URL 加 .md。
有两点容易弄混。第一，llms.txt 不管访问：它不授权，也不拒绝，这是 robots.txt 的事，每个 AI 爬虫的开关我们已在 robots.txt 指南里列全了。第二，llms-full.txt（把整站全文装进一个文件的做法）根本不在规范里。它只是圈子里的约定，2024 年 11 月才流行起来：那时 Mintlify 开始给它托管的每个文档站自动生成这两个文件。
真的有人读 llms.txt 吗？
已公开的测量数据显示，AI 爬虫很少读 llms.txt。
没有一家 AI 公司承诺会用它。OpenAI、Anthropic、Google、Perplexity 都没有，四家的官方文档里没有一句说自家系统会抓取或解析 llms.txt。Google 更是公开不看好：John Mueller 在 2025 年 4 月写道，“据我所知，没有哪家 AI 服务说过自己在用 LLMs.TXT（看看服务器日志就知道，它们连查都不查）。在我看来，这跟 keywords meta 标签差不多”；Gary Illyes 在 2025 年 7 月确认，Google 不支持它，也不打算支持。
服务器日志说的是同一件事。Ahrefs 在 2026 年 6 月查了 137,000 个域名：97% 已发布的 llms.txt 文件前一个月一次请求都没有；有流量的那 3%，流量里也只有约 1% 来自 AI 检索爬虫。Evil Martians 翻了自家站点两个月的日志：这个文件约 770 次被抓取，其中 37 次能认出是 AI 爬虫。Otterly 在 90 天里记录了 62,100 次 AI 爬虫访问，落到 /llms.txt 上的有 84 次，只有一个普通内容页的三分之一。SE Ranking 则用 300,000 个域名检验“有这个文件”和“被 AI 回答引用”有没有关系：没有。
发布的人却越来越多：从 2025 年 6 月约 4,100 个文件，到一年后的 36,100 个，涨了近九倍，涨的全是几乎没人读的文件。发布方的名单既好看又讽刺：Anthropic、Cloudflare、Zapier、Stripe、Vercel 都挂了一份，多数放在文档域名下；Perplexity 也发布了自己的 llms.txt，却从没说过会读别人的。
同一批日志里藏着一个真信号，但它指向提案的另一部分：Evil Martians 发现，Claude Code 有 76% 的抓取是通过内容协商请求 Markdown。机器确实更想要干净的 Markdown，而不是 HTML。它们不理会的是那份索引文件，不是这个思路。
| 说法 | 现状 | 依据 |
|---|---|---|
| AI 公司会读 llms.txt | 否，没有一家承诺 | 没有任何 AI 公司的文档这么说；Google 明确拒绝（Mueller、Illyes） |
| AI 爬虫实际会抓这个文件 | 几乎测不出来 | 97% 的文件零请求（Ahrefs，13.7 万个域名）；两个月里能认出身份的 AI 爬虫抓取 37 次（Evil Martians） |
| 有这个文件能多被 AI 引用 | 没发现效果 | SE Ranking，30 万个域名：与引用频率无关 |
| 发布方照样在用 | 是，而且很快 | 一年内从 4,100 个文件增至 36,100 个（Ahrefs）；Anthropic、Stripe、Cloudflare、Zapier 都在其中 |
| 机器更想要 Markdown 而不是 HTML | 是，已实测 | Claude Code 有 76% 的抓取请求 Markdown（Evil Martians） |
我们为什么还是挂着一份
本站提供 /llms.txt，还有按语言分开的 llms-full 文件，但我们不说它们有什么效果：没有证据表明哪个助手是靠这份地图找到我们的内容，而不是靠抓取和搜索索引；我们也默认自家文件的待遇不会好过实测的平均水平。那为什么还留着？
因为这个文件和页面、sitemap、指南目录出自同一份内容登记表。指南一发布或一修改，llms.txt 跟着更新。留着它几乎不花钱，万一以后有更多工具采用，也不用临时补。手工维护就不一样了：既添活，又容易和网站脱节。
真在生产环境里维护一份，还会碰到评论文章不提的工程问题。自从上线印地语版本，我们的 llms-full 导出已经多次超过体积上限：天城文在 UTF-8 里每个字符约占三个字节，印地语文本虽然更短，同样几篇指南的体积仍约为英文版的两倍，所以上限从 2026 年 8 月的 100 KB 一路提到了现在的 2 MB。llms-full.txt 要是比模型的上下文预算还大，就等于把这个文件本来要解决的问题又重复了一遍。
我们把这个文件当作一个不花维护成本的实验来发布。它属于我们自己网站的 GEO（Generative Engine Optimization，生成式引擎优化）技术配置，详见我们如何在自己的网站上做 GEO。那篇指南还讲了爬虫访问、可提取的页面和前后一致的公司信息，这几项在引用工作里的作用是能测出来的。
怎样创建和维护这个文件
如果在你的技术栈里 llms.txt 是免费的（一个插件、一个静态站点的构建钩子、一个 CMS 模板），下面就是规范里写的格式：
一个最简的 llms.txt 示例：一个 H1 写站点名称；接一段引用块，用两三句 AI 代理能直接引用的话说清这个站是做什么的；几个 H2 小节（页面、指南、文档），每节一串 Markdown 链接，每条链接配一行说明；再加一个 Optional 小节，放 AI 代理可以跳过的内容。整个标准就这些。
有三种错误会让这个文件比没有还糟：
- 让文件根本访问不到。robots.txt 把爬虫挡在外面，它就读不到这张地图。指望这个文件帮你被发现之前，先检查爬虫访问。
- 把所有 URL 都列进去。这个文件是帮读者挑出有用的页面；一百条不分主次的链接，干的就是 sitemap.xml 的活。选十个关键页面，每个配一行准确的说明。
- 任它和网站脱节。手写的 llms.txt 描述的页面你早就改过了，这就成了 Mueller 拿来类比的 keywords meta 标签：一段没人核实的自我介绍。要么和页面从同一个来源生成，要么干脆别要。
相关问题
llms.txt 和 robots.txt 有什么区别？
robots.txt 定的是规则：哪些爬虫可以抓哪些路径。主要 AI 公司都有文档说明自己怎么遵守，包括用户抓取爬虫的例外情况，这些我们在爬虫指南里讲过。llms.txt 不授予任何访问权限：它只是一份可选的阅读清单，而且目前的测量显示很少有人读。先把爬虫访问做对。
现在 llms.txt 对 SEO 或 AI 可见度有帮助吗？
测不出效果。SE Ranking 检验了 300,000 个域名，没发现“有这个文件”和“被 AI 回答引用”之间有关系；Google 也明说完全不用这个文件。真正影响引用的是本系列其他指南讲的那些：爬虫访问、答案在前且便于提取的页面、外部佐证。这几项的效果，我们的衡量 AI 可见度的指南会教你用自己的数据去验证。把 llms.txt 当实验，别当方案。
如何创建 llms.txt 文件？
一句话：别手写。如果你的平台能从内容自动生成（文档托管服务默认就会，多数框架和 CMS 也有插件），把它打开，就能免费得到一份始终同步的文件。十来页的小站手写也行，这个规模的维护成本可以忽略；再大一点，就接到生成页面的同一个数据源上。
要不要同时发布 llms-full.txt？
能自动生成才发。它不在规范里，只是把全部内容打包成一个 Markdown 文件的约定，主要用处是手动把网站文档粘进 AI 工具的上下文。注意体积：超过几百 KB，就会撑爆这个文件本来要服务的上下文窗口。我们的文件设了上限、按语言拆开，就是这个原因。
AI 公司最终会采用 llms.txt 吗？
不知道，而且两边的趋势相反：一年里发布方涨了近九倍，AI 公司的承诺却还是零，Google 更是直接说不。提案里有实测数据支持的部分是 Markdown 本身：只要页面提供 .md 版本，AI 代理已经会去请求。要说规范里哪部分能留下来，我们押的是干净的机器可读页面，不是那份索引文件。
相关指南
来源
- 01我们的指南：AI 爬虫的 robots.txt 应该怎么配置？
- 02我们的指南：如何在自己的网站上实际做 GEO？
- 03我们的指南：如何衡量 AI 可见度和引用？
- 04llmstxt.org：llms.txt 提案（Jeremy Howard，2024 年 9 月）
- 05Search Engine Journal：Google 的 Mueller 称 llms.txt 和 keywords meta 标签差不多（2025 年 4 月）
- 06Ahrefs：llms.txt 研究，97% 的文件没收到任何请求（137,000 个域名，2026 年 6 月）
- 07Evil Martians：两个月 LLM 流量实测（2026 年 7 月）
- 08SE Ranking：llms.txt 对 AI 引用没有影响（300,000 个域名，2025 年 11 月）
- 09Otterly：llms.txt 实验，90 天 AI 爬虫日志（2026 年 2 月）
- 10Mintlify：为托管文档自动生成 llms.txt（2024 年 11 月）
- 11Ahrefs：什么是 llms.txt，你需要它吗？（2026 年 6 月更新）
// 分享
如何引用本页
欢迎引用和转载——请注明来源并附上本页链接。
“什么是 llms.txt？你的网站需要它吗？” — GET-GEO.AI, 2026-09-22. https://get-geo.ai/zh/guides/llms-txt-guide