如何为 AI 爬虫配置 robots.txt？

“我应该屏蔽 AI 机器人吗？”这个问题没有答案，因为它根本不是一个问题。每家主要 AI 公司都为不同职责运行独立的爬虫：训练爬虫为模型语料库供料，搜索索引爬虫为引用你的回答供料，用户发起的抓取器则是因为有人刚向助手问起某个页面才去读取它。用一行规则把它们全部屏蔽，你并没有对 AI 训练表明立场——你只是把自己从 AI 回答中移除了。

代价是不对称的。屏蔽训练爬虫是一种理念层面的选择，在大多数情况下没有可见性代价：Google 和 Apple 对此有明确文档，对 OpenAI 和 Anthropic 而言，这也由机器人分工推导而来——搜索由独立代理运行，其后果有单独的文档说明。屏蔽搜索或用户抓取代理则有直接且有文档记录的代价——例如 OpenAI 声明，选择退出 OAI-SearchBot 的网站“不会显示在 ChatGPT 搜索回答中”。各引擎的具体机制在我们关于如何被 ChatGPT、Claude 和 Perplexity 引用的指南中详述；本页则是完整的全景图。

两个数字勾勒出这笔交易。Cloudflare 测量了 AI 公司每带回一次访问要抓取多少页面：据 Cloudflare Radar 2025 年 6 月的数据，OpenAI 约为每次引荐 1,700 次抓取，Anthropic 约为 70,900 次。此后这些比率一直在下降——Cloudflare 的 AI Insights 仪表盘实时跟踪——但交易的形态很清楚：你用高强度抓取换取引用。下面的表格就是你设定条款的方式。

下面每一行都已对照运营方自己的文档核验，截至 2026 年 8 月。“令牌（token）”表示该名称仅作为 robots.txt 分组生效——不存在使用该 user-agent 的独立爬虫。

上表对应三种可行的策略。

配置 1——可见性优先。显式允许一切：为表中每个有文档的机器人写一个按代理的 Allow 分组（除 Bytespider 之外——给一个忽略该文件的机器人写 Allow 只是噪音），再加一个兜底分组。适合靠被发现和被引用生存的网站——内容业务、代理机构、大多数 B2B。我们自己用的就是它；见下文“我们自己怎么做”。

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

……以此类推，覆盖表中的每个代理。我们在 get-geo.ai/robots.txt 的生产文件就是完整版本。

配置 2——不参与训练。最常见的有意识选择：留在回答里，退出模型语料库。对训练爬虫和令牌写 Disallow，其余放行。粘贴前有两点提醒：Bytespider 那一行只是声明性的（下一节解释原因），而去掉 Meta-ExternalAgent 是唯一有可见性代价的训练退出——它同时会退出 Meta 的索引：

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

配置 3——全面封锁。对付费墙内容或专有内容是正当选择。robots.txt 允许多行 User-agent 共享同一个规则块，所以整体依然紧凑——我们在这里没有列入 Applebot，因为屏蔽它同时会把你从 Siri 和 Spotlight 搜索中移除，这个决定比 AI 回答的分量更重：

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

上线这套配置前请先读下一节：对上面若干代理而言，这个文件是请求，不是屏障。

robots.txt 是一份公开声明的政策，不是强制机制——而且对整整一类代理，供应商自己就是这么说的。OpenAI 谈 ChatGPT-User：“由于这些操作由用户发起，robots.txt 规则可能不适用。”Meta 谈 Meta-ExternalFetcher：它“可能绕过 robots.txt，因为它执行的是用户请求的抓取”。Perplexity 的用户抓取器“通常忽略 robots.txt 规则”。Amazon 谈 Amzn-User：它“可能不遵循全部 robots.txt 指令”。逻辑是一致的：有人提出了请求，因此这次抓取被视为该用户的访问，而非爬取。

然后是 Bytespider，它完全没有文档，并且实测中忽略该文件：Cloudflare 发现它访问的受保护网站比任何其他 AI 爬虫都多（2024 年年中为 40.4%），HAProxy 测得它占其 AI 爬虫流量的接近 90%，并指出它无视 robots.txt 指令。

所以真正的强制执行要往下沉一层。用大多数供应商公布的 IP 列表核验爬虫——OpenAI、Anthropic、Apple、Common Crawl 和 DuckDuckGo 维护 JSON 列表，Amazon 在其开发者页面公布 IP 段——然后在 CDN 或 WAF 层面拦截你真正想拦下的流量。核验比看上去更重要：HUMAN Security 测得，携带已知 AI 爬虫 user-agent 的请求中，每 18 个就有 1 个是伪造的。

我们自己的 robots.txt 就是可见性优先的配置：19 个显式的按代理 Allow 分组——表中每个遵守该文件的代理、我们本来就欢迎的用户抓取器，加上经典的 Bingbot——之后是一个兜底 Allow。我们在 2026 年 8 月把它重构成这个形态，同一次修改中删掉了遗留的 anthropic-ai 分组——并且在为本指南核实事实时，又删掉了一个凭猜测加上的 cohere-ai 分组：Cohere 自己的文档声明其目前不运行任何爬虫。

显而易见的反驳：一行“User-agent: * / Allow: /”会产生完全相同的爬虫行为。没错。但显式分组换来三样单行写法给不了的东西。每家供应商得到的是明确的意图信号，而不是“没有反对”。未来的修改更安全——为某个代理添加的 Disallow 不会悄悄波及没人想到的其他代理。而且这个文件兼作我们的审查清单：当供应商推出新代理时——过去两年 OpenAI 和 Anthropic 都这样做过——缺口在文件本身和我们的抓取日志中都一目了然。

这个文件只是我们在“我们如何在自己网站上做 GEO”指南中记录的整套配置的一部分。那是一个靠 AI 引用谋生的网站的政策。拥有付费墙存档的出版商合理的选择是配置 2 或配置 3——本指南的意义不在于我们的答案，而在于让你能选出自己答案的那张表。无论选哪套配置，都请在日历上安排季度审查：名单一直在变——OpenAI 于 2024 年新增 OAI-SearchBot，Anthropic 于 2025 年新增 Claude-SearchBot，Amazon 到 2026 年把抓取拆成三个代理——一份写于 2024 年的 robots.txt 对今天的爬虫来说已经是错的。