一句话答案
公开的产品页、FAQ、品牌介绍页，建议放行；后台、接口、站内搜索结果页，屏蔽；爬虫来得太猛，就限流，不要一刀切封掉。网站把 AI 爬虫挡在门外，AI 回答里就很难出现你自己写的内容，只能转述别人怎么说你。
常见 AI 爬虫：按用途分三类
下面每个标识，都是我们 2026 年 10 月 27 日对照各家官方文档核对过的。robots.txt 里写的是「标识」（User-agent token），日志里看到的是完整 UA 字符串，里面包含这个标识。
1. 训练类：抓内容，可能用来训练模型
| 标识 | 所属 | 官方说明 | 封掉的影响 |
|---|---|---|---|
| GPTBot | OpenAI | OpenAI Crawlers | 内容不用于训练 OpenAI 的基础模型；不影响 ChatGPT 搜索（那由 OAI-SearchBot 管） |
| ClaudeBot | Anthropic | Claude 帮助中心 | 今后的内容不进入 Anthropic 的训练数据 |
| Google-Extended | Google 常见爬虫列表 | 只是一个控制标识，没有单独的 UA；管内容能否用于 Gemini 训练和 grounding，官方说明不影响 Google 搜索收录和排名 | |
| KimiBot | 月之暗面（Kimi） | Kimi Crawlers | 内容不用于 Kimi 基础模型训练 |
2. 检索类：建搜索索引，决定能不能出现在 AI 搜索结果里
| 标识 | 所属 | 官方说明 | 封掉的影响 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | OpenAI Crawlers | 官方说明：封掉后不会出现在 ChatGPT 搜索答案里（导航链接除外） |
| Claude-SearchBot | Anthropic | Claude 帮助中心 | 内容不被索引，可能降低在 Claude 搜索结果里的可见度 |
| PerplexityBot | Perplexity | Perplexity Crawlers | 不出现在 Perplexity 搜索结果里；官方说明它不用于训练基础模型 |
| Kimi-SearchBot | 月之暗面（Kimi） | Kimi Crawlers | 官方说明：封掉后不会出现在 Kimi 搜索结果里 |
| Baiduspider | 百度 | 百度站长帮助 | 百度搜索收录受影响；官方给了反向 DNS 核验方法 |
| Bytespider | 字节跳动（头条搜索） | 头条搜索官方账号说明（2019） | 官方说明它是头条搜索的爬虫；没有说明和豆包的关系，也没有写是否遵守 robots.txt |
3. 用户触发类：用户提问时临时去读某个网页
| 标识 | 所属 | 官方说明 | 要注意 |
|---|---|---|---|
| ChatGPT-User | OpenAI | OpenAI Crawlers | 用户触发，官方说明 robots.txt 规则可能不适用 |
| Claude-User | Anthropic | Claude 帮助中心 | 官方说明遵守 robots.txt；封掉会降低用户提问时被读到的机会 |
| Perplexity-User | Perplexity | Perplexity Crawlers | 官方说明一般不遵守 robots.txt（因为是用户发起的） |
| Kimi-User | 月之暗面（Kimi） | Kimi Crawlers | 用户触发，官方说明 robots.txt 可能不直接适用 |
待核实：这些我们没有找到可核对的官方文档
- 豆包专属爬虫：有第三方目录列出「Doubaobot」并指向 doubao.com/bot，但我们打开这个页面只看到一个图标，没有可读的说明文字。所以本文不把它写进模板，豆包相关先按 Bytespider 处理。
- DeepSeek、腾讯元宝：没有找到它们公开的网页爬虫标识说明。网上流传的「DeepSeekBot」等名字，来源都不是官方。
以上情况可能随时变化，你在改配置前最好再去各家官网查一次。
中文网站的特别提醒
- 很多海外教程建议直接屏蔽 Bytespider，理由是抓取量大。但如果你的客户在国内、关心豆包和头条，先别急着封：可以放行公开页面，再用限流控制压力。
- robots.txt 只是一个「声明」，守不守规矩由对方决定。官方明确说遵守的，写了才有用；真正要保护的页面，要靠登录、鉴权和防火墙，不能只靠 robots.txt。
- CDN、WAF（网站防火墙）的「防爬虫」开关，常常会把 AI 爬虫一起拦掉，而且你在 robots.txt 里看不出来。改完 robots.txt 记得一起检查。
robots.txt 模板
把路径改成你自己网站的后台、接口、搜索页即可。注意：robots.txt 是按 User-agent 分组生效的，爬虫找到专门写给自己的那一组后，就不再看 * 那一组，所以 AI 那组要把屏蔽规则完整抄一遍。
# 所有爬虫：公开页面放行，后台与接口屏蔽
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /search
Disallow: /cart/
# AI 爬虫：单独写一组，规则要把上面那组完整抄一遍
# （爬虫只读最匹配自己的那一组，不会叠加 * 组的规则）
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: KimiBot
User-agent: Kimi-SearchBot
User-agent: Bytespider
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /search
Disallow: /cart/
Sitemap: https://www.example.com/sitemap.xml如果某个爬虫抓得太猛，可以用 Nginx 按 UA 单独限速，返回 429 让它慢下来，而不是直接封：
# http 块：按 UA 给爬虫单独限速（每个 IP 每秒 2 个请求，允许突发 10 个）
map $http_user_agent $bot_key {
default "";
~*bytespider $binary_remote_addr;
~*gptbot $binary_remote_addr;
~*claudebot $binary_remote_addr;
}
limit_req_zone $bot_key zone=bots:10m rate=2r/s;
# server 块
location / {
limit_req zone=bots burst=10 nodelay;
limit_req_status 429;
}怎么确认爬虫真的来过
- 看服务器访问日志里的 UA，按标识计数，看最近有没有来、来了多少次。
- 看状态码：大量 403、429、5xx，说明被防火墙拦了、被限流了，或者站点扛不住。
- 核验真假：UA 谁都能伪造。百度、Google 给了反向 DNS 核验方法；OpenAI、Anthropic、Perplexity、Kimi 公布了 IP 列表。官方没给核验方法的，只能记为「自报」。
# 1. 看最近有哪些 AI 爬虫来过（按 UA 关键字计数）
grep -ioE "gptbot|oai-searchbot|claudebot|claude-searchbot|perplexitybot|kimi-searchbot|bytespider|baiduspider" \
/var/log/nginx/access.log | sort | uniq -c | sort -rn
# 2. 看它们拿到的状态码（403 / 429 / 5xx 多，说明被拦了或站点扛不住）
grep -i "bytespider" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c
# 3. 核验一个自称百度蜘蛛的 IP：反查 → 正查，两次对得上才算真
host <日志里的来访 IP> # 应解析到 *.baidu.com 或 *.baidu.jp
host <上一步得到的主机名> # 应回到同一个 IP爬虫来过 ≠ 被引用
爬虫来访只说明「它读过这个页面」，不说明 AI 会在回答里引用你、推荐你。读到、引用、推荐是三件事，要分开看。详见《收录 ≠ 引用：发稿效果要看哪三层证据》和 五层验证法。
公开样本：问兰护肤官网的爬虫请求记录
问兰护肤是我们的自有演示品牌，不是客户案例。它的官网把 AI 爬虫请求记录公开出来了：每 6 小时聚合一次，按 UA 自报标识归类，没有逐条核验 IP；请求次数不代表阅读、抓取成功或 AI 引用。数据和口径见 问兰护肤 · 官网请求观察。本站自己的爬虫来访记录也在 证据页 公开。
下一步
爬虫放行了，接下来要看 AI 实际怎么回答。用 免费体检 看豆包、Kimi、DeepSeek 现在怎么描述你的品牌。想专门做豆包，可以看《怎么让豆包推荐你的品牌》。