# 什么是 AI 爬虫？GPTBot、ClaudeBot、PerplexityBot 该不该放行？

> AI 爬虫是 AI 公司用来抓取网页的程序，分为训练用、搜索索引用和用户提问时实时读取三类。希望被 AI 推荐的出海企业应当在 robots.txt 里放行它们，并保证不执行脚本也能读到正…

- 页面: https://chingeo.com/glossary/ai-crawlers
- 更新于: 2026-11-20
- 来源: 云端智荐（ChinGEO）
- English version: https://chingeo.com/en/glossary/ai-crawlers.md

**AI 爬虫是 AI 公司用来抓取网页的程序，分为训练用、搜索索引用和用户提问时实时读取三类。希望被 AI 推荐的出海企业应当在 robots.txt 里放行它们，并保证不执行脚本也能读到正文。**

- 术语: AI 爬虫 (AI Crawlers)
- 英文全称: AI Crawlers

## 详细解释

主要的 AI 公司都公布了各自爬虫的名称与用途。OpenAI 有三个：GPTBot 用于模型训练，OAI-SearchBot 为 ChatGPT 搜索建立索引，ChatGPT-User 在用户提问时实时访问页面。Anthropic 对应的是 ClaudeBot、Claude-SearchBot 与 Claude-User；Perplexity 是 PerplexityBot 与 Perplexity-User。Google-Extended 不是独立的爬虫，而是 robots.txt 里的一个开关，控制内容能否用于 Gemini 的训练与联网引用。这些爬虫与搜索引擎爬虫有两点不同。第一，按公开的测试，多数 AI 爬虫不执行 JavaScript，靠浏览器渲染才出现的正文它们读不到。第二，由用户提问触发的实时访问不一定按 robots.txt 的规则处理，以各家文档为准。对想被 AI 引用的企业，屏蔽搜索索引类爬虫等于主动退出 AI 的搜索结果；屏蔽训练类爬虫则会减少品牌进入模型长期知识的机会。

## 实际案例

本站的 robots.txt 明确放行 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot 等爬虫，只屏蔽接口路径；所有页面在服务端生成完整 HTML，并提供 llms.txt 与每个页面的 Markdown 版本。

## 常见误区

- 建站模板或安全插件默认拦截“未知爬虫”，把 AI 爬虫一起挡在外面，自己并不知道。
- robots.txt 放行了，但 CDN 或防火墙按 User-Agent 返回 403。两处都要检查。
- 页面是纯前端渲染，爬虫拿到的 HTML 只有空壳，放行了也读不到内容。

## 相关术语

结构化数据、GEO、IndexNow

---

云端智荐（ChinGEO）：专注中国 B2B 出海 GEO 的服务商：让 ChatGPT、Perplexity、Gemini 等 AI 推荐你的品牌，并配套独立站、SEO 与 AI 客服。网站不公开价格，费用通过方案规划与诊断会沟通。

- 免费 AI 可见性测评: https://chingeo.com/audit
- 全站导读: https://chingeo.com/llms.txt
- 西南大区客户经理：周荣岳，手机 13880491401
- 华北大区负责人：崔跃，手机 13811954582
