跳到主要内容

一句话回答

AI 爬虫是 AI 公司用来抓取网页的程序,分为训练用、搜索索引用和用户提问时实时读取三类。希望被 AI 推荐的出海企业应当在 robots.txt 里放行它们,并保证不执行脚本也能读到正文。

详细解释

主要的 AI 公司都公布了各自爬虫的名称与用途。OpenAI 有三个:GPTBot 用于模型训练,OAI-SearchBot 为 ChatGPT 搜索建立索引,ChatGPT-User 在用户提问时实时访问页面。Anthropic 对应的是 ClaudeBot、Claude-SearchBot 与 Claude-User;Perplexity 是 PerplexityBot 与 Perplexity-User。Google-Extended 不是独立的爬虫,而是 robots.txt 里的一个开关,控制内容能否用于 Gemini 的训练与联网引用。这些爬虫与搜索引擎爬虫有两点不同。第一,按公开的测试,多数 AI 爬虫不执行 JavaScript,靠浏览器渲染才出现的正文它们读不到。第二,由用户提问触发的实时访问不一定按 robots.txt 的规则处理,以各家文档为准。对想被 AI 引用的企业,屏蔽搜索索引类爬虫等于主动退出 AI 的搜索结果;屏蔽训练类爬虫则会减少品牌进入模型长期知识的机会。

实际案例

本站的 robots.txt 明确放行 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot 等爬虫,只屏蔽接口路径;所有页面在服务端生成完整 HTML,并提供 llms.txt 与每个页面的 Markdown 版本。

常见误区

  • 建站模板或安全插件默认拦截“未知爬虫”,把 AI 爬虫一起挡在外面,自己并不知道。
  • robots.txt 放行了,但 CDN 或防火墙按 User-Agent 返回 403。两处都要检查。
  • 页面是纯前端渲染,爬虫拿到的 HTML 只有空壳,放行了也读不到内容。

相关文章

看看你的官网做得怎么样

免费的 AI 可见性测评会检查技术底座,并测试 AI 是否会推荐你

开始测评