一句话回答
AI 爬虫是 AI 公司用来抓取网页的程序,分为训练用、搜索索引用和用户提问时实时读取三类。希望被 AI 推荐的出海企业应当在 robots.txt 里放行它们,并保证不执行脚本也能读到正文。
详细解释
主要的 AI 公司都公布了各自爬虫的名称与用途。OpenAI 有三个:GPTBot 用于模型训练,OAI-SearchBot 为 ChatGPT 搜索建立索引,ChatGPT-User 在用户提问时实时访问页面。Anthropic 对应的是 ClaudeBot、Claude-SearchBot 与 Claude-User;Perplexity 是 PerplexityBot 与 Perplexity-User。Google-Extended 不是独立的爬虫,而是 robots.txt 里的一个开关,控制内容能否用于 Gemini 的训练与联网引用。这些爬虫与搜索引擎爬虫有两点不同。第一,按公开的测试,多数 AI 爬虫不执行 JavaScript,靠浏览器渲染才出现的正文它们读不到。第二,由用户提问触发的实时访问不一定按 robots.txt 的规则处理,以各家文档为准。对想被 AI 引用的企业,屏蔽搜索索引类爬虫等于主动退出 AI 的搜索结果;屏蔽训练类爬虫则会减少品牌进入模型长期知识的机会。
实际案例
本站的 robots.txt 明确放行 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot 等爬虫,只屏蔽接口路径;所有页面在服务端生成完整 HTML,并提供 llms.txt 与每个页面的 Markdown 版本。
常见误区
- 建站模板或安全插件默认拦截“未知爬虫”,把 AI 爬虫一起挡在外面,自己并不知道。
- robots.txt 放行了,但 CDN 或防火墙按 User-Agent 返回 403。两处都要检查。
- 页面是纯前端渲染,爬虫拿到的 HTML 只有空壳,放行了也读不到内容。
相关术语
相关文章
GEO ·
2026 年 90 天 GEO 试点交付什么?怎么验收
90 天 GEO 试点按周写清时间线与交付物:先测基线,再修技术、写内容、建第三方来源,三次复测后交接。验收分交付物与效果指标,并列出企业需配合的事项。
阅读全文GEO ·
汽车零部件企业怎么做 GEO?2026 年技术实现与注意事项
汽车零部件企业怎么做出海 GEO:OE 对照与适配车型数据、ACES / PIES 与 TecDoc、IATF 16949 与 E-mark 怎么公开,以及商标与适配错误的注意事项。
阅读全文GEO ·
储能与锂电池企业怎么做 GEO?2026 年技术实现与注意事项
储能与锂电池企业怎么做出海 GEO:买家问 AI 的问题、UN 38.3 与 UL 9540A 等认证怎么公开、产品页与结构化数据的做法,以及循环寿命与欧盟电池法规的注意事项。
阅读全文看看你的官网做得怎么样
免费的 AI 可见性测评会检查技术底座,并测试 AI 是否会推荐你
开始测评