GEO科普

AI爬虫有哪些？robots.txt怎么配置？

主流AI爬虫有哪些？如何在robots.txt中放行或屏蔽AI爬虫？

汇
汇途云
汇途云团队
2026/7/26阅读 301全文约 1 分钟

AI爬虫有哪些？robots.txt怎么配置？

主流AI爬虫有8个：GPTBot（OpenAI）、Bytespider（字节）、Baiduspider（百度）、Sogou（搜狗）、YisouSpider（阿里）、Bingbot（微软）、ClaudeBot（Anthropic）、PetalBot（华为）。做GEO优化必须在robots.txt中放行这些爬虫。

8大AI爬虫一览

爬虫名所属平台服务AI
GPTBotOpenAIChatGPT
Bytespider字节跳动豆包
Baiduspider百度文心一言
Sogou搜狗/腾讯元宝
YisouSpider阿里通义千问
Bingbot微软Copilot/Kimi
ClaudeBotAnthropicClaude
PetalBot华为小艺

robots.txt 放行配置

User-agent: GPTBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Sogou
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PetalBot
Allow: /

👉 查看汇途云的 robots.txt 作为参考。

觉得有用？点个赞支持一下
AI爬虫robots.txtGPTBotBytespider
分享至
汇
汇途云 HuiTuYun
汇聚AI能力，铺就企业征途。从内容生产到AI引用监控的全链路闭环。
联系我们
需要 1对1 AI 落地咨询？
添加企业微信客服，顾问在线解答你的业务问题。
添加客服 →
企微客服