robots.txt 生成器
报错
按「屏蔽哪些路径 + 放不放 AI 爬虫」生成一份可直接上传的 robots.txt,并写清 Disallow 到底能做什么、不能做什么
查询结果
计算完成下面这段就是 robots.txt 全文,复制后上传到站点根目录(访问地址 /robots.txt)。
# robots.txt · 由本站「robots.txt 生成器」生成,放到站点根目录,访问地址是 /robots.txt # 提醒:robots.txt 只是「建议」,不是访问控制;不守规矩的爬虫根本不会读它。 User-agent: * Disallow: /api/ Disallow: /admin/ Disallow: /search? # Sitemap 不属于任何 User-agent 组,写在文件任何位置都能被读到,但必须是绝对地址。 Sitemap: https://www.example.com/sitemap.xml # —— 主流 AI 爬虫 —— # 显式允许抓取:让这些爬虫明确知道可以来(也方便以后逐个调整)。 # 每个爬虫单独成组,并把上面的 Disallow 原样重复一遍—— # 因为更具体的 User-agent 组会覆盖 User-agent: *,只写 Allow: / 等于给它们开了全站通行证。 # GPTBot:OpenAI,用于模型训练 User-agent: GPTBot Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # ClaudeBot:Anthropic,用于模型训练 User-agent: ClaudeBot Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # PerplexityBot:Perplexity,AI 搜索的抓取 User-agent: PerplexityBot Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # OAI-SearchBot:OpenAI,ChatGPT 搜索索引(与 GPTBot 是两套 token) User-agent: OAI-SearchBot Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # Google-Extended:控制标记,只管 Gemini/Vertex 的训练与接地,不影响 Google 搜索收录 User-agent: Google-Extended Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # CCBot:Common Crawl,公开语料库(很多模型的上游) User-agent: CCBot Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search? # Bytespider:字节跳动 User-agent: Bytespider Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /search?
Disallow 只阻止「抓取」,不会把已经收录的页面从搜索结果里删掉——那要用 noindex 或站长平台的移除工具。
纯本地生成 · 不抓取你的站点,也不上传任何数据
相关工具
robots.txt 是建议,不是强制:它只是站点根目录下一份公开的「请不要抓这些路径」的约定,遵守与否完全取决于爬虫自己。主流搜索引擎(Google、Bing、百度、Yandex)会遵守;恶意采集、内容扒站、发垃圾评论的脚本根本不会读它。要真正挡住,只能靠登录态、鉴权、IP 限流、WAF 这类服务端手段。
Disallow 只阻止抓取,不阻止已收录的页面出现在搜索结果里。这是最容易搞错的一条:搜索引擎已经收录的 URL,即使你后来把它 Disallow 掉,它在结果里的标题、链接、描述仍可能长期存在——因为爬虫按规矩不再抓这个页面,反而看不到你后来加的 noindex 或 404/410。要移除已收录页,正确顺序是:允许抓取该页(先别 Disallow)+ 让页面返回 `noindex`(或干脆返回 404/410),等它被抓到并退出索引后,再用 Google Search Console 的「移除网址」或 Bing 站长工具提交移除。
屏蔽 AI 爬虫是一次取舍:屏蔽之后你的内容不会被抓,也就不会被用于 AI 训练、更不会作为 AI 回答的引用来源——在 AI 搜索(GEO)里等于主动放弃这条流量入口。另外「训练用」和「搜索用」是两套 token:GPTBot 是 OpenAI 训练抓取,OAI-SearchBot 是 ChatGPT 搜索索引,PerplexityBot 是 AI 搜索抓取,Google-Extended 只是训练/接地的控制标记(不影响 Google 搜索收录)。只想拒绝训练、还想被 AI 搜索引用,就只屏蔽前者。
每个 `User-agent` 组独立生效,**更具体的组会覆盖 `User-agent: *`**:给某个爬虫单独写一组之后,`*` 组里的 Disallow 对它就不再适用。所以「显式允许某个爬虫」时,必须把它该遵守的 Disallow 也抄进那一组,否则等于给它开了全站通行证。本站生成器就是这么做的(每组都重复一遍路径)。
整站屏蔽写 `Disallow: /`,不要写 `Disallow: *`。robots.txt 里只有 `*`(任意字符序列)和 `$`(结尾锚点)有特殊含义,`Disallow: *` 靠着通配符也能凑出「全部屏蔽」,但各家实现对这种写法的解释不完全一致,标准写法就是 `Disallow: /`。
`Crawl-delay` 是历史字段:Googlebot 官方明确不支持(Google 用 Search Console 里的抓取速度设置),Bing 等部分爬虫认。写大了只会让守规矩的爬虫抓得更慢,本来就该限流的站点不如在 Nginx 层按 UA 限速——`429/503` 反而会直接消耗抓取预算。
`Sitemap` 行不属于任何 `User-agent` 组,写在文件任何位置都能被读到,但必须是绝对地址(含 https:// 与域名)。没有声明 Sitemap 不会报错,只是少了一个「去哪找新页面」的入口。
常见问题
Disallow 掉的页面搜索结果里还能看到,是不是没生效?
不是没生效,是两件事被混在了一起:Disallow 管的是「不要抓」,收录与展示是另一套。已收录的页面不会因为被 Disallow 就消失,反而因为爬虫不再抓、看不到 noindex,它会一直留着。要删:先允许抓取、给页面 noindex(或 404/410),再用站长平台的移除工具。
屏蔽了 GPTBot,ChatGPT 就完全看不到我的网站了吗?
抓取停了,但「看到」不止一种路径:ChatGPT 的联网搜索走的是 OAI-SearchBot 等另一套 token,要一起屏蔽才算彻底;而用户自己复制你的页面内容粘进对话,那不算爬虫,任何 robots.txt 都拦不住。
robots.txt 会影响排名吗?
它是间接影响:抓不到的页面没法排名;把 CSS / JS / 图片目录挡掉,会让搜索引擎渲染不出页面、判断不准内容,这在移动端优先的今天反而伤排名。所以只挡 `/api/`、后台、搜索结果参数页这类真正的垃圾路径,别挡静态资源。
路径里带中文要转码吗?
建议转成百分号编码(`/搜索` → `/%E6%90%9C%E7%B4%A2`)。UTF-8 直写在主流搜索引擎里能被识别,但各家对非 ASCII 的处理不完全一致,转码最稳。
Crawl-delay 填多少合适?
只有 Bing 等少数爬虫认,一般 1–5 秒。真被采集拖垮的话,正确做法是 Nginx 按 UA + 反向 DNS 校验限速、上缓存,而不是指望爬虫自觉。
评论 0
登录后可以评论。