robots.txt 用来告诉遵守规范的爬虫哪些路径可以抓、哪些不要抓。这个生成器把规则按 User-agent 分组填写,支持多条 Allow、Disallow、Crawl-delay 和 Sitemap,右侧实时输出标准格式的文本,可以直接复制或下载成 robots.txt 放到站点根目录。内置「允许全部」「屏蔽全站」「屏蔽后台与接口」「屏蔽站内搜索」四种常见预设,点一下就能改;填写时会提示路径是否以斜杠开头、Sitemap 是否为完整地址、延迟是否为正数等容易写错的地方。需要留意的是,robots.txt 只是给爬虫的建议,不是访问控制,敏感目录仍然要靠登录与权限保护;它也不会主动把已经收录的页面从搜索结果里移除。所有内容在浏览器本地生成,不请求接口、不保存配置。
选一个预设
从四种常见配置挑一个当起点,也可以直接用空白分组自己填。
填写分组规则
设置 User-agent,Allow 与 Disallow 每行一条路径;需要多个爬虫分组就点「添加分组」。
补上 Sitemap
每行填一条带 https 的完整 sitemap 地址,生成器会统一放在文件末尾。
复制或下载
检查下方提示无误后复制文本,或下载 robots.txt 上传到站点根目录。
必须能通过站点根目录访问,例如 https://example.com/robots.txt。放在子目录里爬虫不会读取,改完可用搜索引擎的站长工具重新抓取验证。
不能。它只是给遵守规范的爬虫看的约定,恶意抓取完全可以忽略,路径本身依然公开可访问。真正的私密内容要靠登录、鉴权和服务器配置保护。
不能,反而可能适得其反:屏蔽抓取后爬虫看不到页面上的 noindex 标记。想移除收录应保留抓取、在页面加 noindex,再用站长工具的移除功能。
主流搜索引擎按匹配路径最长的一条规则判断,长度相同通常优先 Allow。生成器按填写顺序原样输出,不会替你改写规则,建议自己核对一遍。