robots.txt生成器

在线robots.txt生成器，支持配置User-agent、Allow、Disallow、Sitemap等规则，一键生成符合搜索引擎规范的robots.txt文件。

开发工具 4 次使用

robots.txt生成器

快速选择爬虫

所有爬虫 (*)Google百度Bing搜狗360搜索Yandex

网站配置

Sitemap地址

Crawl-delay (秒)

规则列表

# 点击"生成robots.txt"按钮生成代码# 常见配置:# User-agent: *# Disallow: /admin/# Allow: /# Sitemap: https://example.com/sitemap.xml

同分类工具