Robots.txt 生成

在线生成 robots.txt

Allow（每行一条）

Disallow（每行一条）

Sitemap URL

robots.txt 说明

指令

项	说明
`User-agent`	* 表示所有爬虫，或指定 Googlebot
`Allow`	允许抓取的路径
`Disallow`	禁止抓取的路径
`Sitemap`	站点地图 URL

示例

项	说明
`Disallow: /admin/`	禁止后台
`Allow: /public/`	允许公开目录
`Crawl-delay`	非标准，部分爬虫支持

robots.txt 仅为建议，恶意爬虫可无视；敏感内容需身份认证而非依赖 robots。