robots.txt文件生成器

robots.txt 放在网站根目录，用 User-agent、Disallow、Allow 告诉搜索引擎爬虫哪些路径可以/不可以抓取。它是“君子协议”——正规蜘蛛会遵守，但无法阻止恶意爬虫；敏感内容应做服务端鉴权，不要仅依赖 robots.txt。生成后把内容保存为根目录下的 robots.txt 即可。