一键安装此插件:
42plugin install claudeforge/marketplace/robots-txt-generator42plugin install claudeforge/marketplace/robots-txt-generator一款优化SEO和管理爬虫访问的工具。 robots-txt-generator 是一款用于生成 robots.txt 文件的工具,旨在优化搜索引擎优化(SEO)和管理网络爬虫的访问。通过该工具,用户可以有效地控制搜索引擎对网站内容的爬取,防止重复内容的索引,并保护敏感区域。其核心功能包括管理爬取预算、改善网站性能、减少服务器负载以及优化带宽使用。 该生成器支持基本的 robots.txt 语法,允许用户指定爬虫的访问权限,如使用 User-agent 指令来定义目标爬虫,利用 Disallow 和 Allow 指令来控制可爬取路径,并通过 Sitemap 指令提供网站地图的链接。此外,Crawl-delay 指令可设置爬虫请求之间的延迟,以进一步优化爬取效率。通过这一工具,网站管理员能够灵活地管理搜索引擎的访问策略,从而提升网站的整体表现。