robots.txt 配置

用于配置、审计和优化 robots.txt 文件。支持处理爬虫规则、设置允许或禁止路径，以及管理 GPTBot、Googlebot 等搜索引擎抓取行为。