站点可抓取性

用于提升站点可抓取性，修复孤立页面，优化搜索引擎友好的站点结构。适用于处理爬行预算、内部链接、分页及 GPTBot 等 AI 爬虫优化场景。