减少无效页面收录,应先区分重复、空白、错误与仍有价值的旧内容。不能为了精简把所有旧URL统一跳首页。

盘点页面状态

正式URL、参数页、标签与分页分别检查,判断是否有独立内容。

采用对应措施

等价地址规范化,有替代内容的旧页适当重定向,无资源返回404,必要页面保留。

核对站内发现

导航、内链与sitemap指向正式页面,robots与索引指令一致。处理后观察实际抓取变化。

无效收录先识别地址来源

筛选参数、重复路径、搜索页与测试页分别处理,保留真正有用户价值的页面。

移除内链并采用适当状态或索引规则;需要搜索引擎读取noindex时,不能同时阻断抓取。

例如无价值站内搜索页需要noindex,应允许搜索引擎读取指令,而非同时全部屏蔽抓取。

参考资料:Google:robots元标记的使用条件。

相关阅读:企业网站SEO:抓取、索引、搜索意图与页面内容。