当站点从几十个页面长到几千个页面,最先出问题的不是策略,而是执行方式。手工改标题、逐条检查死链、人工比对收录,在小站阶段还能撑住,规模上来后就会变成瓶颈。判断标准很简单:这项工作是否需要重复判断、是否依赖全站一致性、是否一旦漏做就会连锁影响抓取和索引。满足其中两条,就该考虑半自动或自动化处理,把人力留给真正需要判断的决策。
假设一个站点从八百页扩到三千页,其中约四百页是两年前的活动页、旧版产品说明和已经停止维护的栏目。团队决定让这批内容退出,但保留其中仍然有搜索需求的部分。如果继续手工处理,流程大概是:逐个打开页面、判断去留、改标题、加跳转、更新内链、再回头核对。四百页乘以每个环节几分钟,实际耗时远超预期,而且中途一旦有人换手,判断标准就会漂移。
这个情境的关键不在于“手工慢”,而在于手工处理无法保证一致性。同一批页面里,A 同事认为该保留的,B 同事可能直接删除;同一条内链,有人改成新地址,有人忘了改。规模越大,这种不一致越难在事后发现。
这类工作的共同点是“同一规则套用到大量 URL”。手工逐条改,出错概率随页数线性上升。可行的做法是先导出 URL 清单,在表格里标注每个 URL 的处置结果,再用站点现有的批量编辑能力或模板层统一执行。执行后要回查一次:随机抽二十个 URL,确认标题、跳转目标、robots 状态与清单一致。如果抽查发现偏差,说明规则本身有歧义,先修规则再扩大范围,不要靠人工补漏。
内链和导航的问题往往不是“某一条错了”,而是“某一类都错了”。比如旧栏目整体下线后,指向它的内链可能散落在几十个页面里。手工搜索替换容易误伤同名锚文本。更稳的顺序是:先用站点地图和抓取结果列出所有指向旧路径的 URL,按来源页面分组,再决定哪些改成新目标、哪些直接删除链接。这一步做完,站点地图和导航要同步更新,否则搜索引擎仍会通过旧入口反复抓取已退役的地址。
页面数量上千后,靠人工在搜索控制台逐条查收录状态没有意义。应该按目录或模板分组,观察每组的抓取和索引变化。这里要注意:某个目录的抓取量下降,可能是正常的内容退役,也可能是内链断裂、服务器响应变慢或站点地图未更新。抓取量归零不能单独证明处理正确,需要结合跳转状态、内链指向和站点地图三个证据一起看。
不是所有事都适合交给规则。以下三类工作,规则只能辅助,不能替代判断:
一个实用的分界线是:如果一项工作的输出是“是/否”或“改/不改”,且判断标准可以写成一句话,就适合规则化;如果输出需要解释“为什么”,就保留人工。
不要一次性把所有环节都自动化。按以下顺序推进,每一步都验证后再进入下一步:
这个顺序的核心是:先让判断标准显性化,再让执行规模化。跳过第一步直接上工具,往往会在中途发现规则不统一,返工成本更高。站点越大,越要把人力集中在“定规则”和“查异常”上,而不是“逐条改”。