判断标准不是“手工能不能做完”,而是这项工作是否随页面数量成倍增长、是否需要逐页判断、出错后能否被及时发现。凡是每新增一批页面就要重复操作、且结果直接影响抓取或索引的环节,就该从手工转为规则化处理;而涉及内容取舍、栏目定位和对外承诺的判断,仍应保留人工。
假设你手里有一份从后台导出的页面清单,字段包括网址、标题、栏目、发布时间、是否被索引。先不要急着动手改,而是按下面的顺序问三个问题。
把清单按这三问分成两堆:可规则化的和需人工判断的。这个动作本身就会改变你下一步的排期,因为可规则化的部分可以一次性覆盖,人工部分则要按优先级排队。
页面数量从几十涨到几百、上千时,下面这些工作继续手工做,代价会迅速超过收益。
这里的关键不是“自动化更高级”,而是重复操作一旦超过人工能稳定复核的规模,遗漏率就会上升。遗漏本身不直接等于排名下降,但它会让后续判断失去可靠的数据基础。
面对一批新页面,常见两种做法:全部手工逐页设置,或先定规则再批量套用。两者并非谁绝对更好,选择条件取决于页面是否同质。
适合同质页面的条件:页面来自同一模板,字段结构一致,只有少量变量不同,比如城市分站、产品规格页。此时先定好标题格式、内链规则和状态检查项,再批量应用,代价是需要前期设计规则,收益是新增页面可以按同一标准处理。
适合逐页处理的条件:页面主题差异大,面向不同意图,标题和描述需要体现各自重点,比如深度文章和专题页混在一起。此时强行套统一规则,会让页面之间失去区分度,代价是人工时间随页面数线性增长。
一个可操作的折中:把页面按模板分组,同组内批量处理,跨组之间人工确认。这样既不牺牲同质页面的效率,也保留异质页面的判断空间。
假设你有一批两百个产品页,其中一百八十个来自同一模板,二十个是定制说明页。手工逐页改标题和内链,按每页几分钟估算,会占用大量时间,而且中途容易漏改。
可以这样处理:先抽十条同模板页面,确认标题格式、内链位置和状态检查项是否一致;一致的话,把规则写成可重复执行的步骤,覆盖这一百八十个页面;剩下二十个定制页单独列出,逐页判断。执行后,再用同一份清单复核一遍,看是否有页面未被覆盖或状态异常。复核结果会告诉你规则是否遗漏了边界情况,进而决定是补规则还是转为人工。
这个例子的数字只用于说明比较方法,不代表任何实际项目的耗时或效果。
批量处理解决的是重复劳动,不是替代判断。以下工作即使规模扩大,也不适合完全交给规则。
把可规则化的部分交出去之后,人工时间应该集中在这些判断上。下一步的排期也由此确定:先处理影响抓取和索引的批量项,再处理需要判断的结构和内容项。