有条件的结论是:当页面数量、更新频率和提交记录都还小的时候,手工在百度提交网站、逐条检查链接、人工记录结果,往往比搭一套流程更省事;但规模扩大后,最先不该继续手工做的,是那些“每条结果都要单独判断、且判断标准已经稳定”的重复动作。反例也很明确:如果站点只有几十个页面、每次改动都需要人工核对内容质量,手工反而更可靠。下面按“什么时候该换、什么信号说明该换、换了先做什么”展开。
不是所有手工工作都会同时变得不划算。先失效的通常有三类:一是同一规则要重复执行很多次,例如把新增页面逐个整理成提交清单;二是结果需要和上一次对比才能看出变化,例如记录提交后哪些页面被处理、哪些仍停在待处理;三是动作本身不产生新判断,只是搬运信息,例如把页面地址从表格复制到提交入口。
这三类工作的共同点是:单次做不费劲,次数一多就容易漏、容易晚、容易前后不一致。它们和“内容是否值得被收录”不是一回事。百度提交网站解决的是把地址告诉搜索引擎,抓取、索引、排名仍是后面的不同环节;提交本身不等于收录,也不等于有排名。
假设一个站点只有几十个页面,每周只新增一两篇,而且每篇都要人工确认标题、正文和内部链接之后才发布。这种情况下,手工把新地址整理出来、提交、隔几天回看一次,成本很低,也不容易出错。此时如果为了“规模化”去搭自动流程,反而要多维护一套脚本和日志,收益不明显。
反过来,当页面从几十变成几百、几千,或者同一批页面要按栏目、按更新时间反复提交时,手工的边界就出现了:不是人不够努力,而是每次都要重新判断“这条提交过没有、上次结果是什么”,判断成本会超过动作本身。这个反例说明,是否该换手工,不取决于“网站大不大”这个笼统印象,而取决于重复次数和判断标准是否已经稳定。
可以用下面几个可观察的信号来判断,而不是凭感觉:
这些信号同时出现两三个,就说明该把“整理地址、记录结果、按周期回看”变成固定流程。流程不一定要复杂,可以先是一张有固定字段的清单:地址、所属栏目、首次提交时间、最近一次回看时间、当前状态。字段固定之后,下一步才谈得上自动整理或自动提醒。
第一步不是马上写脚本,而是先把“提交”和“回看”拆开。提交只负责把地址送出去;回看负责判断这些地址后来有没有被抓取、有没有进入索引。两者混在一起,最容易出现“提交了就等于完成了”的误判。
实际动作可以这样安排:先建立一份只记录新增地址和提交时间的清单,连续记录几轮;然后对照百度搜索资源平台里能看到的抓取和索引相关数据,看哪些地址长期没有变化。如果发现某类页面反复提交后仍然没有进展,下一步就不该继续加大提交量,而要先检查这些页面是否可抓取、内容是否重复、内部链接是否到位。这个动作的结果会直接改变下一步:是继续扩大提交范围,还是先修页面本身。请求量、抓取量或某项统计归零,也不能单独证明提交方式正确,它可能是页面质量、抓取预算、站点结构等多种原因造成的。
有两类工作不适合完全自动化。第一类是涉及内容判断的:一个页面是否值得被收录、是否和已有页面重复、是否应该合并或删除,这些需要人来看。第二类是涉及异常处理的:当一批页面突然大量不被抓取,或某个栏目整体没有进展时,需要先判断原因,而不是继续按原规则提交。
更稳妥的分工是:重复的整理、记录、提醒交给流程;内容质量判断和异常归因保留人工。这样既不会因为规模扩大而漏掉提交,也不会把不该提交的页面批量送出去。对已经有经验的读者来说,关键不是“要不要自动化”,而是先找出哪一步的判断标准已经稳定,再把那一步固定下来。