先给出结论:分组结论与总体相反,通常不是某一组数据错了,而是分母换了。你要查的是每个分组的分母是谁、总体分母又是谁,以及它们是否覆盖同一批对象。先做分母对照,再判断要不要推翻原来的结论。
你手上如果是一张按地区汇总的搜索趋势表,总体行可能是全国合计,分组行是各省。这时总体分母是全部检索次数,分组分母是各省检索次数。两者口径一致,只是粒度不同,问题多半出在权重上。
但如果总体来自站内统计,分组来自第三方估算,分母就根本不是一回事。第三方估算通常按抽样模型推算,站内统计按实际日志计数,两者对同一词的覆盖范围可能差很多。此时“分组与总体相反”不是矛盾,而是两个口径在打架。
可执行动作:把总体行和分组行的分母字段单独抄出来,列成两列,标注各自来源。如果来源不同,先不要合并解释,分别看。
假设一个短例子:某站点统计“退款流程”相关检索,总体看该词热度上升,但按设备分组后,移动端下降、桌面端上升。若总体分母包含大量桌面端检索,而移动端分母很小,总体上升就可能被桌面端拉动,移动端的下降被掩盖。
这时要查的证据不是结论本身,而是三样东西:
如果分组分母是总体分母的子集且互不重叠,总体趋势应当等于各组按分母加权的平均。若算出来不等于,说明还有未归类的部分,或者分母统计有重复。
动作与结果:按分母加权重算一次总体趋势。如果重算后与原始总体行接近,说明原结论只是权重问题;如果差距明显,说明分母定义有遗漏,下一步要补的是缺失分组,而不是改结论。
个别样本成立、规模化后出现例外,常见原因是分母从固定样本变成了全量流量。样本阶段每个分组的分母差不多,权重接近,结论看起来一致;全量阶段某个分组分母暴涨,就把总体拉向另一边。
判断边界时,不要只看分组结论的方向,要看分母变化幅度。若某分组分母从总体的两成涨到六成,即使该分组内部趋势没变,总体方向也可能翻转。这不是趋势本身变了,而是构成变了。
可执行动作:对每个分组记录分母占比,并标注它是在样本期还是全量期。占比变化超过一个明显档位时,把该分组单独标记,不直接并入总体结论。
注意:请求量、抓取量或某项统计归零,不能单独证明处理正确。它也可能是采集中断、过滤规则变化或口径调整造成的。要结合同一时段其他分母字段一起看。
核对完分母后,通常只有三种走向:
动作示例:如果你发现移动端分母被重复计入总体,先去掉重复部分重算。重算后若分组与总体方向一致,说明原来的相反只是重复计数造成的假象;若仍相反,再回到权重和构成上找原因。
最后提醒一句:分组与总体相反时,优先怀疑分母,而不是先怀疑某一组数据造假。把分母来源、构成比例和重叠情况写清楚,比反复争论结论本身更有用。