先查分母,再解释差异。分组后结论与总体相反,通常不是数据错了,而是总体结论被某个大分组主导,或各分组的分母口径根本不一致。具体做法是:把总体指标拆成“分子之和 ÷ 分母之和”,逐个分组列出各自的分子、分母和比率,找出哪个分组的比率与总体方向相反、它占总体分母的比例有多大,然后判断是分母结构问题还是口径问题。下面用一组假设数据把决策过程走一遍。
假设某站点在三周内调整了内容模板,总体“每千次展示转化数”从 8.0 降到 7.2,看起来是改坏了。但按来源分成“搜索进入”和“站内推荐进入”两组后,两组的该指标都从 8.0 升到 8.5。总体降、分组升,这就是典型的辛普森式反转。
此时第一步不是找原因,而是核对总体分母是否等于两组分母之和。站内统计里,总体分母常包含未归因流量、直接访问或跨端去重后的展示;分组分母则只覆盖能归因到某个来源的展示。如果两者不相等,总体指标和分组指标本来就不是同一批数据,反转可能只是口径差异,而不是真实变化。
可执行的核对动作:导出同一时间窗内总体和分组的分子、分母两列,用 分组分母之和 ÷ 总体分母 得到一个覆盖率。覆盖率明显低于 1,说明有大量展示没进任何分组,先补齐这部分再谈反转。
如果覆盖率接近 1,分母口径一致,接着看结构。仍用上面的假设:调整前搜索进入占总体分母 70%,站内推荐占 30%;调整后搜索进入占比降到 40%,站内推荐升到 60%。两组比率虽然都上升,但低比率的组占比大幅提高,加权平均后总体反而下降。
判断依据是“结构效应”与“水平效应”哪个更大。做法是把调整后的分组比率代入调整前的分母结构,算出一个反事实总体值:
这个反事实值是假设性计算,只用于比较结构影响,不代表真实收益。它的作用是决定下一步:结构主导时,去查为什么高分母组占比变了;水平主导时,才去查模板改动本身。
两者都会造成反转,但证据不同,处理动作也不同。
可执行的区分动作:固定一个分组,单独看它自己的分子、分母随时间的变化,再和总体同期变化对比。如果该组占比稳定、比率也稳定,而总体仍反转,问题多半在未归因部分或去重逻辑,而不是这个分组。
假设某编辑发现“站内推荐”渠道的每千次展示转化从 8.0 掉到 6.0,但总体只从 8.0 掉到 7.6,直觉是推荐渠道拖累了整体。查分母后发现:推荐渠道分母从 30% 升到 55%,搜索渠道比率基本不变。把推荐渠道的新比率放回旧结构,反事实总体约为 7.1,低于实际总体 7.6,说明总体表现比“仅由结构变化解释”的还要好一点,推荐渠道自身下滑才是主因。
下一步动作因此改变:不再去追“为什么推荐占比变大”,而是去查推荐渠道内部的展示位置、素材或落地页是否变化。如果反事实总体高于实际总体,则优先查结构;低于实际总体,则优先查该分组内部。这个动作的产出直接决定排查方向,避免在错误层面反复取样。
反转结论要能被人复核,至少留下三样东西:总体与分组的分子、分母原始值;分母覆盖率;反事实计算所用的旧结构和新比率。三者缺一,别人无法判断反转是真实变化还是口径或结构造成的。第三方估算流量、搜索引擎报告与站内统计口径不同,不能只凭其中一个指标就断定原因;请求量或抓取量归零也有多种合理解释,不能单独作为处理正确的证明。把分母先查清,再决定下一步查什么,是这类反转问题里最省返工的顺序。