推断分析---通过分析少量数据的特征,推断整体数据特征。
方差分析
样本检验
趋势预测
1.方差分析----通过数据复盘衡量运营策略在产品运营中,我们会遇到各种需要评估运营效果的场景,包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。
具体例如,产品升级前的平均 DAU 是 155 万,产品升级后的平均 DAU 是 157 万,那么如何判断 DAU 提升的 2 万是正常的波动,还是升级带来的效果呢?
本质都是在对比不同分组数据间的数据变化,或是对比同一组数据在实施某些策略前后的数据变化,及其变化背后的原因。也就说,判断数据波动是否是某一因素(活动/策略)导致的,便是方差分析。
我们把分组叫作样本,把变化叫作差异,差异的大小程度叫作显著性。
对比不同分组数据间的数据变化,叫分析不同样本间的差异显著性;
对比同一组数据实施某些策略前后的数据变化,叫分析同一样本在策略前后的差异显著性。
而分析以上差异显著性是否明显的方法,就叫作方差分析。
应用:
某用户运营工作重点之一,就是搞清楚在优惠金额对用户的购买转化率是否能起到有效作用。
抽取了过去半年产品上投放的所有促销活动,并把活动中的优惠金额分成了以下三个组,最后按照不同区间分组去分别计算用户的购买率。
用户行为是随机的,不管有没有促销活动,用户的购买转化率本身就会发生一定的波动,可能某天某组的某个用户心情大好,或者发了年终奖了就会在产品上剁手。而这些随机因素都与优惠金额无关,所以我们不能说某组的转化率高,是这个区间的优惠金额效果好导致的。那么应该如何正确认识用户数量与购买率之间的关系呢?这就需要用到正态分布图了。
(1)正态分布图
绝大部分用户的购买率都集中在某个值附近,这个值我们叫作整体购买率的平均值。如果每个客群分组自身的购买率均值与这个整体购买率平均值不一致,就会出现以下两种情况。
第一种情况
蓝色分组的购买率平均值(蓝色线)比整体平均值(黑色线)要高,有可能是最右边那个很高的购买率把分组的均值抬升的,同时蓝色分组的数据分布很散(方差大),此时不能有十足把握说明该组用户的购买转化率很高。
第二种情况
绿色分组购买率平均值(绿色线)比整体平均值(黑色线)高,但是绿色分组的数据非常集中,都集中在分组的平均值(绿色线)附近,此时我们可以认为该组的转化率平均值与整体有明显区别。
“组内方差”,即描述每个分组内部数据分布的离散情况。
对于上面蓝色和绿色分组的“组内方差”,显然蓝色的组内方差更大,绿色的组内方差更小。
所以,如果上面三个分组的用户购买率平均值不在中线(整体购买率)左右,而是有明显的偏高或偏低,且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近(即组内方差很小)。那么我们就可以断定:该组购买率与整体不一致,是该组对应优惠金额的影响造成的。
(2)方差分析之定性、定量分析
将上表中三个组的转化率放进了这个图中,尝试通过分析工具在转化率数据中得到结论。
定性分析
这三组的购买率数据的分布都很相似,即虽然各组的均值不尽相同,但各组的数据分布的都比较散(方差大),总有很大或很小的购买率来提升或降低了组内的平均值,所以不能仅从各组的购买率均值本身来断言该组的购买率与众不同。
因此,可以看到,这三组数据并无区别,用户的购买率与优惠金额之间没有明显的关系,当然这是一个定性的分析过程。
定量分析
F 检验值用来精确表达这几组差异大小的,F crit临界值是一个判断基线
当 F > F crit,这几组之间的差异超过判断基准了,认为不同优惠金额的分组间的购买率是不一样的,优惠金额这个因素会对购买率产生影响,也就是说通过运营优惠金额这个抓手,是可以提升用户购买转化率的;
反之,当 F < F crit,则认为不同优惠金额的分组间的购买率是一样的,优惠金额这个因素不会对购买率产生影响,也就是说需要继续寻找其他与购买转化率有关的抓手。
A、B、C 三组的方差分析结果。如图所示 F (1.5555556) &lt; F crit (3.8852938),所以从定量分析角度,我们也能判定优惠金额不会对购买率产生影响。
方差分析也叫 Analysis of Variance,简称 ANOVA,也叫“F 检验”,用于两个及两个以上分组样本的差异性检验。
方差分析标准路径
第一步,判断样本是否满足“方差分析”的前提条件
(1)第一个条件:每个分组中的每个值都必须来自同一个总体样本
比如,同一家店铺中男性顾客和女性顾客(即样本),都来自这个店铺的成交客户(即总体),所以是同一个总体,可以用方差分析来分析不同性别客单价的差异;但如果想分析这个店铺中口红品类的用户购买率和其他店铺口红品类的用户购买率的差异,就不能用方差分析,因为这两个用户群体不是来自同一个总体。
判断样本是不是都来自同一个总体,其实就是看这些样本是不是同一个功能的用户、是不是同一种类型的用户、是不是同一个业务流程的用户。
以下就是来自同一总体的用户:
高留存的注册用户和低留存的注册用户;
DAU 里面的新增用户和唤醒用户;
从同一个入口进来的成功购买用户和流失用户。
以下这些就不是来自同一总体的用户,不能用方差分析来分析他们之间是否有差异:
产品的注册用户和游客,因为不是同一类型用户;
沉默用户和活跃用户,因为不是同一类型用户;
使用过功能 A 和未使用功能 A 的用户,因为不是同一功能的用户;
从活动落地页进来然后完成购买的用户,和从首页 Banner 进来完成购买的用户,因为不是同一业务流程的用户。
(2)第二个条件:方差分析只能分析满足正态分布的指标
在产品运营中大部分指标都是正态分布。
几乎所有转化率都满足正态分布:购买率、点击率、转化率、活跃率、留存率、复购率等。
几乎所有的业务量都满足正态分布:客单价、每日新增用户数、渠道引流的流量等。
几乎所有的用户画像指标都满足正态分布:年龄、城市、登录次数、使用时长等。
但是,以下这些就不是正态分布的指标,不能用方差分析。
注册用户中男性和女性的数量,它们并不会集中在某个区间,所以不能用方差分析去分析不同客群的男性数量和女性数量的差异;但男女的比例是正态分布的指标,根据产品客群不同始终集中在某个占比区间。??
不同客群的累计消费金额,不是正态分布指标,因为累计类指标只会增长,并不会集中在某个区间;但是每日消费金额是正态分布的指标,因为每日的消费金额虽然有波动,但产品的客群是稳定的,消费金额也是集中在某个区间。
(3)第三个条件:分析的样本必须是随机抽样
每个用户的购买率就是随机抽样来的。最简单的随机抽样就是均匀抽样,例如 10 万用户,我就按照顺序,每隔 5000 人抽一个出来,就能随机抽样出来 20 人。
第二步,计算 F 检验值和 F crit 临界值
若 F > F crit,则各个分组的指标值有显著差异;
若 F < F crit,则各个分组的指标值无显著差异;
第三步,如果有差异,需要评估差异大小
当 F > F crit,则各个分组的指标值有差异,但是差异有多大呢?用一个新的指标来表示:
R2=SSA/SST,其中 R2 表示差异大小,SSA 是组间误差平方和,SST 是总误差平方和。
可把 R2 看成相关系数,所以可以用相关系数的判断标准来给出差异的大小:
当 R2>0.5,认为各个分组间的差异非常显著;
当 R2 在 [0.1,0.5] 之间时,认为各个分组间的差异一般显著;
当 R2<0.1 时,认为各个分组间的差异微弱显著。
应用:
1.产品升级前后,使用时长有了一定提升,可以说升级有效果吗?
升级后的平均使用时长为 1分 34 秒,升级前为 1 分 26 秒。升级后使用时长提升了不到 10 秒钟,能说产品升级有效果吗?
1)判断样本是否满足“方差分析”的前提条件
使用时长来自同一群用户,就是产品的使用用户,是同一总体;并且使用时长满足正态分布,所以要分析升级前和升级后有无效果,就是分析升级前的使用时长和升级后的使用时长是否有差异,也就是可以用方差分析来判断。
2)计算 F 检验值和 F crit 临界值
F 检验值是 5.97,F crit 临界值是 4.1959,所以 F &gt; F crit,所以这两组数据有差异,也就是说升级后使用时长的提升是有效的。
3)评估差异大小
结果是 0.1757,属于一般显著。
结论:此次产品升级对使用时长是有效果的,平均使用时长提升了 8 秒,但提升效果一般。
2.最近做了一次活动,活动后的 DAU 有所提升,可以说活动有效果吗?
为了提升 DAU,做了一个促活的活动,把活动前后的 DAU 抽样 15 天的数据对比,发现活动后 DAU 均值是 55567,比活动前的 DAU 均值 54198 有所提升,可以说活动有效果吗?
我们不能单纯地看 DAU 均值提升就认为有效果,也有可能是正常的波动,所以我们需要准确对比这两个分组间的差异。
1)判断样本是否满足“方差分析”的前提条件
因为两组的 DAU 都来自产品的 DAU,所以认为是来自同一总体,同时 DAU 满足正态分布,所以可以用方差分析来进行分析。
2)计算 F 检验值和 F crit 临界值
因为 F(0.022) &lt; F crit(4.1959),所以这两组数据无差异,也就是说这两组 DAU 没有任何区别,均值的变化是正常波动,促活活动并没有带来效果,所以不需要进行第三步,不需要评估差异大小。
上面的案例都是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析,因为只评估一种策略在不同客群、或不同渠道、或不同场景中的效果。下面我们看看一个更复杂的场景——多因素方差分析。
3.如何分析注册率是拉新活动带来的?还是渠道本身特性带来的?
渠道运营,涉及的渠道很多,同时在每个渠道上也会投放大量的运营活动,目的都是尽可能地将渠道的流量引导到产品上完成注册,才能进行后续更为深入的运营。
(1)渠道
刚开始我们对接渠道,由于资源有限,运营活动还是全渠道投放。想分析针对单一一个运营活动,各个渠道间的用户注册率是否有差别。
F(1.96) &lt; F crit(3.55),所以各个渠道的注册率没有差异。
面对这样的问题,你自然会说可能是拉新活动的没有做出差异化的原因,所以你把拉新活动精细化,拆为权益类活动、品牌类活动和通用类活动。通过这三类细分活动再次投放到各个渠道上,再次评估各个渠道的注册转化率。
(2)活动
于是,除了渠道,还有活动来影响注册率。此时有两个因素来影响注册率,分别是渠道因素(有三组)和活动类型因素(有三组),所以我们用无重复双因素方差分析来做,
这里是两个因素,所以要从行和列分别去分析:
行的 F(8.46) > F crit(6.94),所以注册率在不同行(不同活动)上差异显著,并且 R2 为 0.796,属于非常显著;
列的 F(0.16) < F crit(6.94),所以注册率在不同列(不同渠道)上无差异。
所以,当我们给各个渠道投放多种类型的活动时,我们发现注册率和活动类型强关联。
(3)客群
把活动细分为三类只是精细化运营的开始,接下来你自然会想把这三类活动投放给每个渠道的不同客群,再看看对注册率的影响。
于是,除了渠道和活动,还增加了渠道中的客群(这里仅按照性别这个维度来分析)。此时每种类型的活动又针对男性客群和女性客群分别进行了投放,我们把这种情况叫作有重复因素。
有重复因素,即每个因素(活动类型)中都有两个重复值(男性和女性)。
样本是每个行中的男性客群和女性客群;
列是渠道;
交互是男性客群或女性客群,是否与渠道一起共同对注册率产生了影响。
从结果中我们可以看到:
样本的 F(10.57) > F crit (4.25) ,所以不同性别的客群和注册率差异显著,再考察样本的 R2 为 0.64,为很强的显著关系;
列的 F(0.47) < F crit (4.25),所以不同渠道的客群和注册率差异不显著;
交互的 F (0.49) > F crit (3.63),所以不同性别的客群与渠道共同对注册率差异不显著。
此时我们可以下结论:不同渠道本身对注册率影响不大,可以排除渠道自身特征的影响;但是不同性别客群的拉新活动对注册率的影响非常大,后续可以针对渠道中的不同性别投入更多的拉新资源以提升注册率。
提醒:在本文的讲解过程中,对方差分析的原理和要求做了很多业务上的适应性的假设。而实际业务的情况非常复杂,在使用方差分析前应查阅统计学的资料后,确认业务情况符合方差分析的几个条件才能使用。如果硬套方差分析的方法来分析只会产生严重误导和偏差。
总结
方差分析适用场景:
第一类:同一客群在实施某个策略前后的指标对比,以评估策略效果。
第二类:两个或多个客群对比同一指标,以评估不同客群在这个指标上的差异,以评估不同客群的指标运营效果。