3.3策略PM如何做效果回归

课程截图

效果回归作为策略产品工作循环的最后一步，不仅仅是结束，更是新产品问题的开始。

一、什么是效果回归？

无非是要回答三个问题：

课程绩图

二、如何做效果回归呢？

也是用到了策略工作的基础方法论

课程绩图

效果回归五步法：

第一步：明确预期：产品/项目目标是什么

第二步：指标体系：该目标可以用哪些数据指标来衡量

第三步：确定上线方式

第四步：收集第二步的指标，看是否达到第一步的预期

第五步：分析问题，产出结论

1.项目启动前

课程绩图

建立指标体系

回答三个问题

1）问题和目标是什么：找到核心指标

2）解决问题和实现目标的关键路径是什么：找到过程指标

3）新的路径伤害了谁：找到观察指标

2.开发上线

课程截图

1）全流量上线

如果核心/过程/观察指标仅与本项目有关，评估效果很好、希望尽快上线拿到收益时，可选择全流量上线

回归方法：实验期同比上个时间周期，变化了xx%

2）小流量上线

如果核心/过程/观察指标变化可能受项目外的因素影响，或者项目效果存在一定不确定性时，尽量选择AB test

回归方法：实验流量比基线流量，变化了xx%

注意：

抽样方法是否足够随机。

样本集合是否有天然差异。

先进行流量空跑，避免问题。

3.上线后

课程截图

课程截图

三、效果回归案例

课程截图

1.项目启动前指标拆分

1）核心指标

产品目标：降低用户输入成本

核心指标：用户输入时间，预期降低2秒

2）过程指标

课程截图

用户输入效率的影响因素：sug展现的比例，在哪个输入长度下展现，是否被用户点击

过程指标：sug展现率、平均输入长度、sug点击率

3）观察指标

sug改动对输入流程的影响是可控的，对输入后搜索体验的影响是不确定的。

（某种程度上，sug起到了推荐的作用）

观察指标：sug输入query的搜索结果满足度

2.开发上线

选择上线方式

小流量上线：实验组、对照组各10%流量

3.上线后回归

核心指标：降低了1.2秒。有收益，但是低于预期。

过程指标和观察指标：

平均输入长度变短，符合预期；

sug展现率变低，点击率没变化，与预期不符；

并且sug输入query的搜索满足度降低，用户体验差。

需要进一步分析问题！

分析后结论：

1）性能有问题，导致长词汇（多term）sug的加载过慢，拉低了平均展现率和使用率。

需要启动性能优化项目

2）在一些热门候选词上做了需求扩展（欢乐颂2剧情介绍），对应的搜索结果质量变差

需要联合搜索排序（基础rank）部门优化效果

四、总结

效果回归是决定一个产品循环终止或再开始的枢纽。

整个工作贯穿项目前后三个阶段；项目启动前对策略目标和过程的深刻剖析是效果回归工作最关键和重要的部分。

---

以上为三节课策略产品课程个人学习笔记。