数据分析思维与实战

1、如何解决临时题述需求

2、如何搞定BAT大厂的数据分析项目

2.1 数据异常排查

最大概率法则原因分类：
1、假期效应：开学季、暑假、四大节、当地节日
2、热点事件：常规热点（世界杯）、突发热点（爆款IP）
3、活动影响：双11、618，公司层面活动
4、政策影响：互联网金融监督，快递实名
5、底层系统故障：数据传输、存储、清洗有无问题
6、统计口径：业务逻辑更改、指标计算方式更改

3、怎样才能更好地转型或成功跳槽

3.1 对上节课三个问题进行解答

Q1：流量波动，数据突然涨了怎么分析–考察分析师的经验怎么样
例子：美团外卖近期订单量突然下降5%，需要分析师给出解释并提供下一步建议。
一些经验不足的数据分析师遇到这个问题可能会盲目地检查原因，比如是否口径问题、数据存储问题、产品变化问题等等原因导致。但这样的回答都是单点分析，缺少全面性，我们看一下参考答案。
1、明确分析步骤
先对问题进行分析，数据波动多少，比如：订单量下降5%属于什么水位，影响范围有多大 属于正常波动，波动范围有多大；还是数据异常，造成的原因是什么，影响范围
如果发现对收入有重大影响，这个时候CEO都可能会关注这件事情，所以要更全面地分析原因。
Q2:常用三个App–考察分析师的思考深度怎么样
建议你回答跟应聘岗位相关的App，比如你应聘公司的产品是QQ音乐
这个时候你可以说三款App是网易云音乐、微信读书、知乎
为什么这里会说微信读书和知乎，是为了给面试官衬托你的亮点—网易云音乐
以网易云来说，能不能说下你对这个产品最喜欢的点，以及最想吐槽的点。

3.2 日常工作分析

3.3 转型四步法

4、如何挑选适合项目场景的数据分析工具

4.1 数据分析整体流程

4.2 Excel常用操作

4.3 SQL常用问题

4.4 R语言以及python脚本案例

5、多元思维模型：数据分析需要具备的四大能力

5.1 背景

到底掌握哪些能力才能成为一个好的数据分析师

5.2 中观能力

  是真正的专业度，看你是否能发现其他数据分析师在分析中的问题。这个专业度不单指你的技术，而是需要你长期总结和思考
指专业度，包括技术理解、逻辑性、价值点三个点
是反映分析师基本功怎么样、套路熟不熟练、思考到不到位的一种标准

  1、技术理解：指对分析时用到的技术理解是否到位，是停留在理论阶段还是实践阶段。为了能够更好的分析业务。多沉淀
很多同学看了很多数据分析的书籍，理论说起来无所不知，但实践过程中还是遇到很多坑
  在数据处理中经常用到数据标准化方法。
  比如常见的MAX-MIN（最大最小值）方法、Z-sore（z分数）方法、指数对数法，但这只是理论上的方法，你需要理解到数据标标准化的本质目的是去除量纲、量级的差异性才能在业务中有效的利用。
  例子：对于to B的金融公司来说，除了头部的大客户（前期资源），剩下的都是中小客户（后期拓展）大客户和小客户需按照每天的交易额来区分，所以需要我们对交易额及用户进行建模。
  这时就要用到数据标准化。以MAX-MIN方法为例，如果直接用这种方法，会造成除了头部几个数据有数值外，其他基本都是0。到与业务方沟通时，业务方leader会觉得你这个方法很有问题，数据非常稀疏，无论是可用性还是理解性都很有困难。
两个解法：①、对客户进行先分群，再用MAX-MIN进行标准化；
     ②、以90%中位数替代MAX，消除头部影响，让数据变得不那么稀疏。

  2、逻辑性：指对整体思考逻辑性是否欠缺，多思考。
  一个资讯类App的真实案例：数据分析师在研究最近一个月的数据，发现所有与留存相关的因素中，留存和自媒体文章下发的占比存在高度相关性。于是就建议业务多下自媒体文章，业务方觉得这个点很好，还真的做了，结果是刚开始几天留存微涨，后续却大跌。

解析：其实相关性是一种基于向量的伴随关系，不代表直接的因果关系（但确实是因果关系的一种可能性）
也就是说留存和自媒体文章下发的占比是一种伴随关系，而不是因果关系。留存的影响因素非常多，不仅仅是因为某一两指标就能很好地提升留存。后来发现是因为有热点事件，导致留存变高。下发的自媒体文章才会留存微涨，继而后续大跌。
分析师的逻辑性非常重要的，每一个环节的推导必须要讲究严谨性，不能有侥幸心理。

  3、价值点：强条价值，你做出来的分析价值在哪。强调你做的所有分析一定要有价值点。多反馈
如果你是决策者，你敢不敢立马规划落地。
在数据分析过程中，有些是避免不了的描述性统计，你要快速解决，切记不要耽误时间。而对于**指导性、预测性的分析，**最花时间也是价值最大，你一定要利用好有效时间找到价值点，即使这个价值点只有一个。

注意：有没有价值不是分析师说了算，而是业务方说了算，有些点很好但暂时无法落地，就先不要管它。

5.3 微观能力

微观能力指有效沟通力+快速发散收敛力
看你是否能够从业务的交流中发现问题，找到方向，很多同学都还没意识到这一点
1、针对某个问题，总是能产生很多想法，找到切入点—很有想象力
2、业务方如果遇到问题就会优先找他，而他总是能在最短的时间内给业务方一个较好的答复—有解决问题的能力
3、对于数据有更好的敏感度，能够第一个发现数据问题并给出解法—敏感度高
4、会议上，总是能提出自己独到观点，让别人觉的他很聪明—快速发现问题
5、总是能很好的知道业务在干什么，而他的视角又一直高于业务，所有人都认可—有高维视角
首先要知道业务方是怎么想的，怎么做的，然后从中发现问题或者切入点
具体来说就是具有有效沟通能力和快速发展能力
有效沟通能力：指与业务方核心人员沟通时，要从谈话中快速捕捉到有用信息（说着无心听者有意）
两个技巧：技巧1：黄金思维圈法则
在了解业务的情况下，反问业务方为何要做这件事
基本上，业务方都会有一个很具体的回答，往往都能在这里找到切入点。
技巧二：做一些准备工作再沟通
在与业务沟通中，如果没有提前准备一些业务知识和数据，整个过程就是业务在主导，你还怎么发现问题呢？

快速发散收敛能力：收敛能力基于沟通中的有效信息，快速提炼总结找到最好的分析切入点
发散：指对于某一个全新业务问题，跟业务沟通之后，分析师想法很多
收敛：在众多想法中，快速找到当前做哪个比较实际、合理，并且知道如何做的深入。
例子：预估下一年的mau和dau，时间序列，行业环境，渠道分析
渠道分析切入点更加合理：
MAU = MAU新用户 + MAU老用户
MAU新用户 = 明年渠道侧每个月能够带来的新增量多少（这个与明年预算高度相关）
MAU老用户 = MAU上月新次月老（基于渠道） + MAU上月老次月老（历史数据） + MAU回流（历史数据）
新次月老：上月新增用户次月老用户
老次月老：上月老用户次月老用户

总结：1、尽可能多地和业务方核心人员沟通
特别是业务leader沟通，有些业务leader非常优秀，看他们是如何思考理解业务的
2、多看一些心理学、社交学、经济学、记忆力类、科普类书籍，这些书籍对你微观能力的培养非常有好处
3、刻意练习，慢慢地养成习惯，一定要把心境下来做事情，相信自己一定能把微观能力培养好。

5.4 宏观能力

是洞见性的全局观，能够从社会事件和整个行业发展中找到业务的决策方向
这是极难的能力，同时平台和天赋缺一不可。
能够把当前业务与实际社会热点、行业风口联系起来，提前预判，获得更好的决策。

总结
中观能力在公司都会学习一些，只要获得一些反馈再优化即可；
微观能力特别注重平时的微观体感，所以分析时一定要有静下来的决心，注重套路的真实落地过程。从不同的业务方捕捉、提炼、沉淀，这是一个长期的训练
宏观能力，你需要关注行业内的动态，像新闻联播、财经类节目都是重要的数据源

6、电商数据分析：京东App的详细产品分析

6.1 如何看待京东App

1、引流（场）
首页作为最大的带量位，分发效率怎么评估
2、漏斗（货）
北极星指标交易额只是一个数字，更加重要的是理解这个数字转化的过程
3、用户（人）
作为一款非常成熟的App，老用户相对比较稳定，但新用户获取怎么优化

6.2 整体数据的分发效率

1、CTR：CTR = 点击UV/曝光UV，反映用户点击欲望的指标
点击UV：每天有多少用户点击进入到页面
曝光UV：每天有多少用户看到了页面

2、人均访问页面数：总访问页面数（PV）/总访问UV
总访问页面数PV:点击所有页面的次数综合是多少
总访问UV：点击页面的人数总和是多少

在这个过程中，你需要找到负责的产品跟大盘的数据关系，一般是以下三种：
1、该产品确实带来了大盘的提升
2、该产品只是在墙大盘的流量，比如该产品模块的流量在涨，但是大盘在跌
3、该产品部分在抢大盘流量，对大盘有部分提升，提升度是多少

6.3 漏斗分析

每层漏斗的影响因素（从顶部开始）
1、引流渠道，看用户是通过桌面图标打开进入搜索还是其他路径
2、搜索框搜索、热点搜索、语音搜索
3、客服、评价、店铺设计、商品属性
4、尺寸、颜色、数量
5、物流、是否只是7天无理由退货、发票、运费
6、支付方式是否多样
7、密码错误、冲动消费、界面异常、其他打断

6.4 新用户分析

拉新必然要衡量拉新效果和拉新优化
京东实际活动拉新效果内部数据我们肯定不太清楚
但是作为一名分析师，可以去看整个App在拉新上可以优化额的点
拉新如果做得好，比老用户分析更容易出成绩

7、互联网金融：芝麻信用分的建模过程是怎么样的

7.1 背景

互联网金融的本质是风控，数据分析师在金融行业基本上有两种角色：

• 数据建模师：要求对算法的理解较深，相对来说行业经验要求不是很高
• 风控分析师：除了一定模型理解能力，还需要大量的行业和法律法规经验

互联网金融与其他行业不太一样，互联网金融在产品对象上分为 to B 和 to C

• to B：对企业整体的信用进行评估做整体授信
• to C：对个人的个人信用分

无论to B还是 to C，在决策上都依赖于央行的征信报告。

工作内容：数据源，信用评分卡，模型监控维护，优化迭代，数据挖掘建模等数据分析

7.2 授信模型

以芝麻分为例 1、身份特质 ：学历，表明人本身的稳定性，长时间改变不了的特质
2、履约能力：看你消费后按时还款的能力，表示人消费的兜底性
3、信用历史：看你历史信用，表示本身的诚信
4、人际关系：看你支付宝好友的芝麻分数是不是都很高，表明身份的稳定性以及弱价值性
5、行为偏好：看你喜欢买价格高的还是价格低的，这部分数据最重要 表示人本身的当前信息对产品后续决策有很大的价值

原始变量：直接存储在数据库的基础变量 如：每天交易额
衍生变量：在基础变量的基础之上进行的，因为金融的本质是风险
时间维度衍生：最近一个月交易额，最近三个月交易额
函数维度衍生：最大交易额，最小交易额，交易额方差
比例衍生：最近一个月交易额/最近三个月交易额

在选择变量的时候，基于RFM原则:最近，频次，钱，所有跟这三个有关系的变量先进行保留

数据处理、数据建模都是为业务服务
真实工作中，数据处理和数据建模会慢慢迭代，优化
所以在前期的数据处理不会很复杂，一般分为三种：

• 数值型和字符串型字段的缺失和合理性检验，剔除无效字段（50%以上即可去掉）
• 数值型字段的相关性验证，因为在前期，所有的字段都会拿出来，有很多的变量相关性非常强，但是这个对于模型训练没有帮助，因此把相关性强的现过滤掉。后面我会单独讲相关性规律怎么做
• 对字符串型字段的离散化处理，比如：前面的身份特质，你的学历是高中还是博士，这样的字段不是数字型字段而是字符串型字段。

数据建模：
在建模前需要进行一些思考
芝麻信用分有5个维度：身份特质、履约能力、信用历史、人脉关系、行为偏好
5个维度在不同时期的权重也不一样，所以每个维度都要单独建模

综合芝麻分—综合概论—5个模块各自的概论加权—每个模块的逻辑回归模型—每个模块的训练集合测试集

7.3 模型落地

8、游戏：游戏行业的ROI和付费率是怎么算的

9、销售：传统行业如何做好交易额提升

10、指标体系搭建：指标体系的经典四步

10.1 指标体系的定义以及选取原则

令人不悦的两种情况
1、对于某核心数据，如日活，只知道数据在变化，但是不知道为何变化
特别是处于一个大跌幅时，产品为了解释这种现象，就会向数据分析师要各种维度的数据
2、每隔一段时间，产品都会拉上数据、研发一起对埋点，总是 觉得当前字段不够用，底层日志越来越大，数仓修改也越来越多，取数越来越慢，错误越来越多

根本原因都是在与缺少指标体系的建设，宣贯（宣传）以及实施

业务方不重视指标体系是感觉指标体系是基建活，离完成KPI太远，只有出问题时才会临时重视
数据方不重视指标体系是因为这是一个吃力不讨好的工作，做好了可以，做不好就背锅
甚至有些分析师认为，指标体系只是一个思维导图而已。

指标体系是在业务的不同阶段，分析师牵头与业务方协助，建立一套能从各个维度反映业务状况的框架。
1、在业务的前期、中期、后期，指标体系不一样
2、一定是由分析师与业务方协助，而不是闭门造车
3、从各维度反映业务的核心状况，指标有很多维度
4、最后就是一个大实施框架，一定要实施，否则就是浪费大家的时间

指标选取时要注重几个原则：根本性、可理解性、结构性
1、根本性 对于核心数据一定要理解到位和准确，如果这里错了，后面基本不用看
2、可理解性：所有指标要配上业务解释性，如日活的定义是什么，是产品的打开还是内容的点击还是后台进程在就行
3、结构性：能够充分对业务进行解读，如新增用户只是一个大数，还需要知道每个渠道的新增用户、每个渠道的新增转化率、每个渠道的新增用户价值等。

10.2 建立指标体系的四个步骤

1、原子性指标：最基础的不可拆分指标：交易额
2、修饰词，可选某种场景：如搜索
3、时间段：时间周期，如：双11
4、派生指标=1+2+3 ：双11这一天通过搜索带来的交易额 次日留存、日活、月活、日转化率
在做数据仓库时很有用

步骤：
第一步：厘清业务阶段和方向

• 第一阶段业务前期 流量，围绕用户量提升做各种拆解，如：渠道
• 第二阶段 业务中期：看产品的健康度，优化当前用户量的结构 如果留存偏低，必定和产品模块有关系，是不是某功能流量承接效果太差
• 第三阶段：业务后期 看变现能力和市场份额 收入指标以及各种商业化模式的收入，做好市场份额和竞品监控，防止后来者居上

第二步：确定核心指标：重要的是找到正确的核心指标
某款产品的日活口径是打开App，通过不断买量、外部刷量，日活也一直在上升
业务方觉的挺好，但分析师发现，打开App的用户中，3秒跳出率达30%，这非常不健康
这说明当前的核心指标（日活）有问题，更好的核心指标是停留时长大于3秒的用户数。

第三步：指标核心维度拆解
核心指标的波动必然是某种维度的波动引起，所以要监控核心指标，本质上还是要监控维度核心指标
通用的拆解方法是先对核心指标进行公示计算，再按照业务路径或者业务模块进行拆解
比如当前的核心指标是停留时长大于3秒的用户数
那么停留时长大于3秒的用户数等于打开进入App的用户数乘以停留时长大于3秒的占比
停留时长大于3秒的用户数=打开进入App的用户数*停留时长大于3秒的占比

第四步：指标宣贯、存档、落地
宣贯：很多人忽略了这一步，往往是和业务核心人员沟通好之后就直接开始键报表，实际上搭建好指标体系后，要当面触达到所有相关的业务接口人，最好是开会并邮件
存档:同时要对指标的口径和业务逻辑进行详细的描述存档，如某功能日渗透率=该功能的日点击人数/日活，只有到这一层面，后面的人才能一眼看懂口径的意思
落地：落地就是建核心指标的相关报表，实际工作中，报表都会在埋点前建好，这样一旦版本上线就立刻能看到数据，同时这时各方的配合度都很高。

10.3 知乎App指标体系实操

第一步：厘清业务阶段和方向
知乎当前是处于业务发展期和成熟期之间，有两个论点
1、当前知乎的业务在一个快速调整期，内容向娱乐大众化转型
2、商业化进行较大的探索
比如有一个“大学”模块，模块里面包含一些付费课程，但在这一块做的不是很重

知乎的主界面没有广告，如果该业务处于一个比较成熟的阶段，这里面会掺杂很多广告。
实际工作中，判断业务发展处于什么阶段，看明面上的业务规划得到答案。。

第二步+第三步：确定核心指标以及拆解核心指标
以首页的“推荐”为例 最重要的指标的问答数

问答数=提问数+回答数=提问人数人均提问数+回答人数人均回答数
评论，点赞和产品的健康度无关，是二级指标。评论，点赞比较多的原因是回答比较精彩。这是一个相关性问题，而不是因果性关系。

核心指标以及指标维度拆解确定好之后，下面就是第四步—宣贯、存档、落地建表
宣贯：拉上产品和研发开会议过流程，产品（负责使用）、研发（负责打点）
存档：对不太好理解的指标要进行单独的解释，比如什么是日活，具体操作是怎么样
落地：确定好打点之后，就要建表、确保数据第一时间出来，能及时发现问题。。

总结：指标体系本质上是业务人员和分析师的逻辑性怎么样，这个非常重要
不同业务阶段指标体系不一样，核心指标一定要正确
核心指标的拆解通用模式都是先公式拆解，再按照业务模块、路径来分
指标体系的宣贯和存档工作必不可少。

11、流量分析：如何分析数据波动

11.1 背景

建立产品指标体系和报表之后
分析师和业务方最重要的事情就是每天看各种数据，而这个看数据的过程就是流量分析
这里的流量指广义的流量，并不一定单指日活，是指所有的流量
比如用户从哪里啊，经过什么过程，产生什么价值，，如果流量波动了，为何波动

从流量分析的定义来看，可以分为以下四个部分
渠道分析–从哪来
转化分析–经过什么过程
价值分析–产生什么价值
波动分析，包括日常的监控分析

11.2 渠道分析

1.常见渠道及渠道分类

1、常见渠道

内部渠道和外部渠道都是为了拉新和拉增使用。

2、渠道分类

1、量级少，质量高，这部分需要扩量，在扩量的基础上仔细观察数据
2、量级多，质量也高，说明该渠道比较好，加快变现能力
3、量级多，质量不太好，这说明内容与用户不匹配，交互有问题，需要拆解，精细化运营
4、量级少，质量也差，可以放弃

所有的分析都是先分析一级渠道，然后在此基础上进行拆解，比如：一级渠道的A渠道留存很差，对A渠道进行二级渠道拆解，看所有的二级渠道差，还是部分二级渠道差。好与差都是相对大盘来说

2.渠道推广的整个过程

渠道推广：是从推广的部分地方，到用户能够下载该产品。

3.渠道的关键指标及分析方法

1、关键指标
前期看有效用户数和次留，中期看次日、7日、30日，后期看ROI
要注意由于渠道是收费的，所以有效用户数会有刷量的嫌疑，所以除了看直接量级，还要看有主动行为的用户数，比如上节课里面的停留大于3秒的用户数
所有渠道最终的目的还是商业变现，所以一定要计算每个渠道的ROI，及时把ROI小于1的渠道砍掉。

2、分析方法包括结果分析、趋势分析、对比分析、作弊分析

• 结果分析：先按照一级渠道来拆解，再按照二级渠道来拆解
• 趋势分析：需看每个渠道的变化趋势，包括量级和留存
• 对比分析：不同渠道间的趋势对比
• 作弊分析：包含用户行为分析和机器学习，这块可以用python来完成

11.3 转化与价值分析

渠道转化与价值的分析，分为两个点：1、漏斗分析 2、功能模块分析

1.漏斗分析

如果要提升某一步转化率，要从用户的基础属性和行为属性来细分
基础属性包括手机品牌，地域，imie特征
比如提高主界面到店面页为60% 要进一步细分，比如安卓手机和华为手机各自转化率是多少；2、华北，华南，华东等地域的转化率是多少，按照这种基础属性，最后可以拿到用户的基础画像，当这照这些维度去拆解，更能精细化运营。
行为属性包括入口、时段、用户活跃度、用户标签
入口：用户是通过桌面入口；弹窗；外链；进入的页面；
时段：早、中、晚的用户量级；
用户活跃度：用户活跃度的区分，不活跃的老用户被激活后的观察。

2.功能模块分析

功能模块的常规分析：
用户进入主页面后不一定走漏斗，因为用户还可以使用各种各样的功能，对功能模块来说，往往看这三个指标：
1、功能渗透率=功能用户数/大盘用户数（使用某功能用户在大盘的占比）
2、功能的功能留存率：第一天使用该功能同时第二天也使用该功能的用户数/第一天使用该功能的用户数
3、功能大盘留存率：第一天使用该功能同时第二天是大盘用户数/第一天使用该功能用户数
功能留存：指第二天还要使用该功能
大盘留存：第二天只要打开APP就可以
大盘用户：所有功能用户排重+不使用任何功能用户，对于不使用任何功能用户也要监控起来

衡量功能的真正价值有三个指标
1、功能核心用户数：有多少用户是这功能的核心用户，它的定义是符合某种要求的功能用户数
一般用使用次数、使用时长、使用天数、具备某种行为来定义“核心”
2、功能对大盘贡献度，比如对大盘留存提升的贡献
功能A对大盘留存的提升贡献=功能A渗透率*功能A的大盘留存率提升数
注：严格来说只有做A/B测试才能说明功能对大盘的贡献度，但是实际上不可能所有的功能都做A/B测试，所以这种测试可以对不同功能做横向对比
3、功能带来的收入对比：每个功能每个月赚多少钱
每个月收入数/功能用户数

功能对大盘贡献度的例子:

1、产品的每一次决策都要基于逻辑性很强的数据证明
“我觉得”这种词没有任何说服力，很容易被挑战，先有数据再有结论，不要先入为主
2、每个产品经理都有自己内部的指标
但必须要去衡量你当前做的事情对大盘KPI的贡献度，只有大盘好才是真的好
3、敢于说真话，实事求是一没做好就是没做好，关键是你接下来怎么做，当前有没有找到真正问题

11.4 流量波动逻辑性分析

常见的流量波动逻辑分析包括：日活、留存

1.日活

日活波动受外部影响和内部影响
外部影响：行业变化、竞品活动
内部影响：数据统计、用户基础属性、用户行为属性
数据统计：数据采集、口径
用户基础属性：用户从哪里来，通过什么方式进入、渠道、入口、画像
用户行为属性：用户进来干了什么。

2.留存

留存波动包含新用户留存和老用户流程
新用户留存与渠道和渠道过程有关
老用户留存有两个影响因素：核心功能用户留存、非核心非功能用户留存
核心功能留存可以进一步细分：核心功能A留存+核心功能B留存+核心功能C留存

假设留存下跌，会出现以下情况：
1.A、B、C中有1个留存下跌，这种情况最好解释，直接解释由于谁下跌即可
2.A、B、C中有两个以上留存下跌，这要看其中谁是主要下跌因子，找到它
如果下跌幅度都差不多，则需进一步观察
如果还是持续下跌，必然是产品某核心部分出问题，围绕指标体系做一次产品全盘分析，找到它
如果跌了几天之后回去了，可能跟外部影响因素有关，暂时不管

总结：
渠道分析–渠道的整个过程和分析方法
功能模块价值分析–漏斗分析、功能常规指标和价值指标分析
流量波动逻辑性分析–一定要有逻辑性，在过程非常严密的基础上得到正确的结果

12、路径分析：用户的使用路径网络分析

12.1 路径分析定义

漏斗模型是非常经典的一种分析方法 ，但所有的漏斗都是人为假设的 ，也就是事前假设一条关键路径，事后看关键路径的转化数据

随着各类APP的功能模块、坑位越来越多，用户的行为越来越分散化 ，比如：很多APP不止有一个核心功能，可能有若干个核心功能
要在用户的所有操作行为中发现产品设计之初可能不知道、但非常有意思的用户前后行为-路径分析
路径分析是基于数据本身发现的，产品可能不太清楚，但是符合用户习惯的路径（世上本没有路，走的人多了也就成了路。

漏斗分析 ：人为设定一条或者若干条漏斗。先有假设再数据验证 （先设计路）
路径分析：基于用户的所有行为，去挖掘出若干条重要的用户路径，通过优化界面交互让产品用起来更加流畅和符合用户习惯，产生更多价值 （不设计路，先让用户体验，走的人多为路径）先有数据再验证假设

日志介绍
路径分析实际上都是基于底层日志来做。用户在端内(APP内)，所有的行为都是以表或者文件存储的 其中记录了用户最详细的行为信息，这就是日志。

日志分析步骤
1、筛选——筛选出重要功能（根据用户的量级来评判，找出功能，切入点）
2、日志关联——对筛选出的功能进行时间序列的排序（对于用户来说，一天有多个功能，功能的先后顺序是什么样子）
3、标准化及画图——让第二步更加可视化以及标准化
4、启发——看有没有比较有启发性的路径

12.2 路径分析案例——以美团APP为例

日志分析步骤
筛选结论：
1.“美食”“外卖”“搜索”三大功能：需要进一步看之后用户路径，这里就以美食为例
2.“附近”作为底部第二button ,存在什么问题？可以如何进一步优化？它的渗透率只有18%，比订单还低
3.“发现”作为底部第三button ,用户感知度太弱，如何定位该功能价值？ 丝毫不怀疑可能产品想往内容这一块转，但是当前发现的渗透率只有3%
4.“订单”功能作为底部第四button,渗透率竟然有20%，表现很好，用户进来后干什么？如何进一步优化？
5.“我的”作为底部第五button ,有8%的渗透率，比较好奇用户进去后千啥

用户路径

2、附近

4、订单

12.3 路径分析思考

1、路径分析都是以功能点的时序整体分析为主，只有指标没有维度 ，而要想精细化运营，必须要进行维度拆分。如通过不同入口，通过桌面或是通知栏进来的用户，他们的路径分析差异在哪？这就涉及做逻辑分析的时候要进行维度拆解

2、对于有些APP,比如携程旅行、小猪短租 用户可能在今天打开APP后逛一会儿，然后就走了，过一周后再进来才下单 对于这种用户一天不连续路径，如何进行分析呢？ 这是一个行业难题，没有很好地解决 无论是进行周期时间段的session 分析，还是短期画像的分析，效果都一般

3、PC端的路径分析和APP端的路径分析最大差异在哪，同时PC端有没有案例 。一定要去多体验一下美团APP,前面提到的美食功能的几个路径以及画图，还有附近、订单等

13、竞品分析：教你如何做竞品分析

14、营销活动：日常运营活动的分析模板

15、用户增长：用户增长的本质是什么

15.1、用户增长模型

AARRR模型-比较适合拉新的模型
获取(Acquistion)，激活(Activation)，留存(Retention)，变现(Revenue)，推荐(Referral)

先把产品打磨好，运营服务好，然后在留存的基础上进行变现，挣钱后再投入到渠道去拉新，更加靠谱。

首先考虑变现
产品能带来多少收入，净利润是多少
随着资本越来越理性，普遍会从流量思维切换到ROI思维。

工作中很多人做产品或者做数据分析时，都会看网上的模型
一直都在往某一套模型上去套，最后效果也不是很好
建议不要纠结模型，不要指望通过数据分析突然找到一个很厉害增长点，带来大量用户增长
有大腿可以抱，一定要坚决抱大腿

15.2、国内用户增长现状

书籍：《增长黑客》、《增长黑客实战》、《引爆用户增长》
大会:growingio大会

看似很管用，但落地很难，导致用户增长效果不好的方法
魔法数字
假设一个用户阅读篇数超过3篇，留存将大大提升
基于这个数据，产品就会想让所有用户阅读篇数超过3篇，这个结论没有问题，但是在落地时却非常困难 因为这本身是用户的一种很主动的行为，单独让阅读篇数小于3篇的人多阅读，本身就非常难
如果做一些活动让他们多去做一些其他行为，到后来你会发现这些用户会流失

优化渠道结构来提升新增用户留存
数据分析师想要优化渠道结构，也很难
因为用户量大、质量高的渠道总是有限，其实渠道人员在开始的时候就一直在想这件事 并且渠道链路非常长，很多因素控制不了，反馈周期也需要很久。
如果真的想通过渠道提升新用户留存，最直接的方法就是把低质渠道给砍掉。

流失用户召回
经常看到很多人进行流失用户分析，然后通过一些手段召回
因为召回的手段很有限，除了Push也没有其他手段，Push还经常被用户吐槽
与其把精力放在召回，不如放在分析用户流失原因上

两种用户增长思维的指标：
北极星指标一定要找到最核心的指标
做产品时，北极星指标一定要找对，找到后需对北极星指标进行拆解 拆解后的指标需与每个团队的KPI挂钩
如果每个人都能够知道自己做的每件事是正向还是负向，那KPI完成程度就会很直观

A/B测试：目的是公正性和快速反馈性
A/B测试有两个原则：
1.要基于数据分析来做A/B测试
2.A/B测试不只是看结果数据，还要看过程数据，排坑是第一步

15.3、增长案例解析

《增长黑客》两篇干货
1、结合Uber和摩拜的实战经验，总结用户增长怎么做？
2、滴滴用戶增长的逻辑

新用户注册流程里，我们用Growing .io看每个页面的流失漏斗。看明白 以后，决定砍掉了引导页，把之前四步的手机验证、押金、身份证、邀请改 成三步。押金放在身份证验证之前是一个非常妙的设计：对用户来说，几百块押金都交了，隐私还算啥？所以这一步转化率非常高。
刚才说的都是已经安装好app的情况。放在实际的使用场景来看，转化率影响更大的步骤是下载安装。都在户外，流量不富裕，看到跳转Fapp store,很 多人就关闭了页面。于是摩拜第一个做出了微信小程序，并且在小程序里复 刻了改版的新用户流程，转化率进一步飙升。这个渠道有多夸张呢？有半年 的时间里，腾讯告诉我们，小程序上所有量超过50%来自摩拜。

结合方法论，分析总结如下
1、其实通过漏斗模型很容易发现引导页问题
2、身份证和押金的前后顺序是产品设计层面，本质上就是A/B测试
3、转化率漏斗实际上很长，同时还要做各种维度拆解

留存和活跃

增长是透明的，也是保密的
对于一款产品来说，找到自己产品的增长方法论才是内功
这就需要对产品非常了解，而不是靠奇技淫巧

总结：
1、不要玩概念，要独立思考和辩证性思维
2、与其关注别人，不如多研究用户数据
3、学习他人的优点，套用到自己身上来
4、分析师要多看产品、运营的书，所有的分析增长都要靠产品、运营闭环
5、只有成体系才是可传播、可继承的

16、问题定义和拆解：如何去定义问题，拆解问题

17、数据获取和分析：常见的SQL技巧和分析方法

17.1数据获取前期准备

一般在正式写SQL之前，要花1天时间做以下几件事：
1、了解清楚业务方和研发说的是哪张表、哪份日志
2、了解这些表和日志的筛选条件是什么，为什么要这么筛选
3、了解这些表和日志之前有什么坑，是不是哪天数据有缺失
4、验证现在是否有坑：select*,先跑一个核心数据看下

SQL提数常见问题
提数的最终目的就是为了分析
SQL提数看似很简单，但往往会因为其他事项而比较花时间：
1、被各种各样的其他事情打扰
2、遇到一些坑需要思考
3、突然找到一个新的点，就一直往下深挖
4、自己本身不会提数和分析，不知道如何看数据

时间管理上具体可以给你以下建议：
1、早上时间一定要利用好，早点到公司
因为下午大部分都有会，会议的时间也不太好控制，所以早上时间一定要利用好
2、提前了解好会议主题，不要别人拉你去参加一个会，你傻乎乎的直接去了 到了之后发现这个会议好像跟你没啥关系，然后走也不太好走，所以一定要先确定是否必须参加
3、中间所有进来的插队需求，先靠边站
4、利用晚上回家时间、周末时间在这件事上多下功夫，专注去做事
一旦专注之后，其实别人也不太好意思打扰你
踩坑之后，要总结，观人阅事

17.2 SQL提数常见问题

如果突然找到一个新的点，或者说突然很纠结某个点
一定要跳出小的圈子，最重要的事情是先把问题的拆解模块做完

1、先聚合再计算
如果要计算某个维度下的用数，不要直接icount (distinct imei)
而是Select city. count (1) as uv from( select city. imei. count( 1) from a group by city imei) group by city
2、一列变多行
Ab测试中会对一个用户打很多标签，而这些标签都是存在一个字段中，所以要看标签维度指标，就要对该字段进行列变行拆解
Select , b from tl Lateral view explode (a) table as b
3、取TOP
要看某分类下的top10消费額子分类（金額一致就并列）
Select, rank () over (partition by a order by b desc) as rank from table tl

17.3 常用的分析方法

1.结构分析

2.对比分析

所有的数据只有对比才有意义
实际工作中，最常见的对比对象就是大盘，比如新上线一个功能，怎么样评估这个功能效果？
除了看功能使用人数，更加要做的是这个功能的留存和大盘的留存对比。

3.时间序列分析

一般看某指标时，都会把时序周期拉长，看数据趋势，而数据都是波动的，所以都会进行拆解分析，寻找具体波动项

4.相关性分析

5.机器学习

17.4、总结:

Who:指用户基础属性、用户画像
Where :渠道分析，渠道入口，用户从哪里来
when时间上的特征
What:用户使用了什么功能，哪些行为更加重要
Why:为什么要这么做，用户是主动还是被动做的
How:怎么做的，行为路径是什么

提数和分析完成之后，不要急着写报告
要先把一些关键数据和初步结论同步给业务方核心人员，约个时间一起看下 目的是看他们怎么理解这个数据，有无明显问题
另一个是他们基于这些数据结论，准备怎么落地，需要他们提前想方案
在这个基础上，再去撰写报告。

18、报告撰写:专题报告的完美标准化格式

18.1、报告撰写的原则

报告撰写有很多原则，但这三个原则，如果你把握好了，基本上没什么问题
1.主题一脉相承分叉：只有一个主题，每页PPT都是围绕这个主题来分叉展开
2.通俗简单易懂：数据分析师的报告一定要简单易懂，文字要偏大白话
3.结论和闭环先行：要有分析结论，且落地性强

主题一脉相承分叉
常见两种问题
1、专题报告没有主题
通常在报告中，这里写点，那里写点。给别人看时，别人觉得有问题，但也说不上来 如果你写的报告没有主题，那肯定是因为你对专题报告的需求没理解到位
2、专题报告有主题，但是写的逻辑有点乱，这是因为本身思维不够严谨，受到的指导太少
解决办法：看别人报告是怎么写的，一页一页去斟酌

通俗简单易懂
数据分析师一定要让别人听明白你的报告
不管你是业务数据分析师，还是偏研发、偏算法的数据分析师，最终都是服务于业务 即使你不阐述PPT,也要保证业务方能看懂，否则就是给自己挖坑
一个数据分析专题报告，如果跟你最熟的业务方都理解不了，那对于其他人来说绝对是天书
解决办法：看产品经理日常怎么写报告

结论和闭环先行
PPT一定要有数据结论，以及在这个结论的基础上，业务方准备怎么做
注意这里是真的准备怎么做，而不是你给的建议怎么做
数据分析用来决策而不是建议，确实很多人写专题报告还没有达到这层面
解决办法：跟业务方多沟通数据结论，让他们给出落地项，而不是你建议怎么做

18.2、报告的组成部分

• 标准化的专题报告包含哪几个部分呢？
• 背景：为何要做这份专题报告，即问题的识别
• 分析结论：如果是面向管理层的汇报，结论可以先行
• 分析框架：即问题的拆解，往往这里不需要很细（思维导图）
• 第一个关键点结论
• 第一个关键点的支撑数据依次摆放
• 第二个关键点结论
• 第二个关键点的支撑数据依次摆放
• 整体结论：这里把结论再汇总一次
• 落地项：产品是怎么落地的，要非常具体（时间、人、预期效果）

如何衡量专题报告的价值。
在所有的数据结论和落地项当中，只要最后有1-2真正落地了，就非常有含金量。

18.3、报告点评示例

应该遵循结论和闭环先行原则：
基于什么数据
发现什么结论
基于这个结论的建议是什么
基于这个建议的产品落地项是什么

对于如何写好专题报告
建议你平时多看优秀的专题报告，重点是把自己带入到场景中 比如推给你一篇文章，你看的时候一定要把自己带入到场景当中去思考 思考文章作者说的到底有没有道理，思考作者的见解，文章的架构
每写一次专题分析，一定要获得他人的反馈

19、A/B测试：AB测试的效果监控

19.1、A/B测试介绍

概念

整体流程

A/B测试的整体流程一般是分为以下几步：
1.根据数据分析得到某建议项
2.有了建议项之后，产品经理直接就落地了吗？并没有，落地一般要通过A/B测试
3.根据某落地项，研发和设计人员进行开发设计（往往是先设计，然后再丢到A/B测试平台里面跑数据）
4.研发人员数据采集，这一步现在基本都是自动采集数据，所以一般不用管
5.分析师跟进A/B测试效果，当显著性在95%以上并且维持了一段时间，实验就可以结束

整体节奏要按照灰度、5%、10%、20%、50%、100%来控制
灰度通俗讲就是小版本
比如一个千万量级的Apple ,灰度代表5~10w这样的一个水平

常见的两种A/B测试类型

实际工作中的问题
严格模式下，所有的专题报告落地项（除了明显的Bug修复和明显的用户体验）都要靠A/B测试展开
举个例子：
2个月前，产品上线了短视频功能
2个月后，大盘略涨（之前是略跌趋势）
短视频和非短视频的数据增加也明显
现在短视频业务方希望分析师能量化出——大盘的上涨主要是因为短视频带来的

19.2、A/B测试注意事项

站在数据分析师的角度去看，A/B测试时要注意以下事项：
1.A/B两个组是否真的相同
2.策略是否生效
3.A/B测试评估指标体系
4.多观察几天数据
5.A/B测试的存档规划——方便后续找增长点

站在数据分析师的角度去看，A/B测试时要注意以下事项：
1.A/B两个组是否真的相同
A:001 00 2003 004 005
B:001 002 003 004
C:001 002 003 004 006
D:X Y 001 002 003 004
A、B、C可做A/B测试
2.策略是否生效
工作中常见这种现象，产品经理根据分析师的专题报告落地项，然后进行某个A/B测试，研发也进行了A/B测试，最后发现效果不明显 此时所有人都觉得X优化项没用，也就没有多去做更多尝试。
数据分析师要对X进行测试，有没有明显问题。
3、A/B测试评估指标体系

4、多观察几天数据（4-10天）

5、A/B测试存档

19.3、A/B测试案例

海报案例——不同地区爱点击的海报不同
广告位放哪更适合用户体验

案例思考
A/B测试涉及到设计师、产品经理、数据分析师三方
设计师：一定跳出传统的设计思维，在这个基础上，要多去看一些A/B测试增长黑客的书
产品经理：光凭直觉是不靠谱的，A/B猜测的闭环能够让我们去更好地理解用户
数据分析师：大多数改动都不会带来大幅效果的提升，A/B测试的效果往往都是略好，所以要持续迭代。如果出来上涨30%，观察是否数据出现错误。

20、行业分析：行业分析及框架分析

21、数仓：数据仓库的三种类型表

22、用户研究：用户研究和数据分析的根本联系和区别

23、时间管理：优秀的数据分析师如何做时间管理

24、结束语：数据分析师职场提升的关键点