大数据分析四大分析要素

　　任何数据分析过程都包括四大要素：场景+数据+工具+方法，数据分析起点必须来源于某个场景下的需求，根据需求目标（场景），搭建分析框架（方法），提取需要的数据指标（数据），用适合的工具实现，最后提炼结论，给出建议或策略。

 

　　01场景

 

　　首先，移动互联网化+传统企业转型触网使数据获取难度大大降低，其次，云存储和云计算使存储和计算成本降低，最后，人工智能和商业智能使数据价值凸显，越来越多企业愿意花大钱于数据基础建设，那么数据分析场景也越来越丰富，从行业来看，主要有互联网、移动互联网、金融、汽车、房地产和供应链等。

 

　　每个行业具体业务场景也会不同，比如同样是互联网，可以分为游戏、社交、电商、安全、新零售、娱乐、外卖、航旅、共享经济、搜索、人工智能.....，应用场景和边界不断扩展，不同场景分析套路和重点也不完全相同，但有一点，场景越丰富，数据分析岗越有必要和价值，思路和想象也可无限扩展。

 

　　02数据

 

　　百科定义：数据指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。

 

　　数据特征：变异性和规律性，变异性是指不同事件量化的数据不同，具有差异性，正是因为数据变异性，数据分析才有必要；规律性是指包罗万象的数据中，数据是有规律可寻的，从而得出有价值的结论，正是因为规律性数据分析才有价值。

 

　　数据类型：数据可分为结构性和非结构性数据。结构化数据是指可以用数字量化的，相对规整的数据，比如生产、业务、交易和*****等的结构化数据，数据分析和方法很长时期都集中在这类数据上，这块的方法和工具也相对成熟；但相比结构化数据，非结构化数据存储量更大，也蕴含着非常丰富的价值，比如合约、发票、书信与采购记录等营运内容；如文书处理、电子表格、简报档案与电子邮件等部门内容；如HTML与XML等格式信息的Web内容；以及如声音、影片、图形等媒体内容。非结构数据处理算法和方法在近几年有很大的进步，比如在图像、语音、翻译等有广泛应用。

 

　　数据简史：数据规模和存储方式在1991年之前，增长是缓慢的，之后在互联网的推动下，数据量开始爆发，2005年hadoop诞生，标志着人类对海量数据处理有了解决方案，近几年在很多学者和企业的推波助澜下，数据价值越来越受到企业重视。

 

　　03工具

 

　　工欲善其事必先利其器，工具在数据分析过程中也是非常重要的一环，下面列举些常用的工具类型：

 

　　1;笔记本电脑，电脑配置还是要高点儿，尤其是在数据量比较大的公司，如果计算内存小，很容易出现死机，严重影响工作效率。至于电脑操作系统是选择os，还是ws，建议选择后者，从电脑普及率来看是ws更高，ws分析工具更全，功能更强大；

 

　　2;基础分析和展示工具：数据分析中最常用的数据汇总和展示工具是excel和ppt，excel是最常用的数据分析工具，哪怕是在大的数据公司，比如阿里巴巴、美团、腾讯、百度，通常会先在云上把需要的指标进行初步汇总，取出放到excel中分析，excel功能很强大，除了透视汇总，图表、分类外，还有简单模型、规划求解等功能。

 

　　因此，excel是最基础也最常用的分析工具，数据分析师必须要好好掌握；数据分析完成后，通常要把成果展示给听众，ppt是非常好的选择，数据分析报告ppt不像营销同学做的花哨，形式为辅，核心是结论、信息传达，数据作为论据，如果能将数据分析报告类ppt做的很美观，也很厉害，可以参考咨询公司的报告，比如麦肯锡、埃森哲等，网上可以找到很多。

 

　　3;数据提取工具：数据提取如果数据量比较小，很多公司会有直接下载的功能，但如果数据量比较大，就需要用工具或者给专业的公司来获取了，比如易海聚就可以帮您完成大数据的获取工作，让后就需要加工了，常用的数据查询工具有sql、hive，很多大的互联网公司都是用hive，hive和sql语法有点类似，也是很多数据仓库同学必须掌握的语言，作为一名大公司的数据分析同学，hive是必须要掌握的，hive最早是谷歌搞出来的，不少公司在此基础上封装成自己的语言，加些自己的函数等，但总体语法和架构是一样的。

 

　　4;可视化工具：ppt中有些可视化的功能，但在可视分析上还不是特别专业，市场上认可度比较高的可视化分析工具有tableau、spotfire等.如果想给人耳目一新的感觉，所见即所得，利用数据实力，释放员工潜能，选择为商业智能领域带来变革的分析平台，选择Tableau是不错的选择。

 

　　5;高阶数据分析工具：如果你想用一些算法、模型解决日常的工作，可以学习R软件、python，还有传统的一些spss、matlab、spss modler等，除了这些工具外，大公司也会有自己的模型或算法平台，可以通过java、python等语言直接调取已有算法包，也可以用这些语言重新封装新的算法再使用。

 

　　市面上工具很多，但要做一名合格的数据分析师，掌握1/2/3中的工具就可以解决80%的商业分析问题，另外，20%需要高阶的工具。

 

　　04方法

 

　　数据分析思维

 

　　数据分析方法包括两个层面，一个是数据分析思维层面，另一个是套路层面，常用的数据分析思维有：

 

　　1;MEMC（Mutually Exclusive Collectively Exhaustive）——“相互独立、完全穷尽”，这个是金字塔原理中非常经典的复杂问题拆解方法，尤其是针对比较大的研究课题，可能开始无从下手，这个时候通过这种方法，可以把整体分解成很多局部模块，再针对每个模块进行可能性假设和论证，最终得出满意的答案。

 

　　2;归纳，指从许多个别的事物中概括出一般性概念、原则或结论的思维方法，每次数据分析探索可能很多维度、视角都会尝试，最终要写成分析报告的时候需要提炼核心观点，这就是一个信息归纳的过程。

 

　　3;演绎，演绎推理是由普通性的前提推出特殊性结论的推理，我们在数据分析中经常会沿用原有的经验，很多都是采用演绎的方式进行，比如28法则是人类收入分配中有这种倾向，电商卖家收入也会有这种倾向。

 

　　4;对比思维，数据分析中很多时候要回答某个结果是好还是坏，需要有具体的参考系，常用的参考系有四类，去年同期对比如何，上期环比如何，和目标比如何，和竞争对手比如何，只有通过对比才有实际的意义，否则只是陈列数据。

 

　　5;抽茧剥丝，数据分析要像剥洋葱一样，一层层往下分解，直接不能再分解，或者可落地解决为止，如果只停留在表象，会发现不接地气，数据无法真正驱动业务。

 

　　6;5W1H，数据分析不一定都要回答6方面的问题，想表达的是如何面对复杂case，要了解这个需求的前因后果，只有先做综合性的判断，才能清楚地判断需求是否靠谱，是要接着往下做，还是要放弃，很多需求是没有意义的。另外，通过5W1H方式的沟通，会获得解决方向灵感，以及判断需求所能影响的范围。

 

　　“套路”方法

 

　　常用的套路层面，需要结合具体的业务场景，比如电商流量、安全、市场营销、会员运营、销售管理等不同场景的数据分析套路是不完全一样的，下面大概讲下，后续会退出更详细的

 

　　1;流量：常用的分析方法是流量漏掉，不管是在电商、搜索、还是在社交游戏，通过流量漏斗思路，做流量转化效率优化都是这块的核心。

 

　　2;安全：安全最主要的思路是攻防（规则识别、模型识别），流程或政策优化，比如针对账号被盗这样的风险，可以在登录时增加校验流程，或者增加校验难度，也可在不改变流程情况下，提高规则、模型对异常攻击识别的准确率和覆盖度。原则要做安全和用户体验平衡。

 

　　3;成交：成交很重要的思路是从流量端做成交驱动拆解，成交金额=uv*转化率*客单价，每个指标都可以再细分，也可以从供给端做供给数量和效率拆解，再从不同维度细分，比如行业、商家类型等。

 

　　4;用户：用户主要关注的是用户粘性，和ARUP值，常用的方法是RFM，将用户分成不同类型精细化运营，终极目标是让用户离不开你，情愿花更多钱。

 

　　5;销售管理：销售核心的工作是KPI制定和分配，佣金激励，过程管理，数据分析更多是KPI制定的方法，佣金系数制定的方法，过程指标分解的方法。

 

　　6;市场营销：市场营销核心分析思路是影响面，以及投入产出比（roi）。

 

　　各行业致力于推动技术创新的企业都在考察云端分析功能。考虑到厂商提供技术的多样性，选择解决方案时，必须仔细研究评估所有相关标准，确保解决方案能充分发挥性能并带来预期的价值。