数据分析入门方法论

关于数据分析，最重要的是思路和方法论，无论是什么工具，最终的输出无非就是：

有价值的结论（对应分析报告）

有价值的决策过程（对应机器学习模型）

从提出问题入手，例如流量、留存率、新增用户为什么发生变化，练习如何解决问题：

你会提出哪些假设？

如何验证这些假设？（统计方法）

如何取数？（SQL / Hive / Spark）

如何清洗和整理数据？（R / Python Pandas / PySpark）

如何可视化？（Excel / FinBI / R ggplot2 / Python matplotlib / Spark Zeppelin）

以怎样的方式展示给非技术人员？（PowerPoint / Tableau / FinBI / iPython Notebook / R Markdown）

如何提出假设？

问题的发现常常是基于常理或者过往经验，所以提出假设的方式大多也是从经验事实出发。比如根据你研究问题的需要，你需要验证哪个需求结论，以及你自己也可以提出基于事实层面上的基本假设。例如用户（UV）上升，但是流量反而减少，UV一般是跟随着流量成正相关的。所以这里不是流量这块除了问题就是用户这边出现新情况。

假设是流量的问题，流量来源于渠道，是否是减少了某些效果差的渠道而专注于一些优质渠道，带来了这样好的结果。

如果是用户问题，用户数的增长是新用户还是老用户带来的，如果都有，各占多少分成。

当然，还得排除一些技术问题，是否是统计口径出现了问题。

如何验证这些假设？

将每一种假设都列举在纸上，每一条都细分，根据主题的类似性做出分类，同一类型的假设，按照可能性依次排列，建立金字塔模型。同一层级划分维度，比如时间、地区等其他属性，构建模型。

如何取数？

SQL是最基本的数据库语言，无论从什么数据库、数据仓库、大数据平台取数，都需要掌握。

Hive和Spark都是基于大数据的，Hive可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计。

清洗和处理数据

没有高质量的数据，就没有高质量的挖掘结果，有时候分毫之差就会影响结果的判断。原始数据出现不一致、重复、不完整（感兴趣的属性没有值）、存在错误或异常（偏离期望值）的数据。这些都可通过

数据清洗：去掉噪声和无关数据

数据集成：将多个数据源中的数据结合起来存放在一个一致的数据存储中

数据变换：把原始数据转换成为适合数据挖掘的形式

数据归约：数据立方体聚集，维归约，数据压缩，数值归约，离散化和概念分层等

可视化&展示

分析的结论要用合适的方式表达，可视化工具是最后一步也是不可或缺的工具。

如果使用常规Excel或者传统报表工具，可以将做成的图表贴至PPT中，涉及Excel的高级功能，就需要学习VBA和数据透视表，但Excel适合已经处理好的成品数据。一旦涉及大数据量或频繁链接数据库，一些带有接口的数据可视化工具或报表工具就比较适合。

在可视化方面，Tableau值得尝试，即使只有15天试用期。FineBI不可错过，号称中国版的tableau，在可视化方面并不逊色，大数据处理能力还略有优势。

R集统计分析与图形显示于一体，热衷技术的可以学习。

最后，从提出问题到输出结论，你可能使用各种工具，但是结果往往是交给非技术人员评价的，所以最后一步的可视化很重要。