数据分析到底是做什么——读深入浅出数据分析有感

数据分析到底是做什么？

什么是数据分析？最近每每都是听到数据分析很牛，但是什么是数据分析呢？数据分析的前提是要用来解决问题，所有与决策无关的数据分析仅仅是描述数据而言，没有任何帮助，数据分析的目的就是用来决策的，尽管可能是错误的假设，那么也要通过AB测试或者其他假设检验方式判断是否正确，整个流程都在数据分析的范畴中，就好像是用数据做一个社会性的实验一样，必须要有问题和结论。

数据分析的步骤

书中将数据分析步骤划分为5个步骤

• 了解：了解问题产生的业务背景，产生原因，所涉及到的能收集到的定性或者定量数据以及不能收集到的专家经验判断。
• 确定：确定需要解决的问题是什么，确定所需要的数据有哪些
• 分解：分解问题和数据，必须要对问题和数据穷尽原则的分解，从一个小问题小问题来对应到数据，并归纳总结为一个结论或者假设的决策方案
• 评估：对分解得到的结论和决策方案放入到实际情况下，评估正确性
• 决策：给与一个可以实施的结论或者决策

数据分析并不是线性规定的流程，而是个不断循环迭代的过程，一旦开始就没有所谓的结束，应该市场和数据都有一个时效性，决策也有个时效性，必须不断迭代更新.
大部分其他书籍中将数据分析步骤分为六个步骤：明确分析目的和内容----->数据收集----->数据预处理----->数据分析----->数据展现----->报告撰写，对应着应该是上面确定和分解两个部分，报告撰写不是目的，我们要牢记数据分析的目的是解决问题，所以对评估和决策这两步也要把控到位。

如何评估？

• 这部分书中有用一章实验来描述如何对分析的结果进行评估，就像我们做科学实验一样，都是要去除样本集中影响因子，确定实验集和对比集，这样才能有效评估。
• 二是用伪证法，当策略多而杂乱的时候

如何分解？

• 我们面对分解时总是有种无从下手的感觉，面对分解首先应该想的是文中提到的启发法，应用穷尽原则，从内部到外部各个方面思考才行，这部分需要很好的思维，最常用的是5W2H原则。
• 问题分解可以巧用思维导图，这样可以很好的表示问题的分解，可以用树状法模拟用户的判断思维
• 数据的分解：首先应该对数据进行处理，这是所有数据分析的书都会提到的，但是设计到的基本上就是简单的空值处理、数据格式处理和数据转换（提取数据、整合数据、数据标准化），这本书只是在文章最后两章讲到关系型数据库的时候用数据整理一章讲了数据处理。文中一开始的数据包括了调查问卷结果、报纸报刊文件、专家思考总结所得等等，这些数据都是非结构化甚至无法量化的数据，如何利用这些数据进行分析呢？文中有举一些例子如伪证法、启发法等，这些都是很好用的方法。

数据的展示：

文中例举了两个数据展示方式：散点图（更有利于展示相关性）和直方图（更有利于展示数据分布趋势）

预测：

最后文中提及了回归预测和合理误差，每次回归分析的时候都要设定一个合理误差区域，这样才能很好的给客户一个决策意见。