数据分析如何准备工作

  如果把数据分析比作炒菜,那么我们首先得准备一些原材料,那么对于数据分析,我们应该做哪些准备工作呢?

  1.数据采集

  数据采集顾名思义就是采集我们需要用来做分析的数据,同时将这些数据以特定格式保存下来。通常情况下,数据分析会基于历史累计下来的数据,如果数量大,可以使用一些大数据工具进行处理,比如常用的Hadoop等。

  数据采集的方式及过程,我们就不多说了,直接参照之前的文章,基本上就可以知道数据采集的流程及处理的过程。

  2.数据积累

  数据积累就是将有用的数据保存下来,方便管理和提取。数据积累会用到数据库,这个在我们上一篇文章也有体积,不仅仅是结构化数据的关系型数据库,还有键值存储数据库等。

  3.数据预处理

  数据预处理就是对数据进行加工,剔除没有用的或者异常的数据,提取有用的部分的信息,对数值进行处理等等。对数据进行必要的处理,形成汇集分析用的数据集,就是数据预处理的目的。

  数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算来进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。

你可能感兴趣的:(大数据)