【数据分析与数据挖掘】一、数据分析概述

1.数据分析概述

(1)数据分析

利用统计学的方法，在数据中提取有用的信息，并进行总结与概括的过程。

(2)数据分析与挖掘的流程

数据获取 —> 探索分析 —> 预处理 —> 数据建模 —> 模型评估。

• 数据获取的方法有很多，例如网页抓取或者产品日志获取；

• 获取后存储的方式最常见的是把数据整理成表格的形式；

• 整理完之后，找出数据有哪些属性，属性之间是否有关系，是否能通过已有的属性，衍生出其他属性；（探索分析与可视化）；

• 特征预处理：把脏数据去掉，把数据特征转化成模型使用的格式；

• 挖掘建模：涉及到分类模型，回归模型，聚类模型，关联模型，半监督模型，（本课程会介绍这些模型的算法和内涵，以及使用实例，模型的本质是一个函数）

• 模型评估；

用python做数据分析，有这几个数据分析包：NumPy、SciPy.org、matplotlib、scikit-learn、pandas