从零开始学python数据分析与挖掘第1章学习笔记

第1章 数据分析与挖掘概述

1.1 什么是数据分析和挖掘

 数据来源：

• 问卷调查法
• 实验法
• 通过设备记录数据
• 通过网页或APP记录用户操作
• 通过数据接口、网络爬虫获得公开数据
• 企业数据共享

数据分析与挖掘目的都是基于搜集到的数据，应用数学、统计、计算机等技术抽取出数据中的有用信息，进而为决策提供依据和指导方向。

1.3 数据分析与挖掘的区别

从广义来说，数据分析涵盖了数据分析和数据挖掘两个部分。

从狭义来说，两者有差异。

1、从定义说明出发：

数据分析采用适当的统计学方法，对搜集来的数据进行描述性分析和探索性分析，病从中发现数据背后的价值；二数据分析则用数据库知识、统计学、机器学习、人工智能等方法，对数据发掘，发现其中未知的规律和有用知识。

2、从侧重点出发：

数据分析更侧重实际的业务知识，数据与业务紧密结合，实现功效最大；数据挖掘更侧重技术的实现，对业务熟练度有更高的要求。

3、从掌握的技术出发:

数据分析一般要求具备基本的统计学知识、数据库操作、excel报告操作等能力；数据挖掘对数学功底和编程有更高的要求。

4、从输出的结果出发：

数据分析更多的是描述统计结果的呈现，如果平均水平、总体趋势、差异对比等，结果必须结合业务知识解读；数据挖掘更多的是模型或规则的输出，通过模型或规则棵对未知标签的数据进行预测。

可以整理成表格。

1.4 数据挖掘的流程