数据分析实战45讲 笔记一

你为什么需要数据分析能力？

我们生活在数据驱动一切的时代，数据挖掘和数据分析就是这个时代的“淘金”，从国家、企业、组织到个人，都一定会关注各种数据，从这些数据中得到价值。

数据分析的核心就是培养数据思维，掌握挖掘工具，熟练实践并积累经验。

MAS 方法

1. Multi-Dimension：想要掌握一个事物，就要从多个角度去认识它。
2. Ask：不懂就问，程序员大多都很羞涩，突破这一点，不懂就问最重要。
3. Sharing：最好的学习就是分享。用自己的语言讲出来，是对知识的进一步梳理。

怎么和数据分析建立多维度连接呢？我特意把内容分成了三个大类。第一类是基础概念。这是我们学习的基础，一定不能落下。第二类是工具。这个部分可以很好地锻炼你的实操能力。第三类是题库。题库的作用是帮你查漏补缺，在这个过程中，你会情不自禁地进行思考。

01丨数据分析全景图及修炼指南

数据分析分成三个重要的组成部分

1. 数据采集。它是我们的原材料，也是最“接地气”的部分，因为任何分析都要有数据源。
2. 数据挖掘。它可以说是最“高大上”的部分，也是整个商业价值所在。之所以要进行数据分析，就是要找到其中的规律，来指导我们的业务。因此数据挖掘的核心是挖掘数据的商业价值，也就是我们所谈的商业智能 BI。它可以说是知识型的工程，相当于整个专栏中的“算法”部分。首先你要知道它的基本流程、十大算法、以及背后的数学基础。

3. 数据可视化。它可以说是数据领域中万金油的技能，可以让我们直观地了解到数据分析的结果。

   
   
   image.png
   
   
   image.png
   
   
   image.png
   
   
   image.png

作者给的学习建议：认知三步曲，从认知到工具，再到实战。

image.png

记录下你每天的认知。尤其是每次课程后，对知识点的自我理解。这些认知对应工具的哪些操作。用工具来表达你对知识点的掌握，并用自己的语言记录下这些操作笔记。做更多练习来巩固你的认知。我们学习的内容对于大部分外人来说，就像“开车”一样，很酷。我们学习的内容，对于要掌握的人来说，也像“开车”一样，其实并不难，而且很多人已经上路了。你需要的就是更多的练习。

02丨学习数据挖掘的最佳路径是什么？

数据挖掘的基本流程

1. 商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。
2. 数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。
3. 数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作。
4. 模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果。
5. 模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标。
6. 上线发布：模型的作用是从数据中找到金矿，也就是我们所说的“知识”，获得的知识需要转化成用户可以使用的方式，呈现的形式可以是一份报告，也可以是实现一个比较复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分，那么后续的监控和维护就会变得重要。

数据挖掘的十大算法为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际权威的学术组织 ICDM （the IEEE International Conference on Data Mining）评选出了十大经典的算法。
按照不同的目的，我可以将这些算法分成四类，以便你更好的理解。

• 分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CARTl
• 聚类算法：K-Means，EMl
• 关联分析：Aprioril
• 连接分析：PageRank

数据挖掘的数学原理
如果你不了解概率论和数理统计，还是很难掌握算法的本质；如果你不懂线性代数，就很难理解矩阵和向量运作在数据挖掘中的价值；如果你没有最优化方法的概念，就对迭代收敛理解不深。

1. 概率论与数理统计。数据挖掘里使用到概率论的地方就比较多了。比如条件概率、独立性的概念，以及随机变量、多维随机变量的概念。很多算法的本质都与概率论相关，所以说概率论与数理统计是数据挖掘的重要数学基础。
2. 线性代数。向量和矩阵是线性代数中的重要知识点，它被广泛应用到数据挖掘中，比如我们经常会把对象抽象为矩阵的表示，一幅图像就可以抽象出来是一个矩阵，我们也经常计算特征值和特征向量，用特征向量来近似代表物体的特征。这个是大数据降维的基本思路。基于矩阵的各种运算，以及基于矩阵的理论成熟，可以帮我们解决很多实际问题，比如 PCA 方法、SVD 方法，以及 MF、NMF 方法等在数据挖掘中都有广泛的应用。
3. 图论。社交网络的兴起，让图论的应用也越来越广。人与人的关系，可以用图论上的两个节点来进行连接，节点的度可以理解为一个人的朋友数。我们都听说过人脉的六度理论，在 Facebook 上被证明平均一个人与另一个人的连接，只需要 3.57 个人。当然图论对于网络结构的分析非常有效，同时图论也在关系挖掘和图像分割中有重要的作用。
4. 最优化方法。最优化方法相当于机器学习中自我学习的过程，当机器知道了目标，训练后与结果存在偏差就需要迭代调整，那么最优化就是这个调整的过程。一般来说，这个学习和迭代的过程是漫长、随机的。最优化方法的提出就是用更短的时间得到收敛，取得更好的效果。