在极客时间上买了陈旸老师的数据分析实战45讲，以下是第一周对于专栏内容的概括、思考和对实战项目的记录。
4.14 周日
01 | 数据分析全景图及修炼指南
数据分析包括数据采集、数据挖掘和数据可视化三部分。
数据采集：任何分析都要有数据源，可看做原材料
获取方法：爬虫，自动抓取工具（八爪鱼，火车采集器，搜集客）
数据挖掘：数据分析的算法部分，用来挖掘数据的商业价值。
数学基础：线代，概率论图论，最优化方法
十大算法：下一讲会着重介绍，这里不再赘述。
数据可视化：更直观的看到数据，理解数据的商业价值。
02 | 学习数据挖掘的最佳路径是什么
数据挖掘的流程：
1. 商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们
要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。
2. 数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证
等。这有助于你对收集的数据有个初步的认知。
3. 数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准
备工作。
4. 模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果。
5. 模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的
商业目标。
6. 上线发布：模型的作用是从数据中找到金矿，也就是我们所说的“知识”，获得的知识
需要转化成用户可以使用的方式，呈现的形式可以是一份报告，也可以是实现一个比较
复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分，那么后续的
监控和维护就会变得重要。
数据挖掘的十大算法
为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际
权威的学术组织 ICDM （the IEEE International Conference on Data Mining）评选出
了十大经典的算法。
l 分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CART
l 聚类算法：K-Means，EM
l 关联分析：Apriori
l 连接分析：PageRank
1. C4.5
C4.5 算法是得票最高的算法，可以说是十大算法之首。C4.5 是决策树的算法，它创造性
地在决策树构造过程中就进行了剪枝，并且可以处理连续的属性，也能对不完整的数据进
行处理。它可以说是决策树分类中，具有里程碑式意义的算法。
2. 朴素贝叶斯（Naive Bayes）
朴素贝叶斯模型是基于概率论的原理，它的思想是这样的：对于给出的未知物体想要进行
分类，就需要求解在这个未知物体出现的条件下各个类别出现的概率，哪个最大，就认为
这个未知物体属于哪个分类。
3. SVM
SVM 的中文叫支持向量机，英文是 Support Vector Machine，简称 SVM。SVM 在训
练中建立了一个超平面的分类模型。如果你对超平面不理解，没有关系，我在后面的算法
篇会给你进行介绍。
4. KNN
KNN 也叫 K 最近邻算法，英文是 K-Nearest Neighbor。所谓 K 近邻，就是每个样本都
可以用它最接近的 K 个邻居来代表。如果一个样本，它的 K 个最接近的邻居都属于分类
A，那么这个样本也属于分类 A。
5. AdaBoost
Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思，所以
Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类
器，所以 Adaboost 也是一个常用的分类算法。
6. CART
CART 代表分类和回归树，英文是 Classification and Regression Trees。像英文一样，
它构建了两棵树：一颗是分类树，另一个是回归树。和 C4.5 一样，它是一个决策树学习
方法。
7. Apriori
Apriori 是一种挖掘关联规则（association rules）的算法，它通过挖掘频繁项集
（frequent item sets）来揭示物品之间的关联关系，被广泛应用到商业挖掘和网络安全
等领域中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可
能存在很强的关系。（比如淘宝中的类似商品推荐）
8. K-Means
K-Means 算法是一个聚类算法。你可以这么理解，最终我想把物体划分成 K 类。假设每
个类别里面，都有个“中心点”，即意见领袖，它是这个类别的核心。现在我有一个新点
要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成了
哪个类别。
9. EM
EM 算法也叫最大期望算法，是求参数的最大似然估计的一种方法。原理是这样的：假设
我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可
以得到 B 的信息，反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值，以此
得到 B 的估值，然后从 B 的估值出发，重新估计 A 的取值，这个过程一直持续到收敛为
止。
EM 算法经常用于聚类和机器学习领域中。
10. PageRank
PageRank 起源于论文影响力的计算方式，如果一篇文论被引入的次数越多，就代表这篇
论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中：当
一个页面链出的页面越多，说明这个页面的“参考文献”越多，当这个页面被链入的频率
越高，说明这个页面被引用的次数越高。基于这个原理，我们可以得到网站的权重划分。