数据分析日常学习week1_4.14

在极客时间上买了陈旸老师的数据分析实战45讲,以下是第一周对于专栏内容的概括、思考和对实战项目的记录。


4.14 周日

01 | 数据分析全景图及修炼指南

数据分析包括数据采集、数据挖掘数据可视化三部分。

数据采集:任何分析都要有数据源,可看做原材料

                  获取方法:爬虫,自动抓取工具(八爪鱼,火车采集器,搜集客)

数据挖掘:数据分析的算法部分,用来挖掘数据的商业价值

                  数学基础:线代,概率论图论,最优化方法

                  十大算法:下一讲会着重介绍,这里不再赘述。

数据可视化:更直观的看到数据,理解数据的商业价值。


02 | 学习数据挖掘的最佳路径是什么


数据分析日常学习week1_4.14_第1张图片
数据挖掘清单


数据挖掘的流程:

1. 商业理解:数据挖掘不是我们的目的,我们的目的是更好地帮助业务,所以第一步我们

要从商业的角度理解项目需求,在这个基础上,再对数据挖掘的目标进行定义。

2. 数据理解:尝试收集部分数据,然后对数据进行探索,包括数据描述、数据质量验证

等。这有助于你对收集的数据有个初步的认知。

3. 数据准备:开始收集数据,并对数据进行清洗、数据集成等操作,完成数据挖掘前的准

备工作。

4. 模型建立:选择和应用各种数据挖掘模型,并进行优化,以便得到更好的分类结果。

5. 模型评估:对模型进行评价,并检查构建模型的每个步骤,确认模型是否实现了预定的

商业目标。

6. 上线发布:模型的作用是从数据中找到金矿,也就是我们所说的“知识”,获得的知识

需要转化成用户可以使用的方式,呈现的形式可以是一份报告,也可以是实现一个比较

复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分,那么后续的

监控和维护就会变得重要。

数据挖掘的十大算法

为了进行数据挖掘任务,数据科学家们提出了各种模型,在众多的数据挖掘模型中,国际

权威的学术组织 ICDM (the IEEE International Conference on Data Mining)评选出

了十大经典的算法。

l 分类算法:C4.5,朴素贝叶斯(Naive Bayes),SVM,KNN,Adaboost,CART

l 聚类算法:K-Means,EM

l 关联分析:Apriori

l 连接分析:PageRank

1. C4.5

C4.5 算法是得票最高的算法,可以说是十大算法之首。C4.5 是决策树的算法,它创造性

在决策树构造过程中就进行了剪枝,并且可以处理连续的属性,也能对不完整的数据进

行处理。它可以说是决策树分类中,具有里程碑式意义的算法。


2. 朴素贝叶斯(Naive Bayes)

朴素贝叶斯模型是基于概率论的原理,它的思想是这样的:对于给出的未知物体想要进行

分类,就需要求解在这个未知物体出现的条件下各个类别出现的概率,哪个最大,就认为

这个未知物体属于哪个分类。

3. SVM

SVM 的中文叫支持向量机,英文是 Support Vector Machine,简称 SVM。SVM 在训

练中建立了一个超平面的分类模型。如果你对超平面不理解,没有关系,我在后面的算法

篇会给你进行介绍。


4. KNN

KNN 也叫 K 最近邻算法,英文是 K-Nearest Neighbor。所谓 K 近邻,就是每个样本都

可以用它最接近的 K 个邻居来代表。如果一个样本,它的 K 个最接近的邻居都属于分类

A,那么这个样本也属于分类 A。

5. AdaBoost

Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思,所以

Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类

,所以 Adaboost 也是一个常用的分类算法。

6. CART

CART 代表分类和回归树,英文是 Classification and Regression Trees。像英文一样,

构建了两棵树:一颗是分类树,另一个是回归树。和 C4.5 一样,它是一个决策树学习

方法

7. Apriori

Apriori 是一种挖掘关联规则(association rules)的算法,它通过挖掘频繁项集

(frequent item sets)来揭示物品之间的关联关系,被广泛应用到商业挖掘和网络安全

等领域中。频繁项集是指经常出现在一起的物品的集合,关联规则暗示着两种物品之间可

能存在很强的关系。(比如淘宝中的类似商品推荐)


8. K-Means

K-Means 算法是一个聚类算法。你可以这么理解,最终我想把物体划分成 K 类。假设每

个类别里面,都有个“中心点”,即意见领袖,它是这个类别的核心。现在我有一个新点

要归类,这时候就只要计算这个新点与 K 个中心点的距离,距离哪个中心点近,就变成了

哪个类别。


9. EM

EM 算法也叫最大期望算法,是求参数的最大似然估计的一种方法。原理是这样的:假设

我们想要评估参数 A 和参数 B,在开始状态下二者都是未知的,并且知道了 A 的信息就可

以得到 B 的信息,反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值,以此

得到 B 的估值,然后从 B 的估值出发,重新估计 A 的取值,这个过程一直持续到收敛

止。

EM 算法经常用于聚类和机器学习领域中。


10. PageRank

PageRank 起源于论文影响力的计算方式,如果一篇文论被引入的次数越多,就代表这篇

论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中:当

一个页面链出的页面越多,说明这个页面的“参考文献”越多,当这个页面被链入的频率

越高,说明这个页面被引用的次数越高。基于这个原理,我们可以得到网站的权重划分。

你可能感兴趣的:(数据分析日常学习week1_4.14)