机器学习基础算法小结

机器学习的问题更多的对算法模型的优化，特征工程也属于对算法模型的优化，这一点在后面均有体现。

说明：本文是对部分机器学习的算法模型的思想进行抽取，不会出现详细的推导。

先看一下要掌握的算法有哪些，我个人觉得部分算法有点偏，不过应该是在某个领域里有应用而且效果很好，否则不会成为必掌握的算法。

线性回归

1、线性函数的表示：

f(x)=θ0x0+θ1x1+⋯+θnxn

向量形式：

f(x)=θ⃗ TX⃗ 

其中：

θ⃗ =(θ1;θ2;⋯θn)

当 Θ 确定后，模型就确定了，Θ = 0是可得截距项 b。

2、cost function，亦即最小二乘法估计：

J(θi)=12m∑i=1m(hθ(xi)−yi)2

记得前面说过的机器学习的大部分问题都是优化模型吗？开始，使用梯度下降优化代价函数，这也是线性回归算法思想的精髓。

θj:=θj−α∂∂θjJ(θ)

α 为学习率。

3、为防止过拟合，加入正则化：

J(θi)=argminθ12m⎡⎣⎢⎢∑i=1m(hθ(xi)−yi)2+λ∑j=1nθ2j⎤⎦⎥⎥

优点：易于理解，计算简单；
缺点：不能拟合非线性数据；

logistic回归

首先明确logistic回归不是回归，而是线性分类器。
1、logistic函数表达式为：

hθ(x)=g(θTx)=11+e−θTx

其中：

g(z)=11+e−z

经变形后得：

lnhθ1−hθ=θTx

2、logistic回归主要是通过极大似然来估计待求参数 Θ 的值，样本的后验概率为：

L(θ)=p(y⃗ ∣X;θ)=∏i=1mp(y(i)∣x(i);θ)

=∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)

其中：

P(y=1∣x;θ)=hθ(x)

P(y=0∣x;θ)=1−hθ(x)

对该式取似然对数可得cost function：

J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]

对cost function添加正则项后：

J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑j=1nθ2j

3、可用凸优化理论中的牛顿法，梯度下降法等方法最小化cost function，此处使用梯度下降法求最优解：

θj:=θj−∂J(θ)∂θj

优点：
* 实现简单，易于理解；
* 分类时计算量非常小，速度很快，存储资源低；

缺点：
* 容易欠拟合，一般准确度不太高；
* 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分。

决策树

决策树中关键点就是选择一个最优属性进行分枝，位于决策树上属性的重要度依次递减，信息增益可用于度量属性的重要度，因此要深入理解信息增益及其计算。

1、信息熵定义，n表示有n个分类类别：

Ent(D)=−∑k=1npklog2pk

信息增益(information gain)：

Gain(D,a)=Ent(D)−∑v=1VDvDEnt(Dv)

其中：属性a产生V个可能分支，|D^v|/|D|为权重，即样本数越多的分支影响越大；信息增益越大的属性a划分效果越好，ID3决策算法以此为划分标准。

2、增益率

Gain_ratio(D,a)=Gain(D,a)IV(a),

其中：

IV(a)=−∑v=1VDvDlog2DvD

注意：C4.5算法先从划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的属性。

3、基尼指数–CART决策树选择属性的标准
基尼值：

Gini(D)=∑k=1n∑k′≠kpkpk′=1−∑k=1np2k

Gini(D)越小，数据集D的纯度越高，属性a的基尼指数定义：

Gini_index(D,a)=∑v=1VDvDGini(Dv)

在候选属性集合A中，选择那个能使划分后基尼指数最小的作为最优划分属性。

优点：计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征；
缺点：容易过拟合，对决策树进行剪枝处理以及使用随机森林算法都能减小过拟合现象。

朴素贝叶斯

1、贝叶斯计算公式：

P(c∣x)=P(c)P(x∣c)P(x)

这只是一个理论公式，因为该公式存在一个问题：类条件概率P(x|c)是所有属性的联合概率，计算时会出现组合爆炸，当样本稀疏、属性较多时问题更加严重。

2、为避开上面的问题，朴素贝叶斯分类器基于属性条件独立性假设，将上式变为：

P(c∣x)=P(c)P(x∣c)P(x)=P(c)P(x)∏i=1dP(xi∣c)

其中d为属性数目，x(i)为x在第i个属性上的取值。
对所有的类别来说P(x)相同，所以朴素贝叶斯分类器的表达式：

hnb(x)=argmaxc∈yP(c)∏i=1dP(xi∣c)

3、Laplacian correction，如果P(x|c)中的某一项为0，则其联合概率的乘积也可能为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k, 分母加k的原因是使之满足全概率公式）。

优点：对小规模的数据表现很好，适合多分类任务，适合增量式训练。
缺点：对输入数据的表达形式很敏感。

EM算法

有时候因为样本的产生和隐含变量有关（隐含变量是不能被观察出的变量）。

LL(Θ∣X,Z)=lnP(X,Z∣Θ)

而求模型的参数时一般采用最大化已观测数据的对数“边际似然”：

LL(Θ∣X)=lnP(X∣Θ)=ln∑ZP(X,Z∣Θ)

可使用梯度下降对隐变量进行估计，但求和的项数会随隐变量的数量以指数形式上升，这时可以采用EM算法来求模型的参数（对应模型参数个数可能有多个），EM算法一般分为2步，迭代至收敛：
1. 基于\Theta^{t}推断隐变量Z的期望，记为 Zt ；
2. 再基于已观测变量X和 Zt 对参数 Θ 做极大似然估计，记为 Θt+1 .

若基于 Θt 计算隐变量Z的概率分布 P(Z|X,Θt) ,则EM为：
* E步(Expectation)：用参数 Θt 推断隐变量发布 P(Z|X,Θt) ，并计算对数似然关于Z的期望；

Q(Θ∣Θt)=EZ∣X,ΘtLL(Θ∣X,Z)

* M步(Maximization)：寻找参数最大化期望似然；

Θt+1=argmaxΘQ(Θ∣Θt).

KNN算法

1、KNN的主要内容如下：
1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
2. 对上面所有的距离值进行排序；
3. 选前k个最小距离的样本；
4. 根据这k个样本的标签进行投票，得到最后的分类类别；

2、如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可通过交叉验证获取。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。KNN算法对距离公式较为“敏感”；

3、近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

优点：
1. 思想简单，理论成熟，既可以用来做分类也可以用来做回归；
2. 可用于非线性分类；
3. 训练时间复杂度为O(n)；
4. 准确度高，对数据没有假设，对outlier不敏感；

缺点：
1. 计算量大，容易造成内存溢出，需要大量的内存；
2. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

SVM

SVM 和 LDA 模型可谓是对数学能力和思维的极大考验，它的推导过程有必要理解掌握。
1、SVM核心思想一：最大间隔
将训练集中的正负样本最大程度的分隔开，那么该分隔线应位于训练样本中距离分隔边界垂直距离最近的样本点的“正中间”，这样的分割线具有最好的鲁棒性和泛化能力。

{w⃗ Txi→+b≥1,yi=1;w⃗ Txi→+b≤−1,yi=−1

2、SVM核心思想二：决策公式
将上面的最大间隔公式统一起来，且决策边界上的点(support vector)要满足最大间隔要求，因为y只能取1或-1，所以决策公式为：

yi(w⃗ Txi→+b)−1=0

3、SVM核心思想三：目标函数
取决策边界上的正负样本点做向量运算，可得决策边界之间的距离为：

r===(x⃗ +−x⃗ −)⋅w⃗ ∥w∥1∥w∥[1−b−(−1−b)]2∥w∥

下一步当然是最大优目标函数：

maxw⃗ ,b2∥w∥=minw⃗ ,b12∥w∥2s.t. yi(w⃗ Txi→+b)≥1, i=1,2,⋯,m.

4、SVM核心思想四：优化理论
对下式进行优化，它本身就是一个convex quadratic programming–凸二次规划问题，能直接优化。

minw⃗ ,b12∥w∥2s.t. yi(w⃗ Txi→+b)≥1, i=1,2,⋯,m.

但还有一种方法优化方法是对机器学习本身而言很有效的方法(后面感受)，那就是对下式使用拉格朗日乘子约束，可写为：

L(w⃗ ,b,α⃗ )=12∥w∥2+∑i=1mαi(1−yi(w⃗ Txi→+b)), α⃗ =(α1;α2;⋯;αm).

使 L 对 ω 和 b 求偏导为0得：

w⃗ =∑1mαiyixi→,0=∑1mαiyi.

把上面得2个式子带回 L 得：

maxα⃗ ∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjx⃗ Tixj→ ,s.t. ∑i=1mαiαj=0, αi≥0,i=1,2,⋯,m .

解得 α ，ω，b 后，可得模型为：

f(x⃗ )==w⃗ Tx⃗ +b∑i=1mαiyix⃗ Tix⃗ +b

此式得约束条件即为KKT条件：

⎧⎩⎨⎪⎪αi≥0;yif(x⃗ i)−1≥0;αi(yif(x⃗ i)−1)=0.

于是，对任意得训练样本，总有 α = 0或 α ﹥ 0。若 α = 0时，对f(x)无影响；若α ﹥ 0，则对应得样本位于决策边界上，是支持向量。这就表明：当使用SVM训练完成后，只有最终得支持向量对模型有影响。支持向量的美妙就在此。

5、再回决策公式
现在得决策公式变为：

∑i=1mαiyi⟨x⃗ i,u⃗ ⟩+b≥0

由此可见，当在做决策时，不需要知道x是什么，主要知道训练集中得x与测试集中得u点乘后结果就行。当样本不能线性可分时，将点乘部分换为非线性核即可。

6、SVM的终极杀器：核方法–kernel
当样本线性不可分时，将样本映射到高维空间使其能线性可分，将﹤x, u﹥替换为其他核方法即可实现，其余部分推导类似。核函数：

k(xi→,xj→)=⟨Φ(xi→),Φ(xj→)⟩=Φ(xi→)TΦ(xj→)

7、SMO
发现我们还有 α 没有求出，这就是SMO存在得理由。SMO的思想：
* 选取一对需要更新的 αi 和 αj ，固定其他 α 参数；
* 求解更新后的 α 。

代入下式循环迭代直至满足要求。

maxα⃗ ∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjx⃗ Tixj→ ,s.t. ∑i=1mαiαj=0, αi≥0,i=1,2,⋯,m .

8、Hinge loss
Hinge loss与logistic回归有关，线性版的SVM。

优点：
* 可用于线性/非线性分类，也可以用于回归；
* 低泛化误差；
* 容易解释；

缺点：
* 对参数和核函数的选择比较敏感；
* 原始的SVM只比较擅长处理二分类问题；
* 时间复杂度高O(n^3)，不能承载大数据的要求.

SVM的终极核心是最大间隔，它的思想很重要。此处我并没有给图，不过结合资料看时没有问题的。
参考：
支持向量机通俗导论（理解SVM的三层境界）
周志华老师的《机器学习》
Ng老师的《machine learning》视频
林轩田老师的《机器学习技法》视频
七月在线冯老师的视频

聚类

在做特征工程时，id 一般都不用，这时可以根据id对数据进行聚类，然后再根据聚类结果给一个clustering id。在社交网络中对某人的社交关系也会使用聚类。
优点：
* （1）k-means算法是解决聚类问题的一种经典算法，算法简单、快速；
* （2）对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常k<

降维

我们都知道当属性太多、维度过高会使得数据变稀疏从而加大计算的开销，有效信息被“埋藏得”更深，此时通过降低维度来缓解该情况，最常见的降维算法是：PCA算法和LDA算法，这里有一篇文章对此有详细的说明，再加上书籍的补充就很容易理解。四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

在这篇文章里面还介绍了另外的两种降维方法。

ensemble learning – 集成学习

到此处，我们看到了每个算法都有各自的优缺点，那我们有什么办法可以尽量的避免一部分算法的缺陷吗？都这么说啦！肯定有的，但不能完全避免，只是减小算法缺陷在使用的过程中所造成的影响。下图是集成学习器的图示。

个体学习器之间依赖性强、必须串行生成的序列化方法，代表是Boosting；另一个是个体学习器之间的依赖性不强、可以同时生成的并行化方法，代表是Bagging和Random Forest。

1、Boosting的代表AdaBoost
Gradient Boosted Decision Tree（GBDT）的特点：
1. Adaboost的Regression版本；
2. 把残差作为下一轮的学习目标；
3. 最终的结果有加权和值得到，不再是简单的多数投票:

G(x)=∑amGm(x).

2、Bagging和Random Forest
Bagging对分类任务使用简单投票法，对回归问题使用简单的平均法。Bagging可以不用修改就可用于多分类、回归任务中，这点与AdaBoost不同。在像决策树和神经网络等易受样本扰动的学习器上效果较为明显。
Random Forest会随着个体学习器的增多，通常会收敛到更低的泛化误差，而且它的训练效率优于Bagging。

XGBoost可谓是kaggle比赛神奇啊，最近Microsoft开源了功能与XGBoost相同的库，叫LightGBM，它的速度和准确度稍优于XGBoost。

pLSA & LDA

pLSA跟LDA的本质区别就在于它们去估计未知参数所采用的思想不同，前者采用的是频率派思想，后者采用的是贝叶斯派思想。LDA就是在pLSA的基础上加层贝叶斯框架，即LDA就是pLSA的贝叶斯版本。

1、pLSA

2、LDA

LDA模型得公式推导很麻烦，但模型思路和我们的思维过程类似。拆分后可变为以下得5步骤：
1. 一个函数：gamma函数；
2. 四个分布：二项分布、多项分布、beta分布、Dirichlet分布；
3. 一个概念和一个理念：共轭先验和贝叶斯框架；
4. 两个模型：pLSA、LDA；
5. 一个采样：Gibbs采样

具体推导过程参考 通俗理解LDA主题模型

Regularization

1、以下是两种常用的归一化方法：
1、min-max标准化（Min-Max Normalization）
也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。转换函数如下：

χ=X−minmax−min

其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
2、Z-score标准化方法
这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：

χ=X−μσ

其中 μ 为所有样本数据的均值， σ 为所有样本数据的标准差。

2、归一化的作用
1. 去掉量纲和数值跨越幅度太大的影响；
2. 控制模型的复杂度，光滑性。复杂性越小且越光滑的目标函数泛化能力越强。而加入规则项能使目标函数复杂度减小，且更光滑。如梯度下降法；
3. 系数越小，模型越简单，而模型越简单则泛化能力越强（Ng宏观上给出的解释）；
4. 可以看成是权值的高斯先验。

异常检测

异常检测算法思路如下：
1. 选定容易出错的n个特征{x(i)1,x(i)2,…,x(i)n}作为变量；
2. 计算m个样本的平均值和方差：

μj=1m∑i=1mx(x)jσ2j=1m∑i=1m(x(x)j−μj)2

3. 给定监测点x，计算p(x)：

P(x)=∏j=1np(xj;μj;σj2)=∏j=1n12π‾‾‾√σjexp(−(xj−μj)22σ2j)

4. 如果 p(x) < ϵ,则为异常值；反之亦成立。

其中的 ε 也是通过交叉验证得到的，也就是说在进行异常检测时，前面的 p(x) 的学习是用的无监督，后面的参数 ε 学习是用的有监督。那么为什么不全部使用普通有监督的方法来学习呢（即把它看做是一个普通的二分类问题）？主要是因为在异常检测中，异常的样本数量非常少而正常样本数量非常多，因此不足以学习到好的异常行为模型的参数，因为后面新来的异常样本可能完全是与训练样本中的模式不同。另外，上面是将特征的每一维看成是相互独立的高斯分布，其实这样的近似并不是最好的，但是它的计算量较小，因此也常被使用。更好的方法应该是将特征拟合成多维高斯分布，这时有特征之间的相关性，但随之计算量会变复杂，且样本的协方差矩阵还可能出现不可逆的情况（主要在样本数比特征数小，或者样本特征维数之间有线性关系时）。

常见对分布的处理
* 对于高斯分布的数据，直接运用以上算法就好；
* 但是对于非高斯分布的数据，虽然也可是使用上面的算法，但是效果不是很好，所以我们尽量将非高斯分布转化成（近似）高斯分布，然后再进行处理；
* 数据整体偏小，可以求ln(x)或者xa,0

Apriori & FP Growth

Apriori是关联分析中比较早的一种方法，主要用来挖掘那些频繁项集合。其核心思想是：
1. 如果一个项目集合不是频繁集合，那么任何包含它的项目集合也一定不是频繁集合；
2. 如果一个项目集合是频繁集合，那么它的任何非空子集也是频繁集合。

这两句话看起来很简单，不过要体会到其中的深层次的含义可以去看看当时提出该算法的paper。

Aprioir需要扫描项目表多遍，从一个项目开始扫描，舍去掉那些不是频繁的项目，得到的集合称为L，然后对L中的每个元素进行自组合，生成比上次扫描多一个项目的集合，该集合称为C，接着又扫描去掉那些非频繁的项目，重复… 这样扫描其时间复杂度和数据库的I/O开销会很大。

具体的做法参考：《machine learning in action》这本书。

FP Growth是一种比Apriori更高效的频繁项挖掘方法，它只需要扫描项目表2次。其中第1次扫描获得当个项目的频率，去掉不符合支持度要求的项，并对剩下的项排序。第2遍扫描是建立一颗FP-Tree(frequent-patten tree)。这篇文章的讲解还是不错的：频繁项集挖掘算法之FPGrowth

参考

博文：
整理本文的起点来源于该博文：机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）

支持向量机通俗导论（理解SVM的三层境界）

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

通俗理解LDA主题模型

该文档由Microsoft为使用自家的Azure云平台而写，但内容都是通用的。How to choose algorithms for Microsoft Azure Machine Learning

异常检测部分：机器学习——异常检测

频繁项集挖掘算法之FPGrowth

书籍部分：
《machine learning in action》–> 中文版《机器学习实战》
周志华《机器学习》
《PRML》

视频：
Ng老师的《machine learning》视频
林轩田老师的《机器学习技法》视频
七月在线冯老师的视频