机器学习算法入门索引
索引
- 学习模型
- 线性模型
- 乘法模型
- 加法模型
- 核模型
- 层级模型
- 线性模型
- 有监督学习
- 分类
- 最近邻居法
- 决策树学习
- 朴素贝叶斯分类器
- 逻辑回归
- 自适应增强
- 随机森林
- 支持向量机
- 回归
- 线性回归
- 局部加权线性回归
- 岭回归
- Lasso回归
- 弹性网回归
- 树回归
- 分类
- 无监督学习
- K-均值聚类
- 关联规则
简介
最近邻居法
原理
设有M个样本，每个样本都是一个N维向量。
对于一个待分类的向量X，与M个样本进行比较，选取最接近的k个样本，向量X被归类于其中出现最频繁的类别。
实现
对于每个待分类的X，都要与M个样本进行比较，因此计算量大。
决策树学习
原理
这里的决策树指的是分类树。
决策树中的每一个节点代表了一个维度，输入的向量X根据当前节点代表的维度的值的不同划分到了不同的子树，当到达叶子节点时就得到了X的类别。
实现
决策树划分方式通常有两种，信息增益和基尼不纯度。
构建过程一般从根节点开始，每次根据划分方式选择最佳的维度来分裂出子节点。
朴素贝叶斯分类器
原理
实现
逻辑回归
原理
Sigmoid函数： σ(z)=11+e−z
Logistic回归分类器在输入向量的每个特征维度上乘以一个回归系数，将结果相加代入Sigmoid函数，大于0.5的数据被归入1类，小于0.5归入0类。
实现
通常用梯度上升方法计算回归系数 w
自适应增强
原理
使用多个弱分类器串行训练成一个强训练器。
首先使用一个原始的学习算法，对训练样本 {(xi,yi)|xi∈R,yi∈{+1,−1}}ni=1 进行普通分类器的学习，然后对不能正确分类的样本加大其权重，最正确分类的样本降低权重。边学习边更新样本的权重，并把学习过程中得到的所有分类器放在一起，对其可信度进行平均后训练得到最终的强分类器。
实现
把训练样本 {(xi,yi)}ni=1 对应的各个权重 {wi}ni=1 设置为均等，即 1n ，并把强分类器 f 的初始值设为0。
定义加权误分类率 R(φ)=∑ni=1wi2(1−φ(xi)yi) 。
选择加权误分类率最小的弱分类器 φj 进行学习， φj=argminφ R(φ) 。
定义弱分类器 φj 的话语权为 θj=12log1−R(φj)R(φj) 。
将弱分类器添加到强分类器 f 中，使得 f(x)←sign(f(x)+θjφj)
定义规范化因子为 Z=∑ni=1wi exp(−θjfj(xi)yi)
更新样本的权重 {wi}ni=1
也可以通过
更新权重。
若b为强分类器中的弱分类器个数，则最终得强分类器为
随机森林
原理
随机森林包含多个决策树，随机森林的输出由全体决策树输出的众数决定。
实现
从全体样本M中有放回的选取M次组成新的训练集，从训练集的N个特征维度中随机选取n个特征维度，其中n远小于N。用所得的含有m个特征维度的训练集训练决策树。
重复若干次，形成多个决策树，组成随机森林。
支持向量机
原理
寻找超平面对样本空间进行分割，使得两种类别的数据分布在超平面两侧。
支持向量是离超平面最近的那些点，通过最大化支持向量到超平面的距离找到最优的超平面。
定义数据点到超平面的距离为几何距离 |wTA+b|∥w∥
由于数据未必线性可分，引入松弛变量。
实现
线性回归
原理
回归，是指把实函数在样本点附近加以近似的有监督的函数近似问题，是对一个或多个自变量和因变量之间的关系进行建模、求解的一种统计方法。
函数 y=f(x) 以 d 维实数向量 x⃗ 为输入，实数值 y 做输出。
这里的真实函数关系 f 是未知的，作为训练集的输入输出样本 {(x⃗ i,yi)}ni=1 是已知的。用 f^ 表示通过学习而获得的函数。
最小二乘法是回归中最基础的方法。
最小二乘学习法是对模型的输出 fθ(xi) 和训练集输出 {yi}ni=1 的平方误差 JLS(θ)=12∑ni=1(fθ(xi)−yi)2 为最小时的参数 θ 进行学习。 θ^LS=argminθJLS(θ)
平方误差 (fθ(xi)−yi)2 是残差 fθ(xi)−yi 的二阶范数。因此最小二乘法有时也成为 l2 损失最小化学习法。
实现
如果使用线性模型 fθ(x)=∑bj=1θiϕ(x)=θTϕ(x) 的话，训练样本的平方差 JLS 就能表示为 JLS(θ)=12∥Φθ−y∥2 ，这里 y=(y1,…,yn)T 是训练样本的输出， Φ 是 n×b 阶矩阵，也称为设计矩阵。
训练样本的平方差 JLS 的对参数向量 θ 求偏导得 ΔθJLS=(∂JLS∂Jθ1,…,∂JLS∂Jθb)T=ΦTΦθ−ΦTy 。令偏导为0，得 ΦTΦθ=ΦTy 因此 θ^LS=(ΦTΦ)−1ΦTy
局部加权线性回归
原理
对第 i 个训练样本的平方差通过权重 wi≥0 进行加权，然后再通过最小二乘法进行加权，称为加权最小二乘学习法。
argminθ12∑ni=1wi(fθ(xi)−yi)2
实现
用与最小二乘法同样的方法进行求解得 θ^=(ΦTWΦ)−1ΦTWy
这里的 W 是以 wi 为对角元素的对角矩阵。
为了对附近点赋予更高的权重，可以使用高斯核 w(i,i)=exp(|xi−x|−2k2)
岭回归
原理
岭回归又称为 l2 约束的最小二乘学习法。
在一般最小二乘法中，参数 {θj}bj=1 可以自由设置，使用全体参数空间，通过把参数空间限制在一定范围内来防止过拟合。
argminθJLS(θ) 约束条件 ∥θ∥2≤R
实现
利用拉格朗日对偶问题求解.
maxλminθ[JLS(θ)+λ2(∥θ∥2−R)]
拉格朗日因子 λ 由半径 R 决定，如果直接指定 λ 则
θ^=argminθ[JLS(θ)+λ2∥θ∥2]
对参数 θ 求偏导，另偏导为0，得 θ^=(ΦTΦ+λI)−1ΦTy
Lasso回归
原理
当参数特别多时，学习与求解会消耗大量时间。Lasso回归把大部分参数都置为0，可以快速的求解与学习。
Lasso回归又称为 l1 约束的最小二乘学习法。
argminθJLS(θ) 约束条件 ∥θ∥1≤R
由于 JLS 是下凸函数，因此在参数空间内具有等高线，其底部是最小二乘解 θ^LS 。另一方面， l1 约束的最小二乘解 θ^l1CLS 的范围在参数 θ 的各个轴上都有角。等高线与 θ^l1CLS 的范围的相交点就是 θ^l1CLS 的解，因此通常解都位于参数的轴上，这样参数中会有若干个0，称为稀疏学习。
实现
弹性网回归
原理
弹性网回归又称为 l1+l2 约束的最小二乘学习法，利用 l1+l2 范数的凸结合来进行约束。
(1−τ)∥θ∥1+τ∥θ∥2≤R
τ 是满足 0≤τ≤1 的标量。
当 τ=0 时， l1+l2 约束变为 l1 约束，当 τ=1 时， l1+l2 约束变为 l2 约束。