《机器学习技法》是国立台湾大学林轩田讲授的一门课程，课程的上集是《机器学习基石》。相关资源可以在youtube找到，也可在评论区索要云盘链接。本文主要是我学完一遍基石&技法后的笔记梳理，如果存疑请以原课程讲授内容为准，欢迎讨论~[注]本文仅适用于帮助复习，不适用于代替视频课程。
技法分为3个部分，分别为
● 核模型：嵌入大量特征（6小节）
● 融合模型：融合预测性特征（5小节）
● 抽取模型：提取隐性特征（4小节）
本文主要梳理第一部分。
一 核模型：嵌入大量特征（6）
1线性SVM(support vector machine支持向量机)
1.1 Fat Hyperplane
1.1.1求距离
去掉绝对值符号：
1.1.2代入Hyperplane公式，
采用某种特殊的比例，将min yn（…）放缩成1，
进一步放宽条件
1.1.3例子
1.2 SVM
1.2.1二次规划求解
1.2.2线性硬边界SVM算法
1.2.3与regularization的关系
可以看作是一种针对w的regularization
1.2.4优点
1.2.4.1复杂度更小
其中ρ是胖度，d是perceptron的维度(平面上是2D perceptron)
[注]同H的VC dimension指H能shatter几种情况，A的VC dimension指A能shatter几种情况
1.2.4.2更好泛化
1.2.4.3可进一步应用于非线性问题
2对偶SVM
2.1 SVM的问题
2.1.1隐藏条件
2.1.2调换max和min
2.1.3对b求偏微分，去掉b
2.1.4对w求偏微分，去掉w
2.1.5求解α
2.1.5.1满足KKT条件才有最优化解
其中原始内部最优时的公式出自2.1.1
2.1.5.2化为标准形式
2.1.5.3使用QP求解器求解α
存在问题：
2.1.5.4反过来求解b和w
2.1.5.5缩小w和b的计算范围
在没有算出w和b之前，我又怎么知道谁是SV呢？αn>0说明(zn,yn)是SV
2.2 VS PLA
2.3 VS原来的SVM
殊途同归。
2.4真的与d无关了吗？
对偶SVM并不能做到与d真正无关，但下一讲的核SVM能够做到。
3核SVM
3.1核函数
Φ2-2表示2次（多项式转换）
3.2运用于SVM，简化q、b、g的计算
3.3 Kernel SVM算法
3.4其它核
3.4.1二次多项式核的一般形式
不同形式的二次多项式核对应同样的空间，但边界会有差异：
3.4.2其它次数多项式核的一般形式
3.4.3高斯核
3.4.3.1高斯核对应无限维的空间
3.4.3.2高斯SVM
3.4.3.3高斯SVM的表现
3.4.4核的选择
3.4.5其它有效的核
核矩阵必须对称、半正定(困难，各阶主子式均≥0)
4软边界SVM
4.1硬边界的缺点
4.2软边界
4.2.1合并条件
4.2.2去掉布尔运算
4.2.3用拉格朗日乘数法去掉条件，转为对偶SVM
4.2.4对ξ求偏微分，去掉ξ和β项
4.2.5对b、w偏微分，去掉w和y项
4.2.6 kernel软边界SVM算法求解α
4.2.7 complementary slackness求解b
[注]αn对数据点n的物理意义
[补充]α=0时，β=C-α=0，ξ≥0条件失效，故SV(α=C)落在边界内。
4.2.8总结
4.3软边界的效果
γ是高斯核的参数，越大边界越尖。C是软SVM的参数，越大越不能容忍杂讯。
4.3.1根据交叉验证做选择
4.3.2根据SV的数量做选择
只有SV作为验证点的时候，会导致err，从而影响Eloocv，故可以依据SV的数量做选择：
5核回归模型
5.1将SVM看作regularized模型
5.1.1 Soft-Margin Primal去条件
5.1.2 VS L2 regularization
不把SVM当作regularization来解是因为它不是QP，不好解，kernel trick用不上。
故，无论hard-margin还是soft-margin
SVM的目标函数都很像regularization
把SVM看作普通的regularization，可以启发我们推广到其它模型。
5.2 SVM用于L2范数逻辑回归
5.2.1误差函数的相似性
5.2.2用SVM配合LogReg
用SVM直接获得最终解或者仅用SVM获得一个初始解都不是一个好方法
用SVM获得一个分数（从n维转到了1维），再用这个一维分数来做逻辑回归，最大似然
5.2.2.1 probabilistic(概率的) SVM算法（“两步”算法）
通过这个算法获得了soft binary classifier，但由于B，它的边界会发生变化。
5.2.3用核直接求解LogReg
L2-LogReg能不能用核优化?
证明了L2-regularized linear model可以用kernel trick
5.2.3.1核逻辑回归算法（KLR）（“一步”算法）
5.3用核直接求解岭回归（L2范数线性回归）
通过核岭回归能够直接得到β的解析解，从而得到w*=ΣβZ
5.3.1 VS线性岭回归
一个高效（大数据时），一个灵活（可以做非线性的）
6 SVR（支持向量回归）
6.1 LSSVM的问题（用核岭回归做分类的SVM）
LSSVM的SV太多了
6.2 tube回归
线性回归用平方估错，tube回归用tube估错
6.3 SVR（L2范数-tube回归的标准SVM（反过来的regularization）形式）
L2范数-tube回归
化成标准SVM形式
即为SVR
6.3.1化为对偶形式（用拉格朗日算子去掉条件）
满足KKT条件，有最优化解。
对偶形式：
形式与SVM dual类似，接下来可以用QP求解器求解。
6.3.2 SVR的解是稀疏矩阵
它的SV仅在tube上或tube外
7总结
