监督学习

---

1.监督学习特点

• 监督学习的数据集一般含有很多特征和属性，数据集中的样本都有对应标签或者目标值。
• 监督学习的任务就是根据这些标签，学习调整分类器的参数，使其达到所要求的性能的过程，就是由已知推出未知

2、线性模型

线性模型一般用于线性可分集

2.1 线性回归

线性一般用于预测

一维线性回归 $f(x)=w^{T}x+b$
代价函数 $lossfunction(w,b)=\frac{1}{2}\sum _{i=1}^m(f(x^i)-y^i{)}^2$
上述拟合直线问题转化为求$minlossfunction$利用迭代法可逐步靠近收敛点

2.2 逻辑回归

逻辑回归一般用于分类

sigmoid函数$f(z)=\frac{1}{1+e^{-z}}$

$f(x)$将输入数据x通过f(x)转化为(0,1)之间的一个概率问题来处理

$lossfunction(w,b)=\log ({\prod }_{i=1}^{m}p(y^i|x^i;w,b))$

3. 支持向量机 SVM

3.1 最优间隔分类器

• 分类器是一个超平面，数据集是二维，超平面为直线；数据集为三维，超平面为平面

• 需要使正例和反例之间间隔最大，间隔越大，泛化能力越强

• 分类算法的优化目标通常是最小化分类误差，SVM的优化目标是最大化分类间隔

• 最靠近超平面的训练样本称为支持向量(support vector)(如上图的$H_1$和$H_2$)，间隔是指两个分离的超平面之间的距离

3.2 核函数

• 将低维度线性不可分数据转换为高维线性可分数据
  

  左边是一个线性不可分集，中间为一个核函数$\psi$

  $\psi (x_1,x_2)=(z_1,z_2,z_3)=(x_1,x_2,x_1^2+x_2^2)$

  就是将二维线性不可分集映射到三维平面可分集

• 多项式核 $k(x,y)=(x^{T}y+c{)}^d$

  径向核函数，又称为高斯核: $k(x,y)=e^{-\frac{\Vert x-y{\Vert }^2}{2{\sigma }^2}}$

  sigmoid核 $k(x,y)=\tanh (\alpha x^T+c)$

• sigmoid添加核函数相当于神经网络中添加了隐含层，由于SVM核函数比较难选择，目前已被神经网络深度学习超越

4.贝叶斯分类器

4.1 极大似然估计 MLE

设数据集$X=\{x^{(1)},x^{(2)},\cdots ,x^{(n)}\}$

• 参数对数据集X的似然函数为${\prod }_{i=1}^{m}p(x^{(i)}|\theta )$

• $y=logx$单增，因此求出$maxlogx$即求出$maxx$s

• 对似然函数取对数

$$\log \prod _{i=1}^{m}p(x^{(i)}|\theta )=\sum _{i=1}^m\log p(x^{(i)}|\theta )$$

• 利用梯度下降法，求解参数$\theta$

  $\hat{\theta }=\arg ma{x}_{\theta }\sum _{i=1}^m\log p(x^{(i)}|\theta )$

4.2 朴素贝叶斯分类器

• 假设各个特征之间相互独立是称其朴素的重要原因

• 给定输入数据x即类别c,求出$p(c|x)=\frac{p(x|c)p(c)}{p(x)}$

• 贝叶斯分类的基本思想是求取$p(x|c)$和$p(c)$,$p(x)$对所有类别是相同的

  输入数据一般有多个特征或者多个属性，假设有n个特征，即$x=(x_1,x_2,x_3,\cdots ,x_n)$，那么计算p(x|c)比较麻烦
  $$p(x|c)=p(x_1,x_2,x_3,\cdots ,x_n|c)=p(x_1|c)p(x_2|c)\cdots p(x_n|c)=\prod _{i=1}^{n}p(x_i|c)$$
  假设类别集合为$Y$，$p(x)$对所有类别都相同，因此在给定输入数据x的条件下，最优分类可以表示为$argma{x}_{c\in Y}p(c)\prod _{i=1}^{m}p(x_i|c)$

5. 集成学习

对一个比较复杂的任务，综合许多人的意见来进行决策往往比一家独大好，集思广益

5.1 装袋算法bagging

(1):每次从原始样本集中多次重复抽样抽取n个训练样本，共进行k次得到k个训练集
(2):每次使用一个训练集得到一个模型，k个训练集得到k个模型
(3):对分类问题，对上述得到的k个模型采取投票的方式得到分类结果，对回归问题取上述模型的均值

5.2 自适应分类器 Adaboost

核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来，
构成一个更强的最终分类器(强分类器)；其算法本身是通过改变数据分布来实现的，它根据每次训练集中
每个样本的分类是否正确，以及上次总体分类的准确率来确定每个样本的权值，将修改过权值的新数据集送给
下层分类器进行训练，最后将每次得到的分类器融合起来，作为最后的决策分类器