【LDF】线性判别函数（三）

松弛方法

1. 学习准则

• 在感知函数准则中, 目标函数中采用了 $-{\mathbf{a}}^T\mathbf{y}$ 的形式。实际上有很多其它准则也可以用于感知函数的学习。
• 线性准则
  $$J_p(\mathbf{a})=\sum _{\mathbf{y}\in Y}\left(-{\mathbf{a}}^T\mathbf{y}\right)$$
• 平方准则
  $$J_q(\mathbf{a})=\sum _{\mathbf{y}\in Y}{\left({\mathbf{a}}^T\mathbf{y}\right)}^2$$
• 松弛准则
  $$J_r(\mathbf{a})=\frac{1}{2}\sum _{\mathbf{y}\in Y}\frac{{\left({\mathbf{a}}^T\mathbf{y}-b\right)}^2}{\Vert \mathbf{y}{\Vert }^2}$$
• 线性准则的目标函数是分段线性的, 因此其梯度是不连续的。
• 平方准则的梯度是连续的, 但目标函数过于平滑, 收敛速度很慢（达到目标函数为零的区域的路径很平缓）。同时, 目标函数过于受到最长样本的影响。
• $J_r(\mathrm{a})$ 则避免了这些缺点。$J_r$ (a) 最终达到零。此时对所有的 $\mathbf{y},{\mathbf{a}}^T\mathbf{y}>b$, 则意味着集合 $Y$ 是空集。
  梯度：
  $$\frac{\partial J_r(\mathbf{a})}{\partial \mathbf{a}}=\sum _{\mathbf{y}\in Y}\frac{{\mathbf{a}}^T\mathbf{y}-b}{\Vert \mathbf{y}{\Vert }^2}\mathbf{y}$$
  权重更新准则：
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k-{\eta }_k\sum _{\mathbf{y}\in Y}\frac{{\mathbf{a}}^T\mathbf{y}-b}{\Vert \mathbf{y}{\Vert }^2}\mathbf{y}$$

• 每一步权重更新都要重新计算错误样本集，而且要用到错误样本集里面的所有样本
• 单样本松弛算法更新准则
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k-{\eta }_k\frac{{\mathbf{a}}_k^T{\mathbf{y}}^k-b}{{\Vert {\mathbf{y}}^k\Vert }^2}{\mathbf{y}}^k={\mathbf{a}}_k-{\eta }_k\frac{{\mathbf{a}}_k^T{\mathbf{y}}^k-b}{\Vert {\mathbf{y}}^k\Vert }\frac{{\mathbf{y}}^k}{\Vert {\mathbf{y}}^k\Vert }$$
  
  
  
• 单样本松弛法的收敛性（设 $\mathbf{a}$ 是一个解向量, 因此对任意 ${\mathbf{y}}_i$, 有 ${\mathbf{a}}^T{\mathbf{y}}_i>b$）
  $$\begin{array}{c}{\Vert {\mathbf{a}}_{k+1}-\mathbf{a}\Vert }^2={\Vert {\mathbf{a}}_k-\mathbf{a}\Vert }^2-2\eta \frac{b-{\mathbf{a}}_k^T{\mathbf{y}}^k}{{\Vert {\mathbf{y}}^k\Vert }^2}{\left(\mathbf{a}-{\mathbf{a}}_k\right)}^T{\mathbf{y}}^k+{\eta }^2\frac{{\left(b-{\mathbf{a}}_k^T{\mathbf{y}}^k\right)}^2}{{\Vert {\mathbf{y}}^k\Vert }^2}\\ {\left(\mathbf{a}-{\mathbf{a}}_{k+1}\right)}^T{\mathbf{y}}^k={\mathbf{a}}^T{\mathbf{y}}^k-{\mathbf{a}}_{k+1}^T{\mathbf{y}}^k>b-{\mathbf{a}}_{k+1}^T{\mathbf{y}}^k\\ \Rightarrow {\Vert {\mathbf{a}}_{k+1}-\mathbf{a}\Vert }^2<{\Vert {\mathbf{a}}_k-\mathbf{a}\Vert }^2-\eta (2-\eta )\frac{{\left(b-{\mathbf{a}}_k^T{\mathbf{y}}^k\right)}^2}{{\Vert {\mathbf{y}}^k\Vert }^2}\end{array}$$
  如果$0<\eta <2$，则${\Vert {\mathbf{a}}_{k+1}-\mathbf{a}\Vert }^2<{\Vert {\mathbf{a}}_k-\mathbf{a}\Vert }^2$

最小平方误差（MSE）准则函数

• 对两类分类问题, 感知准则函数是寻找一个解向量 $\mathbf{a},$, 对所有样本 ${\mathbf{y}}_i$, 满足 ${\mathbf{a}}^T{\mathbf{y}}_i>0,i=1,2,\dots n$ 。或者说, 求解一个不等式组, 使满足 ${\mathbf{a}}^T{\mathbf{y}}_i>0$ 的数目最大, 从而错分样本最少。
• 将不等式约束改为等式：
  $${\mathbf{a}}^T{\mathbf{y}}_i=b_i>0$$
  其中, $b_i$ 是任意给定的正常数, 通常取 $b_i=1$, 或者 $b_i=$ $n_j/n$ 。 其中 $n_j,j=1$或$2$, 为属于第 $j$ 类样本的总数, 且 $n_1+n_2=n$
• 可得一个线性方程组 $\mathbf{Ya}=\mathbf{b}$
  ( y 10 y 11 ⋯ y 1 d y 20 y 21 ⋯ y 2 d ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ y n 0 y n 1 ⋯ y n d ) ( a 0 a 1 ⋮ ⋮ a d ) = ( b 1 b 2 ⋮ ⋮ b d ) \left(\begin{array}{cccc} y_{10} & y_{11} & \cdots & y_{1 d} \\ y_{20} & y_{21} & \cdots & y_{2 d} \\ \vdots & \vdots & & \vdots \\ \vdots & \vdots & & \vdots \\ y_{n 0} & y_{n 1} & \cdots & y_{n d} \end{array}\right)\left(\begin{array}{c} a_0 \\ a_1 \\ \vdots \\ \vdots \\ a_d \end{array}\right)=\left(\begin{array}{c} b_1 \\ b_2 \\ \vdots \\ \vdots \\ b_d \end{array}\right) ​y10​y20​⋮⋮yn0​​y11​y21​⋮⋮yn1​​⋯⋯⋯​y1d​y2d​⋮⋮ynd​​ ​ ​a0​a1​⋮⋮ad​​ ​= ​b1​b2​⋮⋮bd​​ ​
• 如果 $\mathbf{Y}$ 可逆, 则 $\mathbf{a}={\mathbf{Y}}^{-1}\mathbf{b}$
• 但通常情形下样本数远大于特征数 $n\gg d+1$, 求不出逆矩阵；因此考虑定义一个误差向量 $\mathbf{e}=\mathbf{Ya}-\mathbf{b}$, 并使误差向量最小
• 平方误差准则函数：
  $$J_s(\mathbf{a})=\Vert \mathbf{e}{\Vert }^2=\Vert \mathbf{Ya}-\mathbf{b}{\Vert }^2=\sum _{i=1}^n{\left({\mathbf{a}}^T{\mathbf{y}}_i-b_i\right)}^2$$
  求偏导数：
  $$\frac{\partial J_s(\mathbf{a})}{\partial \mathbf{a}}=\sum _{i=1}^{n}2\left({\mathbf{a}}^T{\mathbf{y}}_i-b_i\right){\mathbf{y}}_i=2{\mathbf{Y}}^T(\mathbf{Ya}-\mathbf{b})$$
  令偏导数为 $0$
  $${\mathbf{Y}}^T\mathbf{Ya}={\mathbf{Y}}^T\mathbf{b},\Rightarrow \mathbf{a}={\left({\mathbf{Y}}^T\mathbf{Y}\right)}^{-1}{\mathbf{Y}}^T\mathbf{b}={\mathbf{Y}}^{+}\mathbf{b}$$
  矩阵论告诉我们 ${\mathbf{Y}}^T\mathbf{Y}$ 一定是可逆的（我记得是在值空间零空间那边，但是我已经忘了ಥ_ಥ）；${\mathbf{Y}}^{+}$即为 $\mathbf{Y}$ 的伪逆，实际计算常用（不知道为什么）
  Y + ≈ ( Y T Y + ε I ) − 1 Y T ∣ ε → 0 \left.\mathbf{Y}^{+} \approx\left(\mathbf{Y}^T \mathbf{Y}+\varepsilon \mathbf{I}\right)^{-1} \mathbf{Y}^T\right|_{\varepsilon \rightarrow 0} Y+≈(YTY+εI)−1YT ​ε→0​
• 计算伪逆需要求矩阵的逆, 计算复杂度高。如果原始样本的维数很高, 比如 $d>5000$, 将十分耗时
• 采用梯度下降法: ${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\eta }_k{\mathbf{Y}}^T\left(\mathbf{b}-\mathbf{Y}{\mathbf{a}}_k\right)$
• 梯度下降法得到的 ${\mathbf{a}}_{k+1}$ 将收敛于一个解, 该解满足方程: ${\mathbf{Y}}^T(\mathbf{b}-\mathbf{Ya})=0$
• 也可以采用序列更新方法, 此方法需要的计算存储量会更小:
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\eta }_k\left(b_k-{\left({\mathbf{a}}_k\right)}^T{\mathbf{y}}^k\right){\mathbf{y}}^k$$
• 序列最小平方更新方法
  
• Widrow-Hoff 要求更正不相等情形: ${\left({\mathbf{a}}_k\right)}^T{\mathbf{y}}^k\ne b_k$ 。但是, 实际上, 满足 ${\left({\mathrm{a}}_k\right)}^T{\mathbf{y}}^k=b_k$ 几乎是不可能的。因此, 迭代将会无穷次进行下去。所以要求 ${\eta }_k$ 需要随着 $k$ 的增加而逐渐减小, 以保证算法的收敛性。一般来讲, 实际计算中取: ${\eta }_k=$ ${\eta }_1/k$
• 相对于感知器准则, 最小平方准则方法可能并不收敛于可分超平面, 即使该平面是存在的
  
  如上图，MSE的解并不能实现线性可分样本集的正确分类

Ho-Kashyap方法

• MSE算法上最小化 $\Vert \mathbf{Ya}-\mathbf{b}{\Vert }^2$, 所得到的最优解并不需要位于可分超平面上
• 如果训练样本是线性可分的, 则可找到一个权向量 $\mathbf{a}$, 对所有样本, 均有 ${\mathbf{a}}^T{\mathbf{y}}_i>0$ 。换句话说, 一定存在一个 $\mathbf{a}$ 和 $\mathbf{b}$, 使$\mathbf{Ya}=\mathbf{b}>0$
• 但是, 事先并不知道 $\mathbf{b}$ 。因此, MSE准则函数可以更新为:$J_s(\mathbf{a},\mathbf{b})=\Vert \mathbf{Ya}-\mathbf{b}{\Vert }^2$
• 直接优化 $J_s(\mathbf{a},\mathbf{b})$ 将导致平凡解（都取 $0$ 直接就结束了）, 所以需要给 $\mathbf{b}$ 加一个 $\mathbf{b}>0$ 的约束条件。此时 $\mathbf{b}$ 可以解释为 margin
• 梯度
  $$\frac{\partial J_s(\mathbf{a},\mathbf{b})}{\partial \mathbf{a}}=2{\mathbf{Y}}^T(\mathbf{Ya}-\mathbf{b}),\frac{\partial J_s(\mathbf{a},\mathbf{b})}{\partial \mathbf{b}}=-2(\mathbf{Ya}-\mathbf{b})$$
• 对 $\mathbf{a}$ 而言, 总有 $\mathbf{a}={\mathbf{Y}}^{+}\mathbf{b}$, 其中 ${\mathbf{Y}}^{+}$为 $\mathbf{Y}$ 的伪逆${\left({\mathbf{Y}}^T\mathbf{Y}\right)}^{-1}{\mathbf{Y}}^T$
• 对 $\mathbf{b}$, 需要同时满足约束条件 $\mathbf{b}>0$ 。梯度更新:
  $${\mathbf{b}}_{k+1}={\mathbf{b}}_k-{\eta }_k\frac{\partial J_s(\mathbf{a},\mathbf{b})}{\partial \mathbf{b}}$$
• 由于 ${\mathbf{b}}_k$ 总是大于零, 要使 ${\mathbf{b}}_{k+1}$ 也大于零, 可以要求 $\partial J_s(\mathbf{a},\mathbf{b})/\partial \mathbf{b}$ 为负（若$\partial J_s(\mathbf{a},\mathbf{b})/\partial \mathbf{b}$ 为正，括号里面为$0$；若$\partial J_s(\mathbf{a},\mathbf{b})/\partial \mathbf{b}$ 为负，括号里面为负）
  b 1 > 0 , b k + 1 = b k − η k 1 2 ( ∂ J s ( a , b ) ∂ b − ∣ ∂ J s ( a , b ) ∂ b ∣ ) \mathbf{b}_1>\mathbf{0}, \quad \mathbf{b}_{k+1}=\mathbf{b}_k-\eta_k \frac{1}{2}\left(\frac{\partial J_s(\mathbf{a}, \mathbf{b})}{\partial \mathbf{b}}-\left|\frac{\partial J_s(\mathbf{a}, \mathbf{b})}{\partial \mathbf{b}}\right|\right) b1​>0,bk+1​=bk​−ηk​21​(∂b∂Js​(a,b)​− ​∂b∂Js​(a,b)​ ​)
• $\frac{\partial J_s(\mathbf{a},\mathbf{b})}{\partial \mathbf{b}}=-2(\mathbf{Ya}-\mathbf{b})$，并记${\mathbf{e}}_k^{+}=\frac{1}{2}\left(\left(\mathbf{Y}{\mathbf{a}}_k-{\mathbf{b}}_k\right)+\left|\mathbf{Y}{\mathbf{a}}_k-{\mathbf{b}}_k\right|\right)$，则有
  $$\begin{array}{c}{\mathbf{a}}_k={\mathbf{Y}}^{+}{\mathbf{b}}_k\\ {\mathbf{b}}_1>0,{\mathbf{b}}_{k+1}={\mathbf{b}}_k+2{\eta }_k{\mathbf{e}}_k^{+}\end{array}$$
• 为了防止 $\mathbf{b}$ 收敛于 $0$, 可以让 $\mathbf{b}$ 从一个非负向量 $\left({\mathbf{b}}_1>0\right)$ 开始进行更新
• 由于要求 $\partial J_s(\mathbf{a},\mathbf{b})/\partial \mathbf{b}$ 等于 $0$, 在开始迭代时可令 $\partial J_s(\mathbf{a},\mathbf{b})/\partial \mathbf{b}$ 的元素为正的分量等于零, 从而加快收敛速度。
  
• 由于权向量序列 $\left\{{\mathbf{a}}_k\right\}$ 完全取决定于 $\left\{{\mathbf{b}}_k\right\}$, 因此本质上讲 Ho-Kashyap 算法是一个生成margin 序列 $\left\{{\mathbf{b}}_k\right\}$ 的方法
• 由于初始 ${\mathbf{b}}_1>0$, 且更新因子 $\eta >0$, 因此 ${\mathbf{b}}_k$ 总是大于 $0$
• 对于更新因子 $0<\eta \le 1$, 如果问题线性可分, 则总能找到元素全为正的 $b$ （不懂）
• 如果 ${\mathbf{e}}_k=\mathbf{Y}{\mathbf{a}}_k-{\mathbf{b}}_k$ 全为 0 , 此时, ${\mathbf{b}}_k$ 将不再更新, 因此获得一个解。如果 ${\mathrm{e}}_k$ 有一部分元素小于 0 , 则可以证明该问题不是线性可分的 （不懂）