线性分类知识记录

3.1 概述

在向量空间中根据数据的特征向量和类别标签构造线性分类模型

3.2 基础知识

1. n维向量（vector）：n个数组成的有序数组，称为一个n维向量，$a=(a_1,a_2,...,a_n)$，其中$a_i$称为第i个分量
2. 分类问题转化为向量的分类
3. 向量空间的定义：所有分量为实数的n维向量构成的集合，称为一个n维向量空间，向量空间又称为线性空间
4. 向量空间的几何直观
5. 向量的线性相关性（一个向量可以由其他向量构造出来）
6. 向量的运算：
   • 遵循矩阵运算
   • 内积运算：
     • $a=(a_1,a_2,...,a_n{)}^T$
     • $b=(b_1,b_2,...,b_n{)}^T$
     • $⟨a,b⟩=a^{T}b=b^{T}a=\Vert a\Vert \Vert b\Vert cos\phi$
     • $⟨a,b⟩/\Vert b\Vert =\Vert a\Vert cos\phi$
     • $⟨a,b⟩/\Vert a\Vert =\Vert b\Vert cos\phi$
7. 超平面表达式：$g(x)=w^{T}x+w_0=0$
   • 实例（样本）：$x=(x_1,x_2,...,x_l{)}^T$
   • 权向量（超平面的法向量）：$w=(w_1,w_2,...,w_l)\dots \dots T$
   • 偏移量：$w_0$
8. 线性判别函数：$g(x)=w^{T}x+w_0$
   • $g(x)>0,xϵ{\omega }_1$
   • $g(x)<0,xϵ{\omega }_2$
   • 几何意义：线性函数刻画了样本到超平面的距离
9. 向量相似性度量
   • Minkovski Metric闵式距离（p-范数）
     • $D(x,y)=[{\sum }_i|x_i-y_i{|}^p{]}^{1/p}$
   • 欧氏距离（p=2）（2-范数）
     • $D(x,y)=[(x-y{)}^T(x-y){]}^{1/2}$
   • 城市块（p=1）、曼哈顿距离（1-范数）
     • $D(x,y)={\sum }_i|x_i-y_i|$
   • Chobychev距离（p=inf）
     • $D(x,y)=ma{x}_i|x_i-y_i|$
   • 平方距离/马氏距离
     • $D(x,y)=(x-y{)}^{T}Q(x-y)$
   • 余弦相似度
     • $cos\phi =a^{T}b/|a||b|$
10. 样本的统计量（向量均为列向量）
    • 类均值向量
      • $m_i=\frac{1}{n_i}{\sum }_{k=1}^{n_i}{x}_k^{(i)}$
    • 总均值向量
      • $n={\sum }_{i=1}^c{P}_i{m}_i$
      • $m=\frac{1}{c}{\sum }_{i=1}^c{m}_i$
    • 类内散度矩阵
      • $S_i=\frac{1}{n_i}{\sum }_{k=1}^{n_i}(x_k^{(i)}-m_i)(x_k^{(i)}-m_i{)}^T$
    • 总类内散度矩阵
      • $S_w={\sum }_{i=1}^c{P}_i{S}_i={\sum }_{i=1}^c{P}_i\frac{1}{n_i}{\sum }_{k=1}^{n_i}(x_k^{(i)}-m_i)(x_k^{(i)}-m_i{)}^T$
    • 类间散度矩阵
      • $S_b={\sum }_{i=1}^c(m_i-m)(m_i-m{)}^T$
11. 分类问题
    • 定义：根据给定训练集$T=\{(x_1,y_1),...,(x_l,y_l)\},x_iϵC=R^n,y_iϵY=1,2,...,m,i=1,2,...,l$，要求寻找C上的决策函数$g(x):C\to Y$
    • 评估方法
      • 留出法，数据集分两类，交叉验证
      • 交叉验证法，数据集分成k类，其中1类做测试，k-1类做测试；进行k次实验取平均
      • 自助法，m次随机取一个样本，共m个样本，放入D‘中；由D’训练，D\D‘测试
    • 性能评价
      • 错误率与精度
      • 查准率、查全率与F1
      • ROC与AUC
      • 代价敏感错误率与代价曲线
    • 比较检验
      • 假设检验
      • 交叉验证t检验
      • McNumber检验
      • Friedman检验与Nemenyi检验
    • 线性决策的多分类问题：
      • 二叉树比对
        • k类问题，至少需要预先训练k(k-1)/2个分类器，然后采用二叉树对比测试
      • 最大相似性
        • $\hat{y}=argmax{w}_c^{T}x$

3.3 感知机

线性分类：

• 决策函数几何意义：刻画了样本到超平面的距离
• 验证函数$y_i(w_i^T{x}_i+w_0)$
• 优化方法：
  • 梯度下降(GD)$\underset{w}{\min }J(w)=\sum _j{J}_i(w)$， $w=w-\eta \frac{\partial J(w)}{\partial w}=w-\eta ▽J(w)=w-\eta {\sum }_i\frac{\partial J_i(w)}{\partial w}=w-\eta {\sum }_i▽J_i(w)$
  • 随机梯度下降(SGD)$w=w-\eta \frac{\partial J_i(w)}{\partial w}$

感知机结构：

• 输入：$x(n)=[+1,x_1(n),x_2(n),...,x_m(n){]}^T$
• 神经元连接权：$w(n)=[b,w_1(n),w_2(n),...,w_m(n){]}^T$
• 神经元局部感受域：$v(n)={\sum }_{i=1}^m{w}_i(n)x_i(n)=w^T(n)x(n)$
• 硬激活函数：

感知机学习准则：

1. 目标：最小化错分样本的误差代价

• 代价函数（错分样本的误差函数）J(w)

  2. J(w)含义：错分样本到分类超平面误差距离的总和
  3. 感知机优化：

• Batch Perception

• Online Perception

4. 误差修正基本规则

• 固定增量的感知机修正
  • 固定增量感知器收敛定理：若训练样本线性可分，则感知器训练算法在有限次迭代后可以收敛到正确的解向量w
• 误差修正自适应规则

3.4 线性鉴别分析

简答题：试阐述LDA（线性鉴别分析）的分类思想

答案：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来判断新样本的类别。

基本思想：

• 求线性变换$y=w^{T}x$，使得样本集$\{x_i\}$线性变换成一维变量$\{y_i\}$后，类别间距大，类内间距小
• 假设：如果用各类均值代表类别，类别间最大的方向
  • ${\mu }_1=\frac{1}{N_1}\sum x_i,{\mu }_2=\frac{1}{N_2}\sum x_i$
  • 问题：只考虑类间，有可能线性不可分
• 目标函数（Fisher Criterion）：
  • $maxJ(w)=\frac{(m_1-m_2{)}^2}{S_1^2+S_2^2}$
  • $J=\frac{类别间距}{类内平均距离}$
  • 样本投影后的类别间距离$(m_1-m_2{)}^2$，其中$m_i$代表第i类样本投后的均值
  • 第k类样本平均值（类心）：${\mu }_k=\frac{1}{|C_k|}\sum x_i$
  • 样本$x_i$投影到w方向后，为$y_i=w^T{x}_i$
  • 投影后的类心：
    • $m_k=\frac{1}{|C_k|}\sum y_i=w^T{\mu }_k$
    • w方向投影后，类间距：$m_1-m_2=w^T({\mu }_1-{\mu }_2)$
    • $(m_1-m_2{)}^2=(m_1-m_2)(m_1-m_2{)}^T=w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w=w^T{S}_{b}w$
    • 类间散度矩阵：$S_b=({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T$
    • 若考虑先验，可以定义：$S_b=p({\omega }_1)p({\omega }_2)({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T$
    • 类内距离：投影后各类样本方差$S_1^2+S_2^2$
    • 样本均方差（类别内松散程度）：$\sigma {k}^{2} =\sum (x{i}-\mu_{k})^{2}=\sum \tilde{x }_{i}^{2} $
    • $S_k^2=\sum (y_i-m_k{)}^2=\sum (w^T(x_i-{\mu }_k){)}^2=\sum (w^T{\tilde{x}}_i{)}^2=\sum (w^T{\tilde{x}}_i)(w^T{\tilde{x}}_i{)}^T=\sum w^T{\tilde{x}}_i{\tilde{x}}_i^{T}w=w^T(\sum {\tilde{x}}_i{\tilde{x}}_i^T)w=w^T(X_k{X}_k^T)w$
    • 在投影方向上，类别内距离$S_1^2+S_2^2=w^T(X_1{X}_1^T)w+w^T(X_2{X}_2^T)w=w^T(X_1{X}_1^T+X_2{X}_2^T)w=w^T{S}_{w}w$
    • 类内散度矩阵：$S_w=X_1{X}_1^T+X_2{X}_2^T$
    • 若考虑先验：$S_w=p({\omega }_1)X_1{X}_1^T+p({\omega }_2)X_2{X}_2^T$
  • $maxJ(w)=\frac{(m_1-m_2{)}^2}{S_1^2+S_2^2}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$
• 求解方法：
  

3.5 logistic模型

基本思想：

​ 假设likelihood ratio的对数为线性判别函数：$log(\frac{p(x|{\omega }_i)}{p(x|{\omega }_M)})={\beta }_{i,0}+{\beta }_i^{T}x,i=1,2,...,M-1\Rightarrow log(\frac{p(x|{\omega }_i)}{p(x|{\omega }_M)})=w_{i,0}+w_i^{T}x,i=1,2,...,M-1$

3.6 其他方法：最小距离分类、最小均方误差方法、线性SVM

最小距离分类器

• 基本思想：每类建立一个原型向量，以最小距离的原型作为分类依据
• 类别的均值向量作为原型向量$m_i=\frac{1}{n_i}{\sum }_{k=1}^{n_i}{x}_k^{(i)}$
• 决策准则：$h(x)=arg\underset{c_i}{\min }||x-m_i|{|}^2$
• 决策平面：$g(x)=w^T(x-x_0)=0,w=m_1-m_2,x_0=\frac{1}{2}(m_1+m_2)$
• 决策函数：$g(x)=w^{T}x+b,w=m_1-m_2,b=-\frac{1}{2}(m_1-m_2{)}^T(m_1+m_2)$

最小均方误差

• 基本思想：由线性模型拟合类别，最小化样本类别预测误差

• 代价函数：$J(w)=\sum (y_i-x_i^{T}w{)}^2=\sum e_i^2,x,w为增广表示$

• 学习算法1：伪逆矩阵法
  

• 学习算法2：梯度下降算法

线性SVM

• 基本思想：找到最大间隔分类超平面

• 目标：类别集合到分类超平面的最小距离最大化

• 支撑向量：支撑最小距离最大化的样本

• 支撑超平面：由支持向量组成，平行于分类面的超平面

• 样本到分类平面的间隔

  • $|z|=\frac{|g(x)|}{||w||}$
  • $g(x)=w^{T}x+b$
  • $|g(x)|$正比于$||w||$

• SV到分类超平面的间隔：

  • 为了SVM优化目标有唯一解，固定模长，避免w方向重复，固定|g(x)|或固定|w|。
  • 选择固定|g(x)|，令|g(x)|=c=1，则$g(x)=\pm 1$
  • $z=\frac{g(x)}{||w||},g(x)=\pm 1,z_{\pm }=\frac{\pm 1}{||w||}$
  • 支撑超平面的表示$w^{T}x+b=\pm 1$
  • 等价表达：$y(w^{T}x+b)-1=0,y为样本x的类别标签$
  • SVM期望样本在支撑面的两侧：$y_i(w^T{x}_i+b)-1\ge 0$

• 最大间隔问题：

  • $maxd=max(z_{+}-z_{-})=\underset{w}{\max }\frac{2}{||w||}$
  • 或 $maxd=max(||z_{\pm }||)=\underset{w}{\max }\frac{1}{||w||}$

• 目标函数：

  • $\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$
  • $s.t{y}_i(w^T{x}_i+b)-1\ge 0,i=1,2,...,l$