非线性分类

4.1 概述

线性扩展的思想：

• 线性扩展模型：$g(x)=w^T\phi (x)+b$
• 核函数方法：$g(x)=w^{T}k(x,x_i)+b$

非线性的思想：

• 最近邻
• 决策树
• 神经网络
• 集成学习

4.2 决策树

目标：

• 在树结构上，根据节点的判断，搜索类别

树结构的优点：

• 可以不必测试所有的特征和区域

关键问题：

• 问题数
  • 离散值
    • 方法1：每个特征可以作为候选问题（ID3、C4.5），属性$A_i产生的候选问题数为N_i=1$
    • 方法2：每个特征的每个离散值作为候选问题（CART），属性$A_i产生的候选问题数为N_i=n_i$
  • 连续值
    • 以每个维度的样本特征值作为问题
• 划分（问题）选择

  • 非纯度Impurity Measure(IM)

    • IM最大时，各类别概率相等
    • IM最小时为0，只有一类（期望的目标）

  • 非纯度的熵度量（C4.5）

    • $I(D)=Entropy(D)=-{\sum }_{i=1}^k{p}_{i}log{p}_i$

  • 非纯度的基尼度量

    • $I(D)=Gini(D)=1-{\sum }_{i=1}^k{p}_i^2$

  • 划分选择目标：

    • 选择最大减少类别非纯度的问题作为划分节点

  • 基于非纯度变化量的三个指标：

    • 信息增益（ID3）：越大越好

      • $Gain(D,a)=Entropy(D)-{\sum }_{vϵValue(A)}\frac{|D^v|}{|D|}Entropy(D^v)$
      • 存在的问题：Gain(D,a)倾向于选择划分集合个数v多的节点

    • 增益率（C4.5）：越大越好

      • $Gini\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$
      • $IV(a)=-{\sum }_{v=1}^V\frac{|D^v|}{|D|}log\frac{|D^v|}{|D|}$

    • 基尼指数：越小越好

      • $Gini\_index(D,a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$

  • 节点类别设置：

    • 叶子节点纯度达到预设阈值后，停止划分，并对叶子节点进行类别设置。
    • 按概率最大的类别设定：
      • $j=arg\underset{i}{\max }{p}_i$
• 决策树生成
  • 生成过程：从顶向下（不断增加一个节点）
  • 准则：所有划分中选择一个使非纯度减少量最大的划分为节点，加入决策树
  • 贪婪学习
  • 停止规则：设定阈值
• 剪枝处理
  • 预剪枝
  • 后剪枝

4.3 最近邻方法

原理：将样本分类为离之最近的样本类别

分类准则：${\omega }_i$类判别函数$g_i(x)=\underset{k}{\min }||x-x_i^k||,x_i^k\in {\omega }_i,k=1,2,...,N_i$

决策规则：$if{g}_j(x)=\underset{i=1,...,c}{\min }{g}_i(x),thenx\in {\omega }_j$

最近邻分类隐含的决策边界是非线性的

k近邻

• 原理：将样本分给k个近邻中类别样本个数最多的类

• 分类准则：

  • $k_i,i=1,...,c$，为x的k个近邻中属于${\omega }_i$的样本数
  • 判别函数：$g_i(x)=k_i,i=1,...,c$
  • 决策规则：$if{g}_j(x)=\underset{i=1,...,c}{\max }{k}_i,thenx\in {\omega }_j$

• 误差讨论

• 近邻法的缺点：

  • 存储量大：训练样本需要存到内存
  • 计算量大：每次决策都要计算所有样本的相似性

快速算法一：快速搜索近邻法：

• 将样本分成不相交的子集，基于子集的搜索
  • 1、样本分级分层为多个子集
  • 2、逐层搜出一个最优子集
  • 3、在最后的子集中局部找到最近样本点

快速算法二：剪辑近邻法：

• 通过剪掉边界样本（错误分类样本），缩减样本规模
• 剪辑规则：
  • 两分剪辑近邻法
    • 将训练样本集，分成两个子集A,B
    • A做分类参考，对B进行剪辑（错分样本被剪掉）
    • 剪辑后的B-作为最终的训练集，训练近邻分类器

快速算法三：压缩近邻法：

• 去掉中心附近样本，保留错误样本
• 分类中通常被正确分类的样本，较少支持决策，将常分误的样本保留
• 压缩规则：
  • 1、初始化，训练集分为S，G。S中仅1个样本；G中N-1个
  • 2、S作为训练，分类G中第i个样本；如果错误，将该样本放入S中
  • 3、对每一个样本重复步骤2
  • 4、直到G无错分样本，或G为空
  • 5、将G中样本放弃，S是最终压缩样本集

拒绝决策近邻法

• 原理：对于各类别相似度较低的样本，不做判断
• 优点：在样本压缩时，给可是可非样本机会
• 算法1：可拒绝的k近邻法（分类决策）
  • k近邻中，各类样本的个数小于$k_i$，拒绝分类
• 算法2：可拒绝的编辑近邻法（样本压缩）
  • 与编辑近邻法比较，不同之处：除保留正确分类样本外，还保留了拒绝样本

4.4 集成学习

原理：不同的分类器对样本有不同的鉴别力；综合优势，使错误率最小

Geometric Average Rule（几何平均）

• 最小化KL距离平均
• 集成方法：$p({\omega }_i|x)={\prod }_{j=1}^L(p_j({\omega }_i|x))$
• 每个分类器的KL距离：$D_j={\sum }_{i=1}^{M}p({\omega }_i|x)ln\frac{p({\omega }_i|x)}{p_j({\omega }_i|x)},{\sum }_{i=1}^M{p}_j({\omega }_i|x)=1$

Arithmetic Average Rule算术

• 最小化Alternative KL距离平均
• 集成方法：$p({\omega }_i|x)={\sum }_{j=1}^L{p}_j({\omega }_i|x)$
• 每个分类器的Alternative KL距离：$D_j={\sum }_{i=1}^M{p}_j({\omega }_i|x)ln\frac{p_j({\omega }_i|x)}{p({\omega }_i|x)},{\sum }_{i=1}^M{p}_j({\omega }_i|x)=1$

Majority Voting Rule投票

• 对两类问题，多个分类器进行决策投票，票数过半的类别为样本最终标签
• 什么样的基分类器组合比较好：（1）多样性（2）性能不太差
• 要求基分类器：（1）相互独立（2）正确率p>50%
• Bagging
  • 通过随机采样，训练分类器，保证分类器的差异
    • 从训练集中不断随机抽取样本构造分类器（放回选样），分类时通过投票进行类别判断
    • 算法复杂度：基分类器复杂度+投票复杂度
• 随机森林
  • 多决策树的Bagging，决策树随机属性选择
    • 从训练集中不断随机构造决策树分类器（放回选样），分类时投票进行类别判断
• Boosting：AdaBoost
  • Boosting原理：一系列弱分类器，在不同子集上学习，得到增强分类器

4.5 非线性SVM

• 核心思想：

  • 最大间隔：找到最大间隔分类超平面

  • 核函数方法：样本升维映射到高维空间后，采用线性决策。升维技巧由核技巧实现

• 目标：找到最大间隔分类超平面

• 函数间隔

• 几何间隔：w，b成比例改变，几何间隔不变

• 核函数方法：避免直接求非线性映射，由核函数代替内积运算