AI实训（三）：聚类算法、支持向量机算法

1. 聚类算法

聚类概念：

• 无监督问题：我们手里没有标签了
• 聚类：相似的东西分到一组
• 难点：如何评估，如何调参

有个比较好玩的聚类算法可视化网站，可以方便理解聚类算法。
k-means
DBSCAN

1.1 K_means算法

1、基本概念

• 要得到簇的个数，需要指定K值（也就是分为K类）
• 质心：均值，即向量各维取平均即可（K个质心）
• 距离的度量：常用欧几里得距离和余弦相似度（先标准化）
• 优化目标：$min\sum _{i=1}^K\sum _{x\in C_i}dist(c_i,x{)}^2$

2、工作流程

（a）一堆没有标签的样本点
（b）随机初始化两个中心点（一红标签一蓝标签）
（c）遍历所有样本点，样本点到哪个中心点的距离最短，就贴上相应的标签。
（d）分别计算红色簇和蓝色簇的质心，作为新的中心点
（e）根据新中心点，重复（c）步骤
（f）重复（d）步骤
一直到质心不再改变，有时候可能会无限迭代下去，这时可以设置最大迭代次数。

由于是随机初始化中心点，所以同样的数据集，相同的K值，运行多次，每次得到的聚类效果可能都不一样。sklearn工具包中的k-means算法是默认跑10次然后取最好的那一次。

3、评估方法

注意：这里的评估方法只是一个参考，并不代表最佳的参数选择方案。

• Inertia指标：也就是每个样本与其质心的距离的平方的总和，在sklearn工具包中，这个指标值可以通过kmeans.inertia_属性来获得
• 轮廓系数：
  • : 计算样本i到同簇其他样本的平均距离ai。ai 越小，说明样本i越应该被聚类到该簇。将ai 称为样本i的簇内不相似度。
  • : 计算样本i到其他某簇Cj 的所有样本的平均距离bij，称为样本i与簇Cj 的不相似度。定义为样本i的簇间不相似度：bi =min{bi1, bi2, …, bik}
    
  • 结论：
    • si接近1，则说明样本i聚类合理；
    • si接近-1，则说明样本i更应该分类到另外的簇；
    • 若si 近似为0，则说明样本i在两个簇的边界上。

4、优劣势

优势：简单、快速、适合常规数据集（成堆形状的数据集，比如上面流程中的数据集）

劣势：

• K值难确定
• 复杂度与样本呈线性关系
• 很难发现任意形状的簇，比如下面这种
  

1.2 DBSCAN算法

如果要用聚类算法，首选 DBSCAN算法

1、基本概念

Density-Based Spatial Clustering of Applications with Noise

• 核心对象：若某个点的密度达到算法设定的阈值则其为核心点。（即 r 邻域内点的数量不小于 minPts）
  像下面图中的红色点，以其为圆心、半径为 r 画一个圆，圆内的样本数若大于某个值，那红色点就是一个核心对象。
  
• ϵ-邻域的距离阈值：设定的半径r
• 直接密度可达：若某点p在点q的 r 邻域内，且q是核心点则p-q直接密度可达。
• 密度可达：若有一个点的序列q0、q1、…qk，对任意 $q_i$-$q_{i-1}$ 是直接密度可达的，则称从q0到qk密度可达，这实际上是直接密度可达的“传播”。
  如下图，q0和q1是直接密度可达，q1和q2直接密度可达，则q0和q2是密度可达。
  
• 密度相连：若从某核心点p出发，点q和点k都是密度可达的，则称点q和点k是密度相连的。
• 边界点：边界点不是核心点，但落在某个核心点的邻域内。
• 噪声点：不属于任何一个类簇的点，从任何一个核心点出发都是密度不可达的。
  
  红色点：核心对象
  黄色点：边界点
  蓝色点：离群点（噪声点）

2、工作流程

• 参数D：输入数据集
• 参数ϵ：指定半径
• MinPts：密度阈值
  

3、参数选择

• 半径ϵ，可以根据K距离来设定：找突变点
  K距离：给定数据集P={p(i); i=0,1,…n}，计算点P(i)到集合D的子集S中所有点之间的距离，距离按照从小到大的顺序排序，d(k)就被称为k-距离。
• MinPts： k-距离中k的值，一般取的小一些，多次尝试

4、优劣势

优势：

• 不需要指定簇个数（簇个数由半径 r 决定）
• 擅长找到离群点（检测任务）
• 两个参数就够了
• 可以发现任意形状的簇
  

劣势：

• 高维数据有些困难（可以做降维）
• 参数难以选择（参数对结果的影响非常大）
• Sklearn中效率很慢（数据削减策略）

5、评估方法

可以用上面提到过的轮廓系数。

2. 支持向量机（SVM）算法

Support Vector Machine

决策边界

选出来离雷区最远的边界（雷区就是边界上的点，要Large Margin）

距离的计算

如果数据的特征是2维的，决策边界为一条线
如果数据的特征是3维的，决策边界为一个面

求出点 $x$ 到平面的距离？

现在假设数据的特征是3维度的，决策平面的方程为$W^{T}x+b=0$

在决策平面上有两个点 $x^{\prime }$、$x^{\prime \prime }$，则有 $W^T{x}^{\prime }=-b，W^T{x}^{\prime \prime }=-b$

W（法向量）垂直于决策平面，则$(x^{\prime \prime }-x^{\prime })$是平面上的一条向量，法向量 $W$ 垂直于平面上的任意一条向量，因此两者点积为0，即 $W^T(x^{\prime \prime }-x^{\prime })=0$

由以上铺垫可以得到，$dist(x,b,w)=|\frac{W^T}{||W||}(x-x^{\prime })|=\frac{1}{||W||}|W^{T}x+b|$

数据标签定义

数据集：$(x_1,Y_1)、(x_2,Y_2)\dots (x_n,Y_n)$

Y为样本的类别： 当 $x$ 为正例时候 Y = +1 ；当 $x$ 为负例时候 Y = -1。

决策方程：$y(x)=w^T\Phi (x)+b$（其中$\Phi (x)$是对数据做了变换，后面继续说）
于是有：
$$\left\{\begin{array}{l}y(x_i)>0\iff Y_i=+1\\ y(x_i)<0\iff Y_i=-1\end{array}\right\}\Rightarrow Y_i\cdot y(x_i)>0$$

优化的目标

通俗解释：找到一个条线（w和b），使得离该线最近的点（雷区）能够最远

将点到直线的距离化简得：$\frac{Y_i\cdot (W^T\Phi (x_i)+b)}{||W||}$（由于$Y_i\cdot y(x_i)>0$，所以将绝对值展开原始依旧成立）

放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值$|y(x_i)|\ge 1$，则有$Y_i\cdot (W^T\Phi (x_i)+b)\ge 1$（之前我们认为恒大于0，现在严格了些）

优化目标：$\underset{w,b}{\mathrm{argmax}}\{\frac{1}{||W||}\underset{i}{\min }[Y_i\cdot (W^T\Phi (x_i)+b)]\}$，由于$Y_i\cdot (W^T\Phi (x_i)+b)\ge 1$，只需要考虑 $\underset{w,b}{\mathrm{argmax}}\frac{1}{||W||}$（目标函数搞定！）

当前目标： $\underset{w,b}{\max }\frac{1}{||W||}$，约束条件：$Y_i\cdot (W^T\Phi (x_i)+b)\ge 1$

常规套路：将求解极大值问题转换成极小值问题----> $\underset{w,b}{\min }\frac{1}{2}{W}^2$

如何求解：应用拉格朗日乘子法求解！

拉格朗日乘子法

我们的式子：$L(w,b,\alpha )=\frac{1}{2}{W}^2-\sum _{i=1}^n{\alpha }_i(Y_i\cdot (W^T\Phi (x_i)+b)-1)$

SVM求解

SVM求解实例

数据：3个点，其中正例有 $x_1(3,3)$、$x_2(4,3)$，负例$x_3(1,1)$

求解：$$\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{j=1}^n{\alpha }_i$$

约束条件：
${\alpha }_1+{\alpha }_2-{\alpha }_3=0$
${\alpha }_i\ge 0,i=1,2,3$

将数据代入：$$\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3$$
由于：${\alpha }_1+{\alpha }_2={\alpha }_3$
化简可得：$4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$

分别对 ${\alpha }_1$、${\alpha }_2$求偏导，偏导等于0可得：${\alpha }_1=1.5，{\alpha }_2=-1$（并不满足约束条件 ${\alpha }_i\ge 0,i=1,2,3$，所以解应在边界上）

若 ${\alpha }_1=0，{\alpha }_2=-\frac{2}{13}$，带入原式=-0.153（不满足约束）
若 ${\alpha }_1=0.25，{\alpha }_2=0$，带入原式=-0.25（满足啦！）

最小值在(0.25,0,0.25)处取得。

将ɑ结果带入求解：$w=\sum _{i=1}^n{\alpha }_1{y}_i\Phi (x_n)$

$$\begin{gathered} w=\frac{1}{4}\ast 1\ast (3,3)+\frac{1}{4}\ast (-1)\ast (1,1)=(\frac{1}{2},\frac{1}{2}) \\ b=y_i-\sum _{i=1}^n{\alpha }_i{y}_i(x_i{x}_j)=1-(\frac{1}{4}\ast 1\ast 18+\frac{1}{4}\ast (-1)\ast 6)=-2 \end{gathered}$$

平面方程为：$0.5x_1+0.5x_2-2=0$

支持向量：真正发挥作用的数据点，是ɑ值不为0的点

soft-margin

软间隔：有时候数据中有一些噪音点，如果考虑它们咱们的线就不太好了

之前的方法要求要把两类点完全分得开，这个要求有点过于严格了，我们来放松一点！

为了解决该问题，引入松弛因子：$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$

新的目标函数：$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$

C是我们需要指定的一个参数！
当C趋近于很大时：意味着分类严格不能有错误
当C趋近于很小时：意味着可以有更大的错误容忍

低维不可分问题

核变换：既然低维的时候不可分，那我给它映射到高维呢？

目标：找到一种变换的方法，也就是 Φ()


高斯核函数：$K(X,Y)=exp\{-frac||X-Y|{|}^{2}2{\sigma }^2\}$

附加

空间中形如 Ax+By+Cz+D=0 的方程确定一个平面，其法向量就是向量(A,B,C)
写成矩阵形式就是 $W^{T}X+B=0$ 确定平面，法向量为 W

向量积，又称外积、叉积，物理中称矢积、叉乘，是一种在向量空间中向量的二元运算。它的运算结果是一个向量。并且两个向量的叉积与这两个向量和垂直。

数量积，又称内积、点积，是一种在向量空间中向量的二元运算，它的运算结果是一个标量。它是欧几里得空间的标准内积。