nano-

支持向量机的原理与实践

学习目标

了解支持向量机的理论
掌握支持向量机的 sklearn 函数调用

支持向量机原理简介

支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其优美的理论保证和利用核函数对于线性不可分问题的处理技巧，在上世纪90年代左右，SVM 曾红极一时。

SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非线性模型）：

当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

支持向量

线性可分

在二维空间上，两类点被一条直线完全分开叫做线性可分。

严格的数学定义是：

$D_{0}$ 和 $D_{1}$ 是 n 维欧氏空间中的两个点集。如果存在 n 维向量 w 和实数 b，使得所有属于 $D_{0}$ 的点 $x_{i}$ 都有 $wx_{i}+b > 0$ ，而对于所有属于 $D_{1}$ 的点 $x_{j}$ 则有 $wx_{i}+b < 0$ ，则我们称 $D_{0}$ 和 $D_{1}$ 线性可分。

最大间隔超平面

从二维扩展到多维空间中时，将 $D_{0}$ 和 $D_{1}$ 完全正确地划分开的就成了一个超平面。

为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。

两类样本分别分割在该超平面的两侧；
两侧距离超平面最近的样本点到超平面的距离被最大化了。

支持向量

样本中距离超平面最近的一些点（如上图中带蓝边的点），这些点叫做支持向量。

SVM 最优化问题

SVM 想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述：

$w^{T}x+b=0$

二维空间点 $\left ( x,y \right )$ 到直线的距离公式是：

$\frac{\left | Ax+By+C \right | }{\sqrt{A^{2}+B^{2} } }$

扩展到 n 维空间后，点 $x=\left ( x_{1},x_{2},\cdots ,x_{n} \right )$ 到直线 $w^{T}x+b=0$ 的距离为：

$\frac{\left | w^{T}x+b \right | }{\left \| w \right \| }$

其中

$\left \| w \right \| =\sqrt{w_{1}^{2}+w_{2}^{2}+\cdots +w_{n}^{2} }$

如图所示，根据支持向量的定义我们知道，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d。

于是我们有这样的一个公式：

$\begin{cases} \frac{\left | w^{T}x+b \right | }{\left \| w \right \| }\ge d & \text{ } y=1 \\ \frac{\left | w^{T}x+b \right | }{\left \| w \right \| }\le -d & \text{ } y=-1 \end{cases}$

稍作转化可以得到：

$\begin{cases} \frac{\left | w^{T}x+b \right | }{\left \| w \right \|d }\ge 1 & \text{ } y=1 \\ \frac{\left | w^{T}x+b \right | }{\left \| w \right \|d }\le -1 & \text{ } y=-1 \end{cases}$

$\left \| w \right \|d$ 是正数，我们暂且令它为 1（之所以令它等于 1，是为了方便推导和优化，且这样做对目标函数的优化没有影响），故：

$\begin{cases} w^{T}x+b\ge 1 & \text{ } y=1 \\ w^{T}x+b\le -1 & \text{ } y=-1 \end{cases}$

将两个方程合并，我们可以简写为：

$y\left ( w^{T}x+b \right ) \ge 1$

至此我们就可以得到最大间隔超平面的上下两个超平面：

每个支持向量到超平面的距离可以写为：

$d = \frac{\left | w^{T}x+b \right | }{\left \| w \right \| }$

由上述 $y\left ( w^{T}x+b \right ) \ge 1$ 可以得到 $y\left ( w^{T}x+b \right ) =\left | w^{T}x+b \right |$ ，所以我们得到：

$d = \frac{y\left ( w^{T}x+b \right ) }{\left \| w \right \| }$

最大化这个距离：

$\max 2* \frac{y\left ( w^{T}x+b \right ) }{\left \| w \right \| }$

这里乘上 2 是为了后面推导，对目标函数没有影响。刚刚我们得到支持向量 $y\left ( w^{T}x+b \right ) = 1$ ，所以我们得到：

$\max \frac{2}{\left \| w \right \| }$

再做一个转换：

$\min \frac{1}{2}\left \| w \right \|$

为了方便计算（去除 $\left \| w \right \|$ 的根号），我们有：

$\min \frac{1}{2}\left \| w \right \|^{2}$

所以得到的最优化问题是：

$\min \frac{1}{2}\left \| w \right \|^{2} \ s.t. \ y_{i}\left ( w^{T}x_{i}+b \right ) \ge 1$

SVM 优化

我们已知 SVM 优化的主问题是：

$\min \frac{1}{2}\left \| w \right \|^{2} \ s.t. \ g_{i}\left ( w,b \right ) = 1- y_{i}\left ( w^{T}x_{i}+b \right ) \le 0, \ i=1,2,\cdots ,n$

那么求解线性可分的 SVM 的步骤为：

步骤 1：

构造拉格朗日函数：

$\min_{w,b} \max_{\lambda } L\left ( w,b,\lambda \right ) =\frac{1}{2} \left \| w \right \| ^{2} +\sum_{i=1}^{n} \lambda _{i} \left [ 1-y_{i} \left ( w^{T} x_{i} +b \right ) \right ] \ s.t. \ \lambda _{i} \ge 0$

步骤 2：

利用强对偶性转化：

$\max_{\lambda } \min_{w,b} L\left ( w,b,\lambda \right )$

现对参数 w 和 b 求偏导数：

得到：

我们将这个结果带回到函数中可得：

$\begin{align*} L\left ( w,b,\lambda \right ) &=\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) +\sum_{i=1}^{n} \lambda _{i} -\sum_{i=1}^{n} \lambda _{i}y_{i} \left ( \sum_{j=1}^{n} \lambda _{i}y_{i}\left ( x_{i}\cdot x_{j} \right ) +b \right ) \\ &=\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) +\sum_{i=1}^{n} \lambda _{i} -\sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) - \sum_{i=1}^{n} \lambda _{i}y_{i}b \\ &=\sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) \end{align*}$

也就是说：

$\min_{w,b} L\left ( w,b,\lambda \right ) =\sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right )$

步骤 3：

由步骤 2 得：

$\max_{\lambda } \left [ \sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) \right ] \ s.t. \ \sum_{i=1}^{n} \lambda _{i}y_{i}=0 \ \ \ \ \lambda _{i} \ge 0$

我们可以看出来这是一个二次规划问题，问题规模正比于训练样本数，我们常用 SMO(Sequential Minimal Optimization) 算法求解。

SMO(Sequential Minimal Optimization)，序列最小优化算法，其核心思想非常简单：每次只优化一个参数，其他参数先固定住，仅求当前这个优化参数的极值。我们来看一下 SMO 算法在 SVM 中的应用。

我们刚说了 SMO 算法每次只优化一个参数，但我们的优化目标有约束条件： $\sum_{i=1}^{n} \lambda _{i}y_{i}=0$ ，没法一次只变动一个参数。所以我们选择了一次选择两个参数。具体步骤为：

1.选择两个需要更新的参数 $\lambda _{i}$ 和 $\lambda _{j}$ ，固定其他参数。于是我们有以下约束：

$\lambda _{i}y_{i}+\lambda _{j}y_{j}=c \ \ \lambda _{i}\ge 0 , \lambda _{j}\ge 0$

其中 $c=-\sum_{k\ne i,j}\lambda _{k}y_{k}$ ，由此可以得出 $\lambda _{j}=\frac{c-\lambda _{i}y_{i}}{y_{j}}$ ，也就是说我们可以用 $\lambda _{i}$ 的表达式代替 $\lambda _{j}$ 。这样就相当于把目标问题转化成了仅有一个约束条件的最优化问题，仅有的约束是 $\lambda _{i}\ge 0$

2.对于仅有一个约束条件的最优化问题，我们完全可以在 $\lambda _{i}$ 上对优化目标求偏导，令导数为零，从而求出变量值 $\lambda _{i_{new}}$ ，然后根据 $\lambda _{i_{new}}$ 求出 $\lambda _{j_{new}}$ 。

3.多次迭代直至收敛。

通过 SMO 求得最优解 $\lambda ^{*}$ 。

步骤 4 ：

我们求偏导数时得到：

$w = \sum_{i=1}^{n} \lambda _{i}x_{i}y_{i}$

由上式可求得 w。

我们知道所有 $\lambda _{i} > 0$ 对应的点都是支持向量，我们可以随便找个支持向量，然后带入： $y_{s} \left ( wx_{s}+b \right ) =1$ ，求出 b 即可。

两边同乘 $y_{s}$ ，得 $y_{s}^{2} \left ( wx_{s}+b \right ) =y_{s}$ 。

因为 $y_{s}^{2}=1$ ，所以： $b=y_{s} - wx_{s}$ 。

为了更具鲁棒性，我们可以求得支持向量的均值：

$b=\frac{1}{\left | S \right | } \sum_{s\in S} \left ( y_{s} - wx_{s} \right )$

步骤 5：

w 和 b 都求出来了，我们就能构造出最大分割超平面： $w^{T} x+b=0$ 。

分类决策函数： $f\left ( x \right ) = sign\left ( w^{T} x+b \right )$

其中 $sign\left ( \cdot \right )$ 为阶跃函数：

$sign\left ( x \right ) = \begin{cases} -1 & \text{ } x<0 \\ 0 & \text{ } x=0 \\ 1 & \text{ } x>0 \end{cases}$

将新样本点导入到决策函数中既可得到样本的分类。

软间隔

解决问题

在实际应用中，完全线性可分的样本是很少的，如果遇到了不能够完全线性可分的样本，我们应该怎么办？比如下面这个：

于是我们就有了软间隔，相比于硬间隔的苛刻条件，我们允许个别样本点出现在间隔带里面，比如：

我们允许部分样本点不满足约束条件：

$1- y_{i}\left ( w^{T}x_{i}+b \right ) \le 0$

为了度量这个间隔软到何种程度，我们为每个样本引入一个松弛变量 $\xi _{i}$ ，令 $\xi _{i} \ge 0$ ，且 $1- y_{i}\left ( w^{T}x_{i}+b \right )-\xi _{i} \le 0$ 。对应如下图所示：

优化目标及求解

增加软间隔后我们的优化目标变成了：

$\min_{w} \frac{1}{2}\left \| w \right \|^{2} + C\sum_{i=1}^{n} \xi _{i}$

$s.t. \ g_{i}\left ( w,b \right ) = 1- y_{i}\left ( w^{T}x_{i}+b \right ) -\xi _{i} \le 0, \ \xi _{i}\ge 0, \ i=1,2,\cdots ,n$

其中 C 是一个大于 0 的常数，可以理解为错误样本的惩罚程度，若 C 为无穷大， $\xi _{i}$ 必然无穷小，如此一来线性 SVM 就又变成了线性可分 SVM；当 C 为有限值的时候，才会允许部分样本不遵循约束条件。

接下来我们将针对新的优化目标求解最优化问题：

步骤 1：

构造拉格朗日函数：

$\min_{w,b,\xi } \max_{\lambda,\mu } L\left ( w,b,\xi ,\lambda,\mu \right ) =\frac{1}{2} \left \| w \right \| ^{2} + C\sum_{i=1}^{n} \xi _{i} +\sum_{i=1}^{n} \lambda _{i} \left [ 1-\xi _{i}-y_{i} \left ( w^{T} x_{i} +b \right ) \right ] - \sum_{i=1}^{n} \mu _{i} \xi _{i} \ \ s.t. \ \ \lambda _{i} \ge 0, \ \ \mu _{i} \ge 0$

其中 $\lambda _{i}$ 和 $\mu _{i}$ 是拉格朗日乘子，w、b 和 $\xi _{i}$ 是主问题参数。

根据强对偶性，将对偶问题转换为：

$\max_{\lambda,\mu } \min_{w,b,\xi } L\left ( w,b,\xi ,\lambda,\mu \right )$

步骤 2：

分别对主问题参数w、b 和 $\xi _{i}$ 求偏导数，并令偏导数为 0，得出如下关系：

将这些关系带入拉格朗日函数中，得到：

$\min_{w,b,\xi } L\left ( w,b,\xi ,\lambda,\mu \right ) = \sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right )$

最小化结果只有 $\lambda$ 而没有 $\mu$ ，所以现在只需要最大化 $\lambda$ 即可：

$\max_{\lambda } \left [ \sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( x_{i}\cdot x_{j} \right ) \right ]$

$s.t. \ \ \sum_{i=1}^{n} \lambda _{i}y_{i} = 0, \ \lambda _{i} \ge 0, \ C-\lambda _{i}-\mu _{i} = 0$

我们可以看到这个和硬间隔的一样，只是多了个约束条件。

然后我们利用 SMO 算法求解得到拉格朗日乘子 $\lambda ^{*}$ 。

步骤 3 ：

$\begin{align*} w&=\sum_{i=1}^{n} \lambda _{i}x_{i}y_{i} \\ b&=\frac{1}{\left | S \right | } \sum_{s\in S}\left ( y_{s} -wx_{s} \right ) \end{align*}$

然后我们通过上面两个式子求出 w 和 b，最终求得超平面 $w^{T} x + b = 0$

这边要注意一个问题，在间隔内的那部分样本点是不是支持向量？

我们可以由求参数 w 的那个式子可看出，只要 $\lambda _{i} >0$ 的点都能够影响我们的超平面，因此都是支持向量。

核函数

线性不可分

我们刚刚讨论的硬间隔和软间隔都是在说样本的完全线性可分或者大部分样本点的线性可分。

但我们可能会碰到的一种情况是样本点不是线性可分的，比如：

这种情况的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分，比如：

对于在有限维度向量空间中线性不可分的样本，我们将其映射到更高维度的向量空间里，再通过间隔最大化的方式，学习得到支持向量机，就是非线性 SVM。

我们用 x 表示原来的样本点，用 $\phi \left ( x \right )$ 表示 x 映射到新的特征空间后到新向量。那么分割超平面可以表示为：

$f\left ( x \right ) = w\phi \left ( x \right ) +b$

对于非线性 SVM 的对偶问题就变成了：

$\max_{\lambda } \left [ \sum_{i=1}^{n} \lambda _{i} - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \lambda _{i}\lambda _{j}y_{i}y_{j}\left ( \phi \left ( x_{i} \right ) \cdot \phi \left ( x_{j} \right ) \right ) \right ]$

$s.t. \ \ \sum_{i=1}^{n} \lambda _{i}y_{i} = 0, \ \lambda _{i} \ge 0, \ C-\lambda _{i}-\mu _{i} = 0$

可以看到与线性 SVM 唯一的不同就是：之前的 $\left ( x_{i} \cdot x_{j} \right )$ 变成了 $\left ( \phi \left ( x_{i} \right ) \cdot \phi \left ( x_{j} \right ) \right )$

核函数的作用

我们不禁有个疑问：只是做个内积运算，为什么要有核函数呢？

这是因为低维空间映射到高维空间后维度可能会很大，如果将全部样本的点乘全部计算好，这样的计算量太大了。

但如果我们有这样的一核函数 $k\left ( x,y \right ) =\left ( \phi \left ( x \right ) , \phi \left ( y \right ) \right )$ ， $x_{i}$ 与 $x_{j}$ 在特征空间的内积等于它们在原始样本空间中通过函数 $k\left ( x,y \right )$ 计算的结果，我们就不需要计算高维甚至无穷维空间的内积了。

举个例子：假设我们有一个多项式核函数：

$k\left ( x,y \right ) =\left ( x\cdot y+1 \right ) ^{2}$

带进样本点后：

$k\left ( x,y \right ) =\left ( \sum_{i=1}^{n}\left ( x_{i}\cdot y_{i} \right ) +1 \right ) ^{2}$

而它的展开项是：

$\sum_{i=1}^{n} x_{i}^{2} y_{i}^{2}+\sum_{i=2}^{n} \sum_{j=1}^{i-1} \left ( \sqrt{2} x_{i}x_{j} \right ) \left ( \sqrt{2} y_{i}y_{j} \right ) + \sum_{i=1} n \left ( \sqrt{2} x_{i} \right ) \left ( \sqrt{2} y_{i} \right ) +1$

如果没有核函数，我们则需要把向量映射成：

$x'=\left ( x_{1}^{2},\cdots ,x_{n}^{2}, \cdots ,\sqrt{2} x_{1},\cdots , \sqrt{2} x_{n}, 1 \right )$

然后再进行内积计算，才能与多项式核函数达到相同的效果。

可见核函数的引入一方面减少了我们计算量，另一方面也减少了我们存储数据的内存使用量。

常见核函数

线性核函数

$k\left ( x_{i},x_{j} \right ) =x_{i}^{T} x_{j}$

多项式核函数

$k\left ( x_{i},x_{j} \right ) =\left ( x_{i}^{T} x_{j} \right ) ^{d}$

高斯核函数

$k\left ( x_{i},x_{j} \right ) =\exp \left ( -\frac{\left \| x_{i}-x_{j} \right \| }{2\delta ^{2} } \right )$

这三个常用的核函数中只有高斯核函数是需要调参的。

SVM 有什么优缺点？

优点：

有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；
能找出对任务至关重要的关键样本（即：支持向量）；
由于 SVM 是一个凸优化问题，所以求得的解一定是全局最优而不是局部最优；
采用核技巧之后，可以处理非线性分类/回归任务；
最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。

缺点：

训练时间长。当采用 SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为 $O\left ( N^{2} \right )$ ，其中 N 为训练样本的数量；
当采用核技巧时，如果需要存储核矩阵，则空间复杂度为 $O\left ( N^{2} \right )$ ；
模型预测时，预测时间与支持向量的个数成正比。当支持向量的数量较大时，预测计算复杂度较高。

因此支持向量机目前只适合小批量样本的任务，无法适应百万甚至上亿样本的任务。

SVM 为什么采用间隔最大化（与感知机的区别）？

当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。

为什么要引入核函数？

当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。而引入这样的映射后，在对偶问题的求解中，无需求解真正的映射函数，而只需要知道其核函数。核函数的定义： $k\left ( x,y \right ) =\left ( \phi \left ( x \right ) , \phi \left ( y \right ) \right )$ ，即在特征空间的内积等于它们在原始样本空间中通过核函数 K 计算的结果。一方面数据变成了高维空间中线性可分的数据，另一方面不需要求解具体的映射函数，只需要给定具体的核函数即可，这样使得求解的难度大大降低。

如何选择核函数？

当特征维数 d 超过样本数 m 时 (文本分类问题通常是这种情况)，使用线性核函数；
当特征维数 d 比较小，样本数 m 中等时，使用RBF核函数；
当特征维数 d 比较小，样本数 m 特别大时，支持向量机性能通常不如深度神经网络。

为什么SVM对缺失数据敏感？

这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM 没有处理缺失值的策略。而 SVM 希望样本在特征空间中线性可分，所以特征空间的好坏对 SVM 的性能很重要。缺失特征数据将影响训练结果的好坏。

LR与SVM的异同是什么？

异：

LR 是参数模型，SVM 是非参数模型；
从目标函数来看，区别在于 LR 采用的是 logistical loss，SVM 采用的是 hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重；
SVM 的处理方法是只考虑支持向量，也就是和分类最相关的少数点，去学习分类器。而 LR 通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重；
LR 相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而 SVM 的理解和优化相对来说复杂一些，SVM 转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算；
LR 能做的 SVM 能做，但可能在准确率上有问题，SVM能做的LR有的做不了。

同：

LR 和 SVM 都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）；
两个方法都可以增加不同的正则化项，如 L1、L2 等。因此在很多情况下，两种算法的结果是很接近的。

为什么要把原问题转化为对偶问题？

在转化为对偶问题之后，原问题中的不等式约束变为等式约束。
转化之后可以很方便的将核函数引入。
转化改变了问题的复杂度。

KKT限制条件有哪些？

对于一个具有等式和不等式约束的一般优化问题：

$\min f\left ( x \right ) \ \ s.t. \ \ g_{j} \left ( x \right ) \le 0 \left ( j=1,2,\cdots ,m \right ) \ \ h_{k} \left ( x \right ) =0\left ( k=1,2,\cdots ,l \right )$

KKT 条件给出了判断 $x^{*}$ 是否为最优解的必要条件，即：

$\begin{cases} \frac{\partial f}{\partial x_{i} }+\sum_{j=1}^{m}\mu _{j}\frac{\partial g_{j}}{\partial x_{i} }+\sum_{k=1}^{l}\lambda_{k}\frac{\partial h_{k}}{\partial x_{i} }=0,\left ( i=1,2,\cdots ,n \right ) \\ h_{k}\left ( x \right )=0,\left ( k=1,2,\cdots ,l \right ) \\ \mu _{j}g_{j}\left ( x \right )=0,\left ( j=1,2,\cdots,m \right ) \\ \mu _{j}\ge 0 \end{cases}$

Demo实践

首先我们利用 sklearn 直接调用 SVM 函数进行实践尝试。

Step1:库函数导入

## 基础函数库
import numpy as np
## 导入画图库
import matplotlib.pyplot as plt
import seaborn as sns
## 导入支持向量机模型函数
from sklearn import svm

Step2:构建数据集并进行模型训练

##Demo演示SVC分类
## 构造数据集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])
## 调用SVC模型 （支持向量机分类）
svc = svm.SVC(kernel='linear')
## 用SVM模型拟合构造的数据集
svc = svc.fit(x_fearures, y_label)

Step3:模型参数查看

## 查看其对应模型的w
print('the weight of SVC:', svc.coef_)
## 查看其对应模型的w0
print('the intercept(w0) of SVC:', svc.intercept_)

# the weight of SVC: [[ 0.33364706  0.33270588]]
# the intercept(w0) of SVC: [-0.00031373]

Step4:模型预测

## 模型预测
y_train_pred = svc.predict(x_fearures)
print('The predction result:', y_train_pred)

# The predction result: [0 0 0 1 1 1]

Step5:模型可视化

由于此处选择的线性核函数，所以在此我们可以将svm进行可视化。

# 最佳函数
x_range = np.linspace(-3, 3)
w = svc.coef_[0]
a = -w[0] / w[1]
y_3 = a * x_range - (svc.intercept_[0]) / w[1]
# 可视化决策边界
plt.figure()
plt.scatter(x_fearures[:, 0], x_fearures[:, 1], c=y_label, s=50, cmap='viridis')
plt.plot(x_range, y_3, '-c')
plt.show()

可以对照逻辑回归模型的决策边界，我们可以发现两个决策边界是有一定差异的（可以对比两者在X,Y轴上的截距），这说明这两个不同模型在相同数据集上找到的判别线是不同的，而这不同的原因其实是由于两者选择的最优目标是不一致的。

SVM基础知识的直观感受

支持向量机

我们常常会碰到这样的一个问题，首先给你一些分属于两个类别的数据：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
%matplotlib inline
# 画图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired)

现在需要一个线性分类器，将这些数据分开来。

我们可能会有多种分法：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

那么现在有一个问题，两个分类器，哪一个更好呢？

为了判断好坏，我们需要引入一个准则：好的分类器不仅仅是能够很好的分开已有的数据集，还能对未知数据集进行泛化性能高的划分。

假设，现在有一个属于红色数据点的新数据（3， 2.8）

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

可以看到，此时黑色的线会把这个新的数据集分错，而蓝色的线不会。

那么如何客观的评判两条线的健壮性呢？

此时，我们需要引入一个非常重要的概念：最大间隔。

最大间隔刻画着当前分类器与数据集的边界，以这两个分类器为例：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')
plt.fill_between(x_fit, y_2 - 0.4, y_2 + 0.4, edgecolor='none', color='#AAAAAA', alpha=0.4)

可以看到，蓝色的线最大间隔是大于黑色的线的。

所以我们会选择蓝色的线作为我们的分类器。

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画图
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)

那么，我们现在的分类器是最优分类器吗？

或者说，有没有更好的分类器，它具有更大的间隔？

答案是有的。

为了找出最优分类器，我们需要引入：SVM

from sklearn.svm import SVC
# SVM 函数
clf = SVC(kernel='linear')
clf.fit(X, y)

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a * x_fit - (clf.intercept_[0]) / w[1]
# 最大边距 下届
b_down = clf.support_vectors_[0]
y_down = a * x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[-1]
y_up = a * x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')

带蓝边的点是距离当前分类器最近的点，我们称之为支持向量。

支持向量机为我们提供了在众多可能的分类器之间进行选择的原则，从而确保对未知数据集具有更高的泛化性。

软间隔

但很多时候，我们拿到的数据是这样子的：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

这种情况并不容易找到这样的最大间隔。

于是我们就有了软间隔，相比于硬间隔而言，我们允许个别数据出现在间隔带中。

我们知道，如果没有一个原则进行约束，满足软间隔的分类器也会出现很多。

所以需要对分错的数据进行惩罚，SVC 函数中，有一个参数 C 就是惩罚参数。

惩罚参数越小，容忍性就越大。

以 C=1 为例子，比如说：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 惩罚参数：C=1
clf = SVC(C=1, kernel='linear')
clf.fit(X, y)
x_fit = np.linspace(-1.5, 4)
# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a * x_fit - (clf.intercept_[0]) / w[1]
# 最大边距 下届
b_down = clf.support_vectors_[0]
y_down = a * x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[-1]
y_up = a * x_fit + b_up[1] - a * b_up[0]
# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')

惩罚参数 C=0.2 时，SVM 会更具包容性，从而兼容更多的错分样本：

X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 惩罚参数：C=0.2
clf = SVC(C=0.2, kernel='linear')
clf.fit(X, y)
x_fit = np.linspace(-1.5, 4)
# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a * x_fit - (clf.intercept_[0]) / w[1]
# 最大边距 下届
b_down = clf.support_vectors_[10]
y_down = a * x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[1]
y_up = a * x_fit + b_up[1] - a * b_up[0]
# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')

超平面

如果我们遇到这样的数据集，没有办法利用线性分类器进行分类：

from sklearn.datasets.samples_generator import make_circles
# 画散点图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='linear').fit(X, y)
# 最佳函数
x_fit = np.linspace(-1.5, 1.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a * X - (clf.intercept_[0]) / w[1]
plt.plot(X, y_3, '-c')

我们可以将二维（低维）空间的数据映射到三维（高维）空间中。

此时，我们便可以通过一个超平面对数据进行划分。

所以，我们映射的目的在于使用 SVM 在高维空间找到超平面的能力。

from mpl_toolkits.mplot3d import Axes3D
# 数据映射
r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2))
ax = plt.subplot(projection='3d')
ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')
x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1))
z = 0.01 * x_1 + 0.01 * y_1 + 0.5
ax.plot_surface(x_1, y_1, z, alpha=0.3)

在 SVC 中，我们可以用高斯核函数来实现这以功能：kernel='rbf'

# 画图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='rbf')
clf.fit(X, y)
ax = plt.gca()
x = np.linspace(-1, 1)
y = np.linspace(-1, 1)
x_1, y_1 = np.meshgrid(x, y)
P = np.zeros_like(x_1)
for i, xi in enumerate(x):
    for j, yj in enumerate(y):
        P[i, j] = clf.decision_function(np.array([[xi, yj]]))
ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5, linestyles=['--', '-', '--'])
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none');

此时便完成了非线性分类。

scikit-learn 中的 SVM

SVC，NuSVC 和 LinearSVC 能在数据集中实现多元分类。

SVR，NuSVR 和 LinearSVR 能在数据集中实现回归。

使用诀窍

避免数据复制：对于 SVC， SVR， NuSVC 和 NuSVR，如果数据是通过某些方法而不是用行优先存储（C-order）的双精度，那它会在调用底层的 C 命令前先被复制。您可以通过检查它的 flags 属性，来确定给定的 numpy 数组是不是行优先存储（C-order）的。

对于 LinearSVC (和 LogisticRegression) 的任何输入，都会以 numpy 数组形式，被复制和转换为用 liblinear 内部稀疏数据去表达（双精度浮点型 float 和非零部分的 int32 索引）。如果您想要一个适合大规模的线性分类器，又不打算复制一个密集的行优先存储（C-order）双精度 numpy 数组作为输入，那我们建议您去使用 SGDClassifier 类作为替代。目标函数可以配置为和 LinearSVC 模型差不多相同的。
内核的缓存大小：在大规模问题上，对于 SVC，SVR，NuSVC 和 NuSVR，内核缓存的大小会特别影响到运行时间。如果您有足够可用的 RAM，不妨把它的缓存大小设得比默认的 200(MB) 要高，例如为 500(MB) 或者 1000(MB)。
惩罚系数 C 的设置：在合理的情况下， C 的默认选择为 1 。如果您有很多混杂的观察数据，您应该要去调小它。 C 越小，就能更好地去正规化估计。

当 C 值较大时，LinearSVC和 LinearSVR 对 C 值较不敏感，即当 C 值大于特定阈值后，模型效果将会停止提升。同时，较大的 C 值将会导致较长的训练时间，Fan et al.(2008)的论文显示，训练时间的差距有时会达到10倍。
支持向量机算法本身不能够很好地支持非标准化的数据，所以强烈建议您将数据标准化。举个示例，对于输入向量 X，规整它的每个数值范围为 [0, 1] 或 [-1, +1] ，或者标准化它为均值为 0 方差为 1 的数据分布。请注意，相同的缩放标准必须要应用到所有的测试向量，从而获得有意义的结果。
在 NuSVC / OneClassSVM / NuSVR 内的参数 nu ，近似是训练误差和支持向量的比值。
在 SVC 中，如果分类器的数据不均衡（例如，很多正例少于负例），设置 class_weight='balanced' 与/或尝试不同的惩罚系数 C 。
底层实现的随机性：SVC 和 NuSVC 的底层实现仅使用随机数生成器来打乱数据顺序进行概率估计(当 probability 被设置为 True 时)。这种随机性可以用 random_state 参数来控制。如果将 probability 设为 False，这些估计器就不是随机的， random_state 对结果没有影响。底层的 OneClassSVM 实现类似于 SVC 和 NuSVC 的实现。由于 OneClassSVM 没有提供概率估计，所以它不是随机的。底层的 LinearSVC 实现使用随机数生成器来选择特征，当用双坐标下降(当 dual 被设置为 True )。因此，对于相同的输入数据，结果略有不同并不罕见。如果发生这种情况，尝试使用较小的 tol 参数。这种随机性也可以通过 random_state 参数来控制。当 dual 设置为 False 时，LinearSVC 的底层实现不是随机的，random_state 对结果没有影响。
使用由 LinearSVC(loss='l2', penalty='l1', dual=False) 提供的 L1 惩罚去产生稀疏解，也就是说，特征权重的子集不同于零，这样做有助于决策函数。随着增加 C 会产生一个更复杂的模型（有更多的特征被选择）。可以使用 l1_min_c 去计算 C 的数值，去产生一个”null” 模型（所有的权重等于零）。

你可能感兴趣的:(机器学习,支持向量机,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能 easyui 前端 python
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能 langchain python
LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
【机器学习与R语言】1-机器学习简介苹果酱0567 面试题汇总与解析 java 中间件开发语言 spring boot 后端
1.基本概念机器学习：发明算法将数据转化为智能行为数据挖掘VS机器学习：前者侧重寻找有价值的信息，后者侧重执行已知的任务。后者是前者的先期准备过程：数据——>抽象化——>一般化。或者：收集数据——推理数据——归纳数据——发现规律抽象化：训练：用一个特定模型来拟合数据集的过程用方程来拟合观测的数据：观测现象——数据呈现——模型建立。通过不同的格式来把信息概念化一般化：一般化：将抽象化的知识转换成可用
Python前沿技术：机器学习与人工智能 4.0啊 Python 人工智能 python 机器学习
Python前沿技术：机器学习与人工智能一、引言随着科技的飞速发展，机器学习和人工智能（AI）已经成为了计算机科学领域的热门话题。Python作为一门易学易用且功能强大的编程语言，已经成为了这两个领域的首选语言之一。本文将深入探讨Python在机器学习和人工智能领域的应用，以及一些前沿技术和工具。二、Python机器学习基础2.1机器学习概述机器学习是人工智能（AI）的一个关键子集，它的核心在于让
chatgpt赋能python：如何在Python中计算平均值 tulingtest ChatGpt python chatgpt numpy 计算机
如何在Python中计算平均值计算平均值是数据分析、统计和机器学习等许多领域中的常见任务。Python作为一门功能强大且易于学习的编程语言，为计算平均值提供了多种方法。在本文中，我们将介绍如何在Python中计算平均值。什么是平均值简单来说，平均值是一组数字的总和除以数字的数量。例如，对于数字序列1，3，5，7，9，平均值是(1+3+5+7+9)/5=5。平均值在数据分析中非常有用，因为它可以提供
Python 初学者入门必知： Anaconda是什么？有什么作用？怎么使用？懒大王爱吃狼 Python基础 python 开发语言 python基础 python学习 anaconda anaconda安装 python教程
初学者在学习Python时，经常看到的一个名字是Anaconda。究竟什么是Anaconda，为什么它如此受欢迎？在这篇文章中，我们将探讨Anaconda，了解Anaconda的从安装到使用的。Anaconda是一个免费开源的Python和R编程发行版，包含上千个适用于数据科学和机器学习的包。同时，配备了Spyder和Jupyternotebook等工具，初学者可以使用它们来学习Python，使用
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
第五届核磁机器学习班（训练营：2023.6.5~6.17）茗创科技
茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
jsonp 常用util方法 hw1287789687 jsonp jsonp常用方法 jsonp callback
jsonp 常用java方法 (1)以jsonp的形式返回:函数名(json字符串) /*** * 用于jsonp调用 * @param map : 用于构造json数据 * @param callback : 回调的javascript方法名 * @param filters : <code>SimpleBeanPropertyFilter theFilt
多线程场景 alafqq 多线程
0 能不能简单描述一下你在java web开发中需要用到多线程编程的场景？0 对多线程有些了解，但是不太清楚具体的应用场景，能简单说一下你遇到的多线程编程的场景吗？ Java多线程 2012年11月23日 15:41 Young9007 Young9007 4 0 0 4 Comment添加评论关注(2) 3个答案按时间排序按投票排序 0 0 最典型的如： 1、
Maven学习——修改Maven的本地仓库路径 Kai_Ge maven
安装Maven后我们会在用户目录下发现.m2 文件夹。默认情况下，该文件夹下放置了Maven本地仓库.m2/repository。所有的Maven构件(artifact)都被存储到该仓库中，以方便重用。但是windows用户的操作系统都安装在C盘，把Maven仓库放到C盘是很危险的，为此我们需要修改Maven的本地仓库路径。
placeholder的浏览器兼容 120153216 placeholder
【前言】自从html5引入placeholder后，问题就来了，不支持html5的浏览器也先有这样的效果，各种兼容，之前考虑，今天测试人员逮住不放，想了个解决办法，看样子还行，记录一下。【原理】不使用placeholder，而是模拟placeholder的效果，大概就是用focus和focusout效果。【代码】 <scrip
debian_用iso文件创建本地apt源 2002wmj Debian
1.将N个debian-506-amd64-DVD-N.iso存放于本地或其他媒介内，本例是放在本机/iso/目录下 2.创建N个挂载点目录如下： debian:~#mkdir –r /media/dvd1 debian:~#mkdir –r /media/dvd2 debian:~#mkdir –r /media/dvd3 …. debian:~#mkdir –r /media
SQLSERVER耗时最长的SQL 357029540 SQL Server
对于DBA来说，经常要知道存储过程的某些信息： 1. 执行了多少次 2. 执行的执行计划如何 3. 执行的平均读写如何 4. 执行平均需要多少时间列名 &
com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 7454103 eclipse
今天eclipse突然报了com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 错误，并且工程文件打不开了，在网上找了一下资料，然后按照方法操作了一遍，好了，解决方法如下：错误提示信息： An error has occurred.See error log for more details. Reason: com/genuitec/
用正则删除文本中的html标签 adminjun java html 正则表达式去掉html标签
使用文本编辑器录入文章存入数据中的文本是HTML标签格式，由于业务需要对HTML标签进行去除只保留纯净的文本内容，于是乎Java实现自动过滤。如下： public static String Html2Text(String inputString) { String htmlStr = inputString; // 含html标签的字符串 String textSt
嵌入式系统设计中常用总线和接口 aijuans linux 基础
嵌入式系统设计中常用总线和接口任何一个微处理器都要与一定数量的部件和外围设备连接，但如果将各部件和每一种外围设备都分别用一组线路与CPU直接连接，那么连线
Java函数调用方式——按值传递 ayaoxinchao java 按值传递对象基础数据类型
Java使用按值传递的函数调用方式，这往往使我感到迷惑。因为在基础数据类型和对象的传递上，我就会纠结于到底是按值传递，还是按引用传递。其实经过学习，Java在任何地方，都一直发挥着按值传递的本色。首先，让我们看一看基础数据类型是如何按值传递的。 public static void main(String[] args) { int a = 2;
ios音量线性下降 bewithme ios音量
直接上代码吧 //second 几秒内下降为0 - (void)reduceVolume:(int)second { KGVoicePlayer *player = [KGVoicePlayer defaultPlayer]; if (!_flag) { _tempVolume = player.volume;
与其怨它不如爱它 bijian1013 选择理想职业规划
抱怨工作是年轻人的常态，但爱工作才是积极的心态，与其怨它不如爱它。一般来说，在公司干了一两年后，不少年轻人容易产生怨言，除了具体的埋怨公司“扭门”，埋怨上司无能以外，也有许多人是因为根本不爱自已的那份工作，工作完全成了谋生的手段，跟自已的性格、专业、爱好都相差甚远。
一边时间不够用一边浪费时间 bingyingao 工作时间浪费
一方面感觉时间严重不够用，另一方面又在不停的浪费时间。每一个周末，晚上熬夜看电影到凌晨一点，早上起不来一直睡到10点钟，10点钟起床，吃饭后玩手机到下午一点。精神还是很差，下午像一直野鬼在城市里晃荡。为何不尝试晚上10点钟就睡，早上7点就起，时间完全是一样的，把看电影的时间换到早上，精神好，气色好，一天好状态。控制让自己周末早睡早起，你就成功了一半。有多少个工作
【Scala八】Scala核心二：隐式转换 bit1129 scala
Implicits work like this: if you call a method on a Scala object, and the Scala compiler does not see a definition for that method in the class definition for that object, the compiler will try to con
sudoku slover in Haskell (2) bookjovi haskell sudoku
继续精简haskell版的sudoku程序，稍微改了一下，这次用了8行，同时性能也提高了很多，对每个空格的所有解不是通过尝试算出来的，而是直接得出。 board = [0,3,4,1,7,0,5,0,0, 0,6,0,0,0,8,3,0,1, 7,0,0,3,0,0,0,0,6, 5,0,0,6,4,0,8,0,7,
Java-Collections Framework学习与总结-HashSet和LinkedHashSet BrokenDreams linkedhashset
本篇总结一下两个常用的集合类HashSet和LinkedHashSet。它们都实现了相同接口java.util.Set。Set表示一种元素无序且不可重复的集合；之前总结过的java.util.List表示一种元素可重复且有序
读《研磨设计模式》-代码笔记-备忘录模式-Memento bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; /* * 备忘录模式的功能是，在不破坏封装性的前提下，捕获一个对象的内部状态，并在对象之外保存这个状态，为以后的状态恢复作“备忘”
《RAW格式照片处理专业技法》笔记 cherishLC PS
注意，这不是教程！仅记录楼主之前不太了解的一、色彩（空间）管理作者建议采用ProRGB（色域最广），但camera raw中设为ProRGB，而PS中则在ProRGB的基础上，将gamma值设为了1.8（更符合人眼）注意：bridge、camera raw怎么设置显示、输出的颜色都是正确的（会读取文件内的颜色配置文件），但用PS输出jpg文件时，必须先用Edit->conv
使用 Git 下载 Spring 源码编译 for Eclipse crabdave eclipse
使用 Git 下载 Spring 源码编译 for Eclipse 1、安装gradle，下载 http://www.gradle.org/downloads 配置环境变量GRADLE_HOME，配置PATH %GRADLE_HOME%/bin，cmd，gradle -v 2、spring4 用jdk8 下载 https://jdk8.java.
mysql连接拒绝问题 daizj mysql 登录权限
mysql中在其它机器连接mysql服务器时报错问题汇总一、[running][email protected]:~$mysql -uroot -h 192.168.9.108 -p //带-p参数，在下一步进行密码输入 Enter password: //无字符串输入 ERROR 1045 (28000): Access
Google Chrome 为何打压 H.264 dsjt apple html5 chrome Google
Google 今天在 Chromium 官方博客宣布由于 H.264 编解码器并非开放标准，Chrome 将在几个月后正式停止对 H.264 视频解码的支持，全面采用开放的 WebM 和 Theora 格式。 Google 在博客上表示，自从 WebM 视频编解码器推出以后，在性能、厂商支持以及独立性方面已经取得了很大的进步，为了与 Chromium 现有支持的編解码器保持一致，Chrome
yii 获取控制器名和方法名 dcj3sjt126com yii framework
1. 获取控制器名在控制器中获取控制器名: $name = $this->getId(); 在视图中获取控制器名: $name = Yii::app()->controller->id; 2. 获取动作名在控制器beforeAction()回调函数中获取动作名: $name =
Android知识总结（二） come_for_dream android
明天要考试了，速速总结如下 1、Activity的启动模式 standard：每次调用Activity的时候都创建一个（可以有多个相同的实例，也允许多个相同Activity叠加。） singleTop：可以有多个实例，但是不允许多个相同Activity叠加。即，如果Ac
高洛峰收徒第二期：寻找未来的“技术大牛” ——折腾一年，奖励20万元 gcq511120594 工作项目管理
高洛峰，兄弟连IT教育合伙人、猿代码创始人、PHP培训第一人、《细说PHP》作者、软件开发工程师、《IT峰播》主创人、PHP讲师的鼻祖！首期现在的进程刚刚过半，徒弟们真的很棒，人品都没的说，团结互助，学习刻苦，工作认真积极，灵活上进。我几乎会把他们全部留下来，现在已有一多半安排了实际的工作，并取得了很好的成绩。等他们出徒之日，凭他们的能力一定能够拿到高薪，而且我还承诺过一个徒弟，当他拿到大学毕
linux expect heipark expect
1. 创建、编辑文件go.sh #!/usr/bin/expect spawn sudo su admin expect "*password*" { send "13456\r\n" } interact 2. 设置权限 chmod u+x go.sh 3.
Spring4.1新特性——静态资源处理增强 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
idea ubuntuxia 乱码 liyonghui160com
1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个字体文件。 2.在ubuntu 下可以执行下面操作安装该字体： sudo mkdir /usr/share/fonts/truetype/simsun sudo cp simsun.ttf /usr/share/fonts/truetype/simsun fc-cache -f -v
改良程序的11技巧 pda158 技巧
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：尽量保持方法简短永远永远不要把同一个变量用于多个不同的
300个涵盖IT各方面的免费资源（下）——工作与学习篇 shoothao 创业免费资源学习课程远程工作
工作与生产效率: A. 背景声音 Noisli:背景噪音与颜色生成器。 Noizio:环境声均衡器。 Defonic:世界上任何的声响都可混合成美丽的旋律。 Designers.mx:设计者为设计者所准备的播放列表。 Coffitivity:这里的声音就像咖啡馆里放的一样。 B. 避免注意力分散 Self Co
深入浅出RPC uule rpc
深入浅出RPC-浅出篇深入浅出RPC-深入篇 RPC Remote Procedure Call Protocol 远程过程调用协议它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发

支持向量机的原理与实践

目录

学习目标

支持向量机原理简介

支持向量

线性可分

最大间隔超平面

支持向量

SVM 最优化问题

SVM 优化

软间隔

解决问题

优化目标及求解

核函数

线性不可分

核函数的作用

常见核函数

SVM 有什么优缺点？

SVM 为什么采用间隔最大化（与感知机的区别）？

为什么要引入核函数？

如何选择核函数？

为什么SVM对缺失数据敏感？

LR与SVM的异同是什么？

为什么要把原问题转化为对偶问题？

KKT限制条件有哪些？

Demo实践

SVM基础知识的直观感受

支持向量机

软间隔

超平面

scikit-learn 中的 SVM

你可能感兴趣的:(机器学习,支持向量机,机器学习)