【机器学习-西瓜书】第6章支持向量机

一种二分类模型，是定义在特征空间上的间隔最大的线性分类器；

SVM 的学习策略是间隔最大化，学习算法是求解凸二次规划的最优化算法，可等价于正则化的合页损失函数最小化问题。

由简至繁的模型有：线性可分支持向量机( (数据线性可分，硬间隔最大化)、线性支持向量机 (数据近似线性可分，软间隔最大化)、非线性支持向量机 (数据线性不可分，核技巧)。

当输入空间为欧氏空间或离散集合、特征空间为希尔伯特空间时，通过核函数将输入从输入

6.1 间隔与支持向量

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节间隔最大化

1 最大间隔分离超平面

2 最大间隔分离超平面的存在唯一性

3 支持向量和间隔边界

6.2 对偶问题

引自《统计机器学习》：对偶最优化问题

《统计机器学习-李航》第7.1.4节学习的对偶算法

6.3 核函数

什么样的函数可以作核函数呢？<-> positive definite kernel function

常用核函数：

《统计学习方法》7.3 非线性SVM 与核函数

7.3.1 核技巧

核函数定义

7.3.2 正定核

函数K(x, z)满足什么条件才能成为核函数？

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

高斯核函数 (Gaussian kernel function)

字符串核函数 (string kernel function)

6.4 软间隔与正则化

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

软间隔SVM

《统计学习方法》7.2 线性SVM 与软间隔最大化

7.2.1 线性支持向量机

7.2.2 学习的对偶算法

算法 7.3 （线性支持向量机学习算法）

7.2.3 支持向量

7.2.4 合页损失函数

6.5 支持向量回归

SVR 问题的优化目标

6.6 核方法

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

《统计机器学习》7.3.4 非线性SVCM

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

6.1 间隔与支持向量

二分类问题：

给定训练样本集 $D = \{(x_{1},y_{1}), (x_{2},y_{2}),..., (x_{m},y_{m})\}, y_{i}\in \{-1, +1\}$

找到一个划分超平面，将不同类别的样本分开，且该划分超平面对训练样本局部扰动的容忍性最好。划分超平面在样本空间中由w 和 b 确定，且法向量w指向的一侧为正类，另一侧为负类，可通过下式描述

$w^{T}x+b=0$

样本空间中任意点x 到超平面(w, b)的距离可写为:

$r=\frac{|w^{T}x+b|}{||w||}$

而对于样本点 $(x_{i}, y_{i})\in D$ ，若

$\begin{Bmatrix} w^{T}x_{i}+b \geq +1, & y_{i} = +1;\\ w^{T}x_{i}+b \leqslant -1, & y_{i} = -1 \end{Bmatrix} \ \ \ \ \ \ (6.3)$

定义使得上述不等式()6.3) 的等号成立的样本点，被称为支持向量（support vector），两个异类支持向量到超平面的距离之和称为间隔（margin），定义如下：

$\gamma =\frac{2}{||w||} \ \ \ \ \ (6.4)$

欲找到具有“最大间隔 ”(maximum margin) 的划分超平面，即等价于找到能满足式(6.3)的约束的 w 和 b，使得 γ 最大，即：

$\underset{w,b}{max} \ \ \frac{2}{||w||} \ \ \ \ \ \ \ \ \ \ \ \ (6.5) \\ s.t. \ \ \ y_{i}(w^{T}x_{i} + b) \geq 1 , i=1,2, ... ,m$

上式可等价转化为最小化下式，即支持向量机 (Support Vector Machine) 的基本型，即原始问题。

$\underset{w,b}{min} \ \ \frac{1}{2} ||w||^{2}\\ s.t. \ \ \ y_{i}(w^{T}x_{i}+b)\geq 1, \ \ i=1,2, ... ,m \ \ \ \ \ (6.6)$

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

一个点距离分离超平面的远近可以表示分类预测的确信程度。上图中点A的确信程度高于点C。

在超平面wx+b=0 确定的情况下，|wx+b| 可以相对地表示点x距离超平面的远近。

使用 y(wx+b)来表示分类的正确性及确信度，这就是函数间隔(functional margin)。

定义7.2 （函数间隔）

对于给定的训练数据集D 和超平面(w, b)，定义超平面 (w, b)关于样本点 (xi, yi)的函数间隔为：

$\hat{\gamma}_{i}=y_{i}(w \cdot x_{i}+b) \ \ \ (7.3)$

定义超平面(w, b)关于训练集 D 的函数间隔为超平面 (w, b)关于 D 中所有样本点 (xi, yi)的函数间隔的最小值，即

$\hat{\gamma } = \underset{i=1,2,..., N}{min} \ \ \hat{\gamma }_{i} \ \ \ (7.4)$

但是选择分离超平面时，需要考虑到等比例改变w和b后将得到不同的函数间隔，但实际上超平面并没有改变。因此可以对分离超平面的法向量w加上某些约束，如规范化||w||=1，使得间隔确定，此时函数间隔便成为了几何间隔（geometric margin）。

定义7.3 （几何间隔）

对于给定的训练集 D 和超平面 (w, b)，定义超平面 (w, b) 关于样本点 (xi, yi)的几何间隔为：

$\gamma _{i} = y_{i}\left ( \frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||} \right ) \ \ \ \ (7.5)$

定义超平面(w, b)关于训练集 D 的几何间隔为超平面 (w, b)关于 D 中所有样本点 (xi, yi)的几何间隔的最小值，即

$\gamma =\underset{i=1,2,...,N}{min} \ \ \gamma _{i} \ \ \ \ \ (7.6)$

函数间隔和几何间隔的关系为：

$\gamma =\frac{\hat{\gamma }}{||w||} \ \ \ (7.8)$

《统计机器学习-李航》第7.1.3节间隔最大化

间隔最大化的直观解释：对训练集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，即对那些最难分的实例点 (距离超平面最近的点)也有足够大的确信度将它们分开。

1 最大间隔分离超平面

如何求得一个几何间隔最大的分离超平面，可表示为以下约束最优化问题：

$\underset{w, b}{max} \ \ \frac{\hat{\gamma }}{||w||} \ \ \ \ \ (7.11) \\ s.t. \ \ \ \ y_{i}(w\cdot x_{i} + b) \geq \hat{\gamma } , \ \ i=1,2,..., N \ \ \ \ (7.12)$

如上一节中解释的那样，由于函数间隔的的等比例改变对最优化问题的不等式约束没有影响，所以取 $\hat{\gamma }$ = 1，带入式 (7.11)，得到最大化 $\frac{1}{||w||}$ ，该式等价于下式，是原始最优化问题：

$\underset{w, b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \(7.13)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b)-1\geq 0, \ \ i=1,2,..., N \ \ \ \ (7.14)$

算法 7.1 （线性可分支持向量机学习算法——最大间隔法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：最大间隔分离超平面和分类决策函数

1）构建并求解约束最优化问题：

$\underset{w, b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \(7.13)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b)-1\geq 0, \ \ i=1,2,..., N \ \ \ \ (7.14)$

求得最优解 $w^{\ast },\ b^{\ast }$

2）得到分离超平面和分类决策函数：

$w^{\ast }\cdot x+\ b^{\ast } = 0\\ f(x) = sign(w^{\ast }\cdot x+\ b^{\ast })$

2 最大间隔分离超平面的存在唯一性

定理7.1 （最大间隔分离超平面的存在唯一性）

若训练集 D 线性可分，则可将训练集 D 中的样本点完全正确分开的最大间隔分离超平面存爱且唯一。

证明参见《统计机器学习》p101

3 支持向量和间隔边界

支持向量是使约束条件式 (7.14)等号成立的点，即

$y_{i}(w\cdot x_{i}+b) - 1 = 0$

6.2 对偶问题

式(6.6)是一个凸二次规划问题 (convex quadratic programming)

凸优化问题指的是如下约束最优化问题：

$\underset{w}{min} \ \ f(w) \ \ \ \ (7.15)\\ s.t. \ \ \ g_{i}(w) \leqslant 0, \ i=1,2, ..., k \ \ \ \ \ (7.16)\\ h_{i}(w) = 0, \ i=1,2, ..., l \ \ \ \ \ (7.17)$

目标函数和约束函数 $g_{i}(w)$ 均是 $\mathbb{R}^{n}$ 上的连续可微的凸函数，约束函数 $h_{i}(w)$ 为 $\mathbb{R}^{n}$

上的仿射函数

使用拉格朗日乘子法，得到其“对偶问题” (dual problem)，通过求解对偶问题得到原始问题 (primal problem)的最优解。

具体来说，对式 (6.6)的每条约束添加拉格朗日乘子 (lagrange multiplier) αi ≥ 0，则可构建该问题的拉格朗日函数如下：

$L(w, b ,\alpha ) = \frac{1}{2} ||w||^{2} + \sum_{i=1}^{m} \alpha _{i}(1-y_{i}(w^{T}x_{i}+b)) \ \ \ \ (6.8) \\ =\frac{1}{2} ||w||^{2} - \sum_{i=1}^{m}\alpha _{i}y_{i} (w\cdot x_{i}+b) + \sum_{i=1}^{m}\alpha _{i}\\ \alpha = (\alpha _{1}, \alpha _{2}, ..., \alpha _{m})$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$\underset{\alpha }{max} \ \ \underset{w,b}{min} \ \ L(w,b,\alpha )$

因此，先求解 L(w, b, α)对w，b的极小，再求对α的极大。

1) 求 $\underset{w,b}{min} \ \ L(w,b,\alpha )$ 。

令 L(w, b ,α )对 w 和 b的偏导为零，可得：

将式（6.9）带入式（6.8），并考虑式(6.10)的约束，可得到式（6.6）的对偶问题：

$L(w, b, \alpha )= \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i}y_{i} ((\sum_{j=1}^{m}\alpha _{j}y_{j}x_{j})\cdot x_{i} + b ) + \sum_{i=1}^{m}\alpha _{i} \\ =-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i}$

2）最小化上式 L(w, b, α)，即求 $\underset{w, b}{min} \ L(w, b, \alpha )$ 对 α的极大，等价于求解对偶问题：

$\underset{\alpha }{max} \ \ \sum_{i=1}^{m} \alpha _{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}x_{i}^{T}x_{j}, \ \ \ \ (6.11)\\ s.t. \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, \ \ i=1,2, ... , m$

求解式（6.11），使用SMO (Sequential Minimal Optimization)算法：

引自《统计机器学习》：对偶最优化问题

将式（6.11）由求极大转换为求极小，则等价于求以下最优化问题 (对偶最优化)：

$\underset{\alpha }{min} \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ (7.22)\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.23) \\\\ \alpha _{i}\geqslant 0, \ \ i=1,2, ..., m\ \ \ \ \ \ \ (7.24)$

解出α后，取出 w和b，可得到模型：

$f(x) = w^{T} x + b \\ =\sum_{i=1}^{m}\alpha _{i}y_{i}x_{i}^{T}x + b \ \ \ \ \ (6.12)$

由于原始问题中存在不等式约束，即 $y_{i}(w^{T}x_{i}+b)-1 \geqslant 0$ ，因此上述过程需要满足 KKT (Karush- Kuhn-Tucker)条件，即要求

$\left\{\begin{matrix} \alpha _{i}\geqslant 0 ;\\ y_{i}f(x_{i}) -1 \geqslant 0 ; \\ \alpha _{i}(y_{i}f(x_{i})-1) = 0 \ \ \ \ \ \ \ (6.13) \end{matrix}\right.$

《统计机器学习-李航》第7.1.4节学习的对偶算法

定理 7.1

设 $\alpha ^{\ast }= (\alpha _{1 }^{\ast}, \alpha _{2}^{\ast}, .., \alpha _{l }^{\ast})^{T}$ 是对偶最优化问题（7.22）~（7.24）的解，则存在下标j，使得 $\alpha _{j}^{\ast }> 0$ ，并可以通过下式求得原始最优化问题的解 $w^{\ast}, b^{\ast}$ ：

$w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i} \ \ \ \ \ (7.25)\\ b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x_{i}\cdot x_{j}) \ \ \ \ \ \ (7.26)$

证明如下：

根据定理C.3 ，即

对于原始问题和对偶问题，假设函数 $f(x), c_{i}(x)$ 是凸函数， $h_{j}(x)$ 是仿射函数，且不等式约束 $c_{i}(x)$ 是严格可行的，则 $x^{\ast }, \alpha ^{\ast }, \beta ^{\ast }$ 分别是原始问题和对偶问题的解的充分必要条件是 $x^{\ast }, \alpha ^{\ast }, \beta ^{\ast }$ 满足如下 KKT 条件：

$\triangledown _{x} \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\ \triangledown _{\alpha } \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\ \triangledown _{\beta } \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\\\ \alpha _{i}^{\ast }c_{i}(x^{\ast }) = 0, i=1,2, ...,k \\ c_{i}(x^{\ast }) \leqslant 0, i=1,2, ...,k\\ \alpha _{i}^{\ast }\geqslant 0, i=1,2, ...,k\\ h_{j}(x^{\ast })=1, j= 1,2, ..., l$

KKT 条件成立，可得到：

$\triangledown _{w} \ L(w^{\ast }, b ^{\ast }, \alpha ^{\ast })= w^{\ast } - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i} = 0\\ \triangledown _{b} \ L(w^{\ast }, b ^{\ast }, \alpha ^{\ast }) = - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i} = 0\\ \alpha _{i}^{\ast }(y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1) = 0, \ i=1,2, ..., m\\ y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1\geqslant 0, \ i=1,2, ..., m\\ \alpha _{i}^{\ast } \geqslant 0, \ i=1,2, ..., m$

由此得到

$w^{\ast } = \sum_{i}\alpha _{i}^{\ast }y_{i}x_{i}$

且至少有一个 $\alpha _{j}^{\ast }> 0$ ，对此 j 有：

$y_{j}(w^{\ast }\cdot x_{j} + b^{\ast })-1=0 \ \ \ \ (7.28)$

将式（7.25）带入式（7.28）得到：

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x_{i}\cdot x_{j})$

由此，分类决策函数可写成：

$f(x) = sign(\sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x\cdot x_{i})+ b^{\ast })$

算法7.2 （线性可分支持向量机学习算法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：分离超平面和分类决策函数

1）构造并求解约束最优化问题

$\underset{\alpha }{min} \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m} \alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i} \cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i}\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\ \alpha _{i} \geqslant 0 , \ \ \ i=1,2, ..., m$

求得最优解 $\alpha ^{\ast } = (\alpha _{1}^{\ast }, \alpha _{2}^{\ast }, ..., \alpha _{m}^{\ast })^{T}$

2）计算

$w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i}$

选择 $\alpha ^{\ast }$ 的一个正分量 $\alpha _{j}^{\ast }> 0$ ，计算

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{j}^{\ast }y_{i}(x_{i}\cdot x_{j})$

3）求得分离超平面和分类决策函数：

$w^{\ast } \cdot x + b^{\ast } =0 \\ f(x) = sign(w^{\ast } \cdot x + b^{\ast } )$

定义7.4 （支持向量）

考虑原始最优化问题及对偶最优化问题，将训练集 D 中对应于 $\alpha _{i}^{\ast } > 0$ 的样本点 ( $x_{i}, y_{i}$ )的实例 $x_{i}\in \mathbb{R}^{n}$ 称为支持向量。

KKT条件 $\alpha _{i}^{\ast }(y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1) = 0, \ \ i=1,2,...,m$ ，对应于 $\alpha _{i}^{\ast } > 0$ 的实例 $x_{i}\in \mathbb{R}^{n}$ ，有

$y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1 = 0$

即 $x_{i}$ 一定在间隔边界上。

6.3 核函数

当原始空间内不存在一个能正确划分两类样本的超平面，但原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使得样本可分。

令 $\phi (x)$ 表示 x 映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为

$f(x) = w^{T}\phi (x) + b \ \ \ \ (6.19)$

此时，由支持向量所确定的最大间隔支持向量机可表示为：

$\underset{w,b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ (6.20)\\ s.t. \ \ \ \ \ y_{i}(w^{T}\phi (x) + b ) - 1 \geqslant 0, i=1,2, ..., m$

其对偶问题为：

$\underset{\alpha }{max}\ \ \ \sum_{i=1}^{m}\alpha ^{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}\phi (x_{i})^{T}\phi (x_{j}) \ \ \ \ \ \ \ \ (6.21)\\ s.t. \sum_{i=1}^{m} \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, i=1,2, ..., m$

直接计算 $\phi (x_{i})^{T}\phi (x_{j})$ 是很困难的，因此，设计了这样一个函数：

$k(x_{i}, x_{j}) = \left \langle \phi (x_{i}),\phi (x_{j})\right \rangle =\phi (x_{i})^{T}\phi (x_{j})$

输入空间的内积 $x_{i}\cdot x_{j}$ 变换为在特征空间的内积 $\phi (x_{i})^{T}\phi (x_{j})$ ，通过它们在原始样本空间中通过核函数k(·, ·) 计算得到。于是可重写上述对偶问题如下：

$\underset{\alpha }{max}\ \ \ \sum_{i=1}^{m}\alpha ^{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}\ k(x_{i}, x_{j}) \ \ \ \ \ \ \ \ (6.21)\\ s.t. \sum_{i=1}^{m} \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, i=1,2, ..., m$

现实任务中，我们通常不知道 $\phi (\cdot )$ 的具体形式，那么

什么样的函数可以作核函数呢？<-> positive definite kernel function

定理 6.1（核函数）

令 X 为输入空间，k(· , ·)是定义在 X × X 上的对称函数，则 k 是核函数当且仅当对于任意数据 $D= \{x_{1}, x_{2}, ..., x_{m}\}$ , "核矩阵 (kernel matrix)" K 总是半正定的：

$K = \begin{bmatrix} k(x_{1}, x_{1})& ... & k(x_{1}, x_{j}) &... &k(x_{1}, x_{m}) \\ \vdots & \ddots & \vdots &... &\vdots \\ k(x_{i}, x_{1})& ... & k(x_{i}, x_{j}) &... &k(x_{i}, x_{m}) \\ \vdots & \ddots & \vdots &... &\vdots \\ k(x_{m}, x_{1})& ... & k(x_{m}, x_{j}) &... &k(x_{m}, x_{m}) \end{bmatrix}$

任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间” (Reproducing Kernel Hilbert Space) 的特征空间。

常用核函数：

《统计学习方法》7.3 非线性SVM 与核函数

7.3.1 核技巧

非线性可分问题：

给定数据集 $D= \{(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{m}, y_{m})\},\\ x_{i}\in \chi =\mathbb{R}^{n}, \ \ y_{i}\in Y= \{-1, +1\}$ ，如果可使用 $\mathbb{R}^{n}$ 中的一个超曲面将正负例正确分开，则称该问题为非线性可分问题。

分为2步：
1. 使用一个变换将原空间的数据映射到新空间；
2. 在新空间中使用线性分类学习方法从训练集中学习分类模型

SVM中核技巧的基本思想是：通过一个非线性变换将输入空间 (欧式空间或离散集合)对应于一个特征空间 (希尔伯特空间)，使得在输入空间中的超曲面对应于特征空间的超平面。

学习是隐式地在特征空间进行的，不需要显示地定义特征空间 H 和映射函数 φ，。

核函数定义

定义 7.6 （核函数）

设 $\chi$ 是输入空间（欧氏空间或离散集合），设 H 为特征空间（希尔伯特空间），若存在一个从 $\chi$ 到 H 的映射：

$\phi (x): \chi \rightarrow H$

使得对所有的 $x, z \in \chi$ ，函数满足条件：

$K(x, z) = \phi (x)\cdot \phi (z)$ ，

则称为核函数， $\phi (x)$ 是映射函数， $\phi (x)\cdot \phi (z)$ 表示 $\phi (x)$ 和 $\phi (z)$ 的内积。

7.3.2 正定核

函数K(x, z)满足什么条件才能成为核函数？

依据函数K(x, z)，构成一个希尔伯特空间：

1. 定义映射，构成向量空间 (或线性空间)S

定义映射 Φ：

$\phi : x \rightarrow K(\cdot , x)$

定义线性组合：

$f(\cdot ) = \sum_{i=1}^{m} \alpha _{i}\ K(\cdot , x_{i})$

2. 在 S 上定义内积，使其成为内积空间：

对于任意的 $f, g \in S$ ,且

则

$f \cdot g = \sum \sum_{i=1}^{m}\sum_{j=1}^{l}\alpha _{i}\beta _{j}\ K(x_{i}, z_{j}) \ \ \ \ \ (7.81)$

3. 将内积空间完备化为希尔伯特空间：

由式（7.81）定义的内积可以得到范数：

$||f||=\sqrt{f \cdot f}$

此时内积空间成为一个赋范向量空间，一定可以使之完备化，得到Hilbert Space。

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

$K(x, z) = (x \cdot z + 1)^{p}$

此时的分类决策函数为：

$f(x) = sign(\sum_{i=1}^{m}\alpha _{i}^{\ast}y_{i}(x_{i}\cdot x+1)^{p}+b^{\ast})$

高斯核函数 (Gaussian kernel function)

$K(x, z) = exp(- \frac{||x-z||^{2}}{2\sigma ^{2}})$

此时的分类决策函数为:

$f(x) = sign(\sum_{i=1}^{m} \alpha _{i}^{\ast}y_{i} \ exp(- \frac{||x-z||^{2}}{2\sigma ^{2}})+ b^{\ast})$

字符串核函数 (string kernel function)

映射 $\phi_{n} (s)$ 将字符串 s 对应于空间 $\mathbb{R}^{\sum ^{n}}$ 的一个向量，其在 u 维上的取值为：

$[\phi _{n}(s)]_{u} = \underset{i:s(I) = u}{\sum }\lambda ^{l(i)}$

l(i) 表示字符串i的长度，求和在 s 中所有与 u 相同的子串上进行。

两个字符串 s 和 t 上的字符串核函数是基于映射 $\phi _{n}$ 的特征空间中的内积：

$k_{n}(s, t) = \underset{u \in \sum ^{n}}{\sum }\ \ \underset{(i,j):s(i) = t(j)=u}{\sum }\ \ \lambda ^{l(i)}\lambda ^{l(j)} \ \ \ (7.93)$

字符串核函数 $k_{n}(s, t)$ 给出了字符串 s 和 t 中长度为n 的所有子串组成的特征向量的余弦相似度 (cosine similarity)。

字符串核函数可由动态规划快速算出。

6.4 软间隔与正则化

允许SVM 在一些样本上出错，以缓解过拟合，为此引入“软间隔 (soft margin)”的概念。允许出错的意思是允许某些样本不满足约束：

$y_{i}(w^{T}x_{i}+b)\geqslant 1 \ \ \ \ \ (6.28)$

在最大化间隔的同时，不满足约束的样本应该尽量少。于是优化目标可写为：

$\underset{w,b}{min} \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m}l_{0/1}(y_{i}(w^{T}x_{i}+b)-1) \ \ \ \ \ (6.29)\\ C>0\\ l_{0/1}(z)=\left\{\begin{matrix} 1, &if \ \ z<0; \\ 0,& if \ \ z\geqslant 0 \end{matrix}\right.$

但是 $l_{0/1}$ 损失函数非凸、非连续，数学性质不好，使得式（6.29）不易直接求解。于是通常使用其他一些函数来代替，常用的有以下三种：

hinge损失： $l_{hinge}(z) = max(0, \ 1-z) \ \ \ \ \ (6.31)$

指数损失（exponential loss）： $l_{exp}(z) = exp(-z) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (6.32)$

对率损失（logistic loss): $l_{log}(z) = log(1+exp(-z)) \ \ \ \ \ (6.33)$

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

$\underset{f}{min} \ \Omega (f) + C\sum_{i=1}^{m}\ l(f(x_{i}), y_{i}) \ \ \ \ (6.42)$

从SVM来看，上式优化目标的第一项用于描述划分超平面的“间隔”大小；第二项用来表述训练集上的误差。

上式中 $\Omega (f)$ 称为结构风险 (structural risk)，用于描述模型 f 的某些性质；第二项称为经验风险 (empirical risk)，用于描述模型与训练集的拟合程度。

从经验风险最小化的角度来看， $\Omega (f)$ 可看作正则化项，它表述了希望模型具有何种性质（例如希望模型复杂度小），为引入领域知识和用户意图提供了途径，此外，还有助于削减假设空间，降低最小化训练误差的过拟风险。

软间隔SVM

引入“松弛变量”（slack variables）ξi ≥ 0，则优化目标为：

$\underset{w,b,\xi _{i}}{min} \ \ \frac{1}{2} ||w||^{2} + C\sum_{i=1}^{m}\xi _{i} \ \ \ \ \ \ \ \ \ \ (6.35)\\\\\\ s.t. \ \ \ \ \ \ \ y_{i}(w^{T}x_{i}+b) \geqslant 1-\xi _{i}\\ \xi _{i}\geqslant 0, \ \ i=1,2, ..., m$

由上式可看出：每个样本都有一个对应的slack variable，用来表示该样本不满足约束(6.28)的程度。

学习的对偶算法参见下方 7.2.2

《统计学习方法》7.2 线性SVM 与软间隔最大化

7.2.1 线性支持向量机

线性不可分意味着某些样本点 $(x_{i}, y_{i})$ 不能满足 $\hat{\gamma } \geqslant 1$ 的约束条件。因此对每个样本点 $(x_{i}, y_{i})$ 引进一个松弛变量 $\xi _{i} \geqslant 0$ ，使得函数间隔 $\hat{\gamma }$ 加上松弛变量 $\xi _{i}$ ≥1，于是线性不可分的线性支持向量机的学习问题变为如下凸二次规划问题（原始问题）：

$\underset{w, b, \xi }{min} \ \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m} \xi _{i} \ \ \ \ (7.32)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b) \geqslant 1- \xi _{i} , \ i=1,2, ..., m \ \ \ \ \ (7.33)\\ \xi _{i}\geqslant 0, \ \ \ i=1,2, ..., m \ \ \ \ \ (7.34)$

C > 0称为惩罚系数，式（3.21）包含两层含义：1）使第一项尽量小即间隔尽量大；2）使误分类点的个数尽量少，C为调和系数。

7.2.2 学习的对偶算法

写出原始最优化问题的拉格朗日函数：

$L(w, b, \xi , \alpha ,\mu )\equiv \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m}\xi _{i} - \sum_{i=1}^{m}(y_{i}(w\cdot x_{i} + b)-1 + \xi _{i}) - \sum_{i=1}^{m}\mu _{i}\xi _{i} \ \ \ \ \ (7.40)\\ \alpha _{i}\geqslant 0, \mu _{i}\geqslant 0$

1）求 $\underset{w,b}{min} \ \ L(w, b, \alpha )$ .

求 $L(w, b, \xi , \alpha ,\mu )$ 关于 $w, b, \xi$ 的偏导，并令其为零：

$\triangledown _{w} \ L(w, b, \xi ,\alpha , \mu ) = w - \sum_{i=1}^{m}\alpha _{i}y_{i}x_{i} = 0\\\\ \triangledown _{b} \ L(w, b, \xi ,\alpha , \mu ) = -\sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\\\ \triangledown _{\xi _{i}} \ L(w, b, \xi ,\alpha , \mu ) = C - \alpha _{i}-\mu _{i} = 0$

得到：

带入式（7.40）得到：

$\underset{w, b, \xi }{min} \ \ L(w, b, \xi ,\alpha ,\mu ) = -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i}$

2）求 $\underset{w,b}{min} \ \ L(w, b, \alpha )$ 对 α的极大，即对偶问题：

$\underset{\alpha }{max} \ \ -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i} \ \ \ \(7.44)\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\ C-\alpha _{i} - \mu _{i} =0 \\ \alpha _{i} \geqslant 0\\ \mu _{i} \geqslant 0, \ \ \ i=1,2, ..., m\\$

等价于如下对偶问题：

$\underset{\alpha }{min} \ \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ \ \(7.37)\\ s.t. \ \ \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.38)\\ 0\leqslant \alpha _{i}\leqslant C, \ \ \ i=1,2, ..., m \ \ \ \ (7.39)$

与硬间隔下的对偶问题相比，唯一的差别在于对偶变量的约束不同：硬间隔是 $0\leqslant \alpha _{i}\leqslant C$ ，软间隔是 $0\leqslant \alpha _{i}$

算法 7.3 （线性支持向量机学习算法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：分离超平面和分类决策函数

1）选择惩罚参数 C>0，构造并求解凸二次规划问题：

$\underset{\alpha }{min} \ \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ \ \(7.37)\\ s.t. \ \ \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.38)\\ 0\leqslant \alpha _{i}\leqslant C, \ \ \ i=1,2, ..., m \ \ \ \ (7.39)$

求得最优解 $\alpha ^{\ast } = (\alpha _{1}^{\ast },\alpha _{2}^{\ast }, ..., \alpha _{m}^{\ast } )^{T}$ .

2）计算 $w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i}$ ,

选择 $\alpha ^{\ast }$ 的一个分量 $\alpha _{j}^{\ast }$ 适合条件 $0< \alpha _{j}^{\ast }< C$ ，计算

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i} (x_{i} \cdot x_{j})$

3）求得分离超平面和分类决策函数：

$w^{\ast } \cdot x + b^{\ast } =0 \\ f(x) = sign(w^{\ast } \cdot x + b^{\ast } )$

7.2.3 支持向量

7.2.4 合页损失函数

先行支持向量机的另一种解释，可理解为最小化以下目标函数：

$\sum_{i=1}^{m}[1-y_{i}(w\cdot x_{i} +b)]_{+} + \lambda ||w||^{2} \ \ \ (7.57)$

函数 $L(y(w\cdot x+b)) = [1-y_{i}(w\cdot x_{i} +b)]_{+}$ 称为“合页损失函数（hinge loss function）”,下标“+”表示以下取正值的函数：

$[z]_{+} = \left\{\begin{matrix} z, & z> 0\\ 0,& z\leqslant 0 \end{matrix}\right.$

即当样本点 (xi, yi)被正确分类且函数间隔 $y_{i}(w\cdot x_{i} +b)$ 大于1 时，损失为0，否则损失为 $1-y_{i}(w\cdot x_{i} +b)$ ，

6.5 支持向量回归

传统回归模型

直接基于模型输出f(x) 与真是输出y 之间的差别来计算损失。

支持向量回归 (Support Vector Regression)

假设可以容忍 f(x) 与 y 之间最多有 ε 的偏差，即当且仅当 |f(x) - y| ≥ ε 时，才计算损失。

SVR 问题的优化目标

引入松弛变量 $\xi _{i},\ \ \hat{\xi }_{i}$ ，优化目标可写为：

$\underset{w, b, \xi _{i}, \hat{\xi _{i}}}{min} \ \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m} (\xi _{i}+\hat{\xi _{i}}) \ \ \ \ \ (6.45)\\\\ s.t. \ \ \ \ \ f(x_{i}) - y_{i} \leqslant \varepsilon +\xi _{i},\\ y_{i} - f(x_{i}) \leqslant \varepsilon +\hat{\xi _{i}},\\ \xi _{i}\geqslant 0, \hat{\xi _{i}}\geqslant 0, i=1,2,..., m$

引入lagrange multiplier (4个，均≥0)，得到lagrange function：

$L(w,b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })\\ =\frac{1}{2}||w||^{2}+C\sum_{i=1}^{m}(\xi _{i}+\hat{\xi }_{i})-\sum_{i=1}^{m}\mu _{i}\xi _{i}-\sum_{i=1}^{m}\hat{\mu _{i}}\hat{\xi _{i}}+\sum_{i=1}^{m}\alpha _{i}(f(x_{i})-y_{i}-\varepsilon -\xi _{i})+\sum_{i=1}^{m}\hat{\alpha _{i}}(y_{i}-f(x_{i})-\varepsilon -\hat{\xi _{i}}) \ \ \ \ (6.46)$

令 $L(w,b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })$ 关于 $w,b,\xi _{i},\hat{\xi }_{i}$ 的偏导为零，可得：

上述结果代回式（6.46），可得到SVR的对偶问题：

$\underset{\alpha ,\hat{\alpha }}{max} \ \ \sum_{i=1}^{m}y_{i}(\hat{\alpha }_{i}-\alpha _{i}) - \epsilon (\hat{\alpha }_{i}+\alpha _{i}) - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}(\hat{\alpha }_{i}-\alpha _{i})(\hat{\alpha }_{j}-\alpha _{j})x_{i}^{T}x_{j} \ \ \ \ \ \ \ \ \ \ \ (6.51)\\ s.t. \ \ \ \ \sum_{i=1}^{m}(\hat{\alpha }_{i}-\alpha _{i})=0,\\ 0\leqslant \alpha _{i}, \ \hat{\alpha }_{i}\leqslant C$

6.6 核方法

定理 6.2 （表示定理）

令 H 为核函数 k 对应的再生核希尔伯特空间， $||h||_{H}$ 表示 H 空间中关于 h 的范数，对于任意单调递增函数 $\Omega :[0,\infty ]\mapsto \mathbb{R}$ 和任意非负损失函数 $l: \mathbb{R}^{m} \mapsto [0, \infty ]$ ，优化问题：

$\underset{h\in H}{min} \ F(h) = \Omega (||h||_{H}) + l (h(x_{i}), h(x_{2}), ..., h(x_{m})) \ \ \ \ (6.57)$

其解总可以写为：

$h^{\ast }(x)= \sum_{i=1}^{m}\alpha _{i}k(x, x_{i}) \ \ \ \ (6.58)$

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

假设通过某种映射 $\phi : \chi \mapsto F$ 将样本映射到特征空间 F中，然后再 F 中执行线性判别分析，以求得：

$h(x)=w^{T}\phi (x)$

此时，KLDA 的学习目标为：

$\underset{w}{max\ J(w)}= \frac{w^{T}S_{b}^{\phi }w}{w^{T}S_{w}^{\phi }w} \ \ \ \ (6.60)$

令 $X_{i}$ 表示第 $i \in \{0,1\}$ 类样本的集合，其样本数为 $m_{i}$ ，第 i 类样本在特征空间 F 中的均值为：

$\mu _{i}^{\phi } = \frac{1}{m_{i}}\underset{x \in X_{i}}{\sum }\phi (x)$

《统计机器学习》7.3.4 非线性SVCM

将线性SVM对偶形式中的内积换成核函数，便可将线性SVM扩展到非线性SVM。

算法 7.4 （非线性SVM学习算法）

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

待续。。。。

你可能感兴趣的:(机器学习)

文本生成图像工作简述1--概念介绍和技术梳理尹凯
姓名：尹凯学号：22011210590学院：通信工程学院原文链接：https://blog.csdn.net/air__Heaven/article/details/127302735【嵌牛导读】文本生成图像的概念介绍与技术梳理【嵌牛鼻子】文本生成图像基于深度学习的机器学习方法已经在语音、文本、图像等单一模态领域取得了巨大的成功，而同时涉及到多种输入模态的多模态机器学习研究有巨大的应用前景和广泛的
一篇文章带你彻底弄懂大模型——掌握基本概念，领先别人一步！努力的光头强 transformer 职场和发展深度学习人工智能 langchain
大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发，对大模型领域容易混淆的相关概念进行区分，并就大模型的发展历程、特点和分类、泛化与微调进行了详细解读，供大家在了解大模型基本知识的过程中起到一定参考作用。本文目录如下：·大模型的定义·大模型相关概念区分·大模型的发展历程·大模型的特点·大模型的分类·大模型的泛化与微调1.大模型的定义大模型是指具有大规模参数和复杂计算结
使用Fleet AI Context和LangChain构建高效的文档检索系统 afTFODguAKBF 人工智能 langchain python
使用FleetAIContext和LangChain构建高效的文档检索系统引言在当今的AI和机器学习领域，高质量的文档检索系统对于提高开发效率和用户体验至关重要。本文将介绍如何利用FleetAIContext提供的高质量embeddings和LangChain框架来构建一个强大的文档检索系统。我们将深入探讨如何处理嵌入向量、检索相关文档，以及如何将这些功能整合到一个简单但功能强大的代码生成链中。主
Spark MLlib模型训练—推荐算法 ALS(Alternative Least Squares) 不二人生 Spark ML 实战 spark-ml 推荐算法算法
SparkMLlib模型训练—推荐算法ALS(AlternativeLeastSquares)如果你平时爱刷抖音，或者热衷看电影，不知道有没有过这样的体验：这类影视App你用得越久，它就好像会读心术一样，总能给你推荐对胃口的内容。其实这种迎合用户喜好的推荐，离不开机器学习中的推荐算法。在今天这一讲，我们就结合两个有趣的电影推荐场景，为你讲解SparkMLlib支持的协同过滤与频繁项集算法电影推荐场
使用MLOps进行AI部署的顶级公司 AI研报人工智能
自从AI技术进入主流领域以来，MLOps（机器学习运维）已成为在生产环境中部署和管理机器学习模型的一系列实践，这对企业的成败起着关键作用。各种背景的公司都在采用MLOps技术，以简化操作、提高模型效率和扩展AI解决方案。本文介绍了在AI部署方面表现突出的顶尖公司，它们的策略以及成功案例。使用MLOps进行AI部署的公司1.谷歌谷歌在MLOps领域处于领先地位，凭借其在云计算和机器学习研发方面的深厚
天下苦英伟达久矣！PyTorch官方免CUDA加速推理，Triton时代要来？诗者才子酒中仙物联网 /互联网 /人工智能 /其他 pytorch 人工智能 python
在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的GPU和CUDA是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖CUDA，使用它加速的机器学习模型可以实现更大的性能提升。虽然CUDA在加速计算领域占据主导地位，并成为英伟达重要的护城河之一。但其他一些工作的出现正在向CUDA发起挑战，比如OpenAI推出的Triton，它在可用性、内存开销、AI编译器堆栈构建等方面具有一定的优势
深度学习入门篇：PyTorch实现手写数字识别 AI_Guru人工智能深度学习 pytorch 人工智能
深度学习作为机器学习的一个分支，近年来在图像识别、自然语言处理等领域取得了显著的成就。在众多的深度学习框架中，PyTorch以其动态计算图、易用性强和灵活度高等特点，受到了广泛的喜爱。本篇文章将带领大家使用PyTorch框架，实现一个手写数字识别的基础模型。手写数字识别简介手写数字识别是计算机视觉领域的一个经典问题，目的是让计算机能够识别并理解手写数字图像。这个问题通常作为深度学习入门的练习，因为
Vue + Django的人脸识别系统 DXSsssss python DRF tensorflow 人脸识别
最近在研究机器学习，刚好最近看了vue+Djangodrf的一些课程，学以致用，做了一个人脸识别系统。项目前端使用Vue框架，用到了elementui组件，写起来真是方便。比之前传统的dtl方便了太多。后端使用了drf，识别知识刚开始打算使用opencv+tensorflow,但是发现吧识别以后的结果返回到浏览器当中时使用opencv比较麻烦（主要是我太菜，想不到比较好的方法），因此最终使用了tf
【机器学习】必会降维算法之：奇异值分解（SVD） Carl_奕然机器学习算法人工智能
奇异值分解（SVD）1、引言2、奇异值分解（SVD）2.1定义2.2应用场景2.3核心原理2.4算法公式2.5代码示例3、总结1、引言一转眼，小屌丝：鱼哥，就要到每年最开心的节日了：六一儿童节。小鱼：你有啥想法？小屌丝：想法没有，玩的地方倒是想小鱼：拉倒吧，我可不去小屌丝：确定？小鱼：看情况。小屌丝：嘿嘿，难得过节日，我们也得放松一下小鱼：正有此意。2、奇异值分解（SVD）2.1定义奇异值分解（S
TensorFlow的基本概念以及使用场景张柏慈决策树
TensorFlow是一个机器学习平台，用于构建和训练机器学习模型。它使用图形表示计算任务，其中节点表示数学操作，边表示计算之间的数据流动。TensorFlow的主要特点包括：1.多平台支持：TensorFlow可以运行在多种硬件和操作系统上，包括CPU、GPU和移动设备。2.自动求导：TensorFlow可以自动计算模型参数的梯度，通过优化算法更新参数，以提高模型的准确性。3.分布式计算：Ten
【ShuQiHere】探索人工智能核心：机器学习的奥秘 ShuQiHere 人工智能机器学习
【ShuQiHere】什么是机器学习？机器学习（MachineLearning,ML）是人工智能（ArtificialIntelligence,AI）中最关键的组成部分之一。它使得计算机不仅能够处理数据，还能从数据中学习，从而做出预测和决策。无论是语音识别、自动驾驶还是推荐系统，背后都依赖于机器学习模型。机器学习与传统的编程不同，它不再依赖于人类编写的固定规则，而是通过数据自我改进模型，从而更灵活
综述论文“A Survey of Zero-Shot Learning: Settings, Methods, and Applications” 硅谷秋水机器学习机器学习神经网络深度学习
该零样本学习综述，发表于ACMTrans.Intell.Syst.Technol.10,2,Article13(January2019)摘要：大多数机器学习方法着重于对已经在训练中看到其类别的实例进行分类。实际上，许多应用程序需要对实例进行分类，而这些实例的类以前没有见过。零样本学习（Zero-ShotLearning）是一种强大而有前途的学习范例，其中训练实例涵盖的类别与想分类的类别是不相交的。
大规模语言模型的书籍分享，从零基础入门到精通非常详细收藏我这一篇就够了黑客-雨语言模型人工智能自然语言处理学习大模型学习大模型入门大模型教程
在当今人工智能领域，大规模语言模型成为了研究和应用的热点之一。它们以其大规模的参数和强大的性能表现，推动着机器学习和深度学习技术的发展。对于GPT系列大规模语言模型的发展历程，有两点令人印象深刻。第一点是可拓展的训练架构与学习范式:Transformer架构能够拓展到百亿、千亿甚至万亿参数规模，并且将预训练任务统一为预测下一个词这一通用学习范式;第二点是对于数据质量与数据规模的重视:不同于BERT
机器学习 VS 表示学习 VS 深度学习 Efred.D 人工智能机器学习深度学习人工智能
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习,表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machinelearning),是从有限的数据集中学习到一定的规律,再把学到的规律应用到一些相似的样本集中做预测.机器学习的历史可以追溯到20世纪40年代McCulloch提出的人工神经元网络,目前学界大致把机器学习分为传统机器学习和机器学习两个类别
机器学习与深度学习的区别 eqa11 机器学习
文章目录机器学习与深度学习的区别一、引言二、机器学习概述1、机器学习定义1.1、机器学习的应用2、机器学习算法三、深度学习概述1、深度学习定义1.1、深度学习的应用2、深度学习算法四、机器学习与深度学习的区别1、学习方法2、数据需求3、应用领域五、总结机器学习与深度学习的区别一、引言在人工智能的浪潮中，机器学习和深度学习无疑是最耀眼的两颗明星。它们在许多领域都取得了令人瞩目的成就，从自动驾驶汽车到
景联文科技：专业数据标注公司，推动AI技术革新景联文科技人工智能
数据标注作为AI技术发展的重要支撑，对于训练高质量的机器学习模型以及推动应用领域的创新具有不可替代的作用。景联文科技作为专业的数据标注公司，致力于提供专业的数据标注服务，帮助客户解决AI链条中的数据处理难题，共同推动人工智能技术的进步与发展。一站式数据标注服务景联文科技提供一站式的数据标注服务，涵盖从图像、视频、音频到文本等多种数据类型。•图像标注：对象检测、语义分割、关键点标注、多边形标注等。•
【网易低代码】第2课，页面表格查询功能 Karle_ 网易低代码低代码
你好！这是一个新课程CodeWave网易低代码通过自然语言交互式智能编程，同时利用机器学习，帮助低代码开发者进一步降低使用门槛、提高应用开发效率【网易低代码】第2课，页面表格查询功能1.拖拽表格组件到页面布局中2.服务端逻辑编写3.绑定表格数据源4.调用服务端逻辑5.课程预告1.拖拽表格组件到页面布局中2.服务端逻辑编写拖拽数据查询逻辑添加查询对象添加分页对象拖转分页变量page和size添加输出
机器学习到底是个啥旷_9b08
机器学习是装逼神器？曾几何时，当我还在本科打dota玩屁股的时候，身边总有一帮大神。听他们谈话我的心情是。。。大佬中有各路高手前端、后段、java三大架构。。。但最令本渣一听到就仰慕甚至肃然起敬的是当听到卷积神经网络的时候。顿时就有种掉线三十分钟别人都是六神装的感觉。另外，班会上别班小哥用说用机器学习把图片转换成梵高风格时自己班妹纸那一声声尖叫怕是很难忘掉了。。。好在家里爸妈给了次重新做人的机会，
人工智能-GPU版本机器学习、深度学习模型安装 bw876720687 人工智能机器学习深度学习
背景1、在有Nvidia-GPU的情况下模型使用cuda加速计算，但是很有多模型的GPU和CPU版本安装方式不同，如何安装lgb\cat\xgb.2、为了让代码有普适性，如何自适应环境当中的设备进行CPU或者GPU的调整？解决方案问题一：安装GPU版本的LightGBMLightGBM默认不会安装GPU支持版，需要手动编译以启用GPU。以下是在Linux和Windows上编译GPU版本LightG
【机器学习】朴素贝叶斯可口的冰可乐机器学习机器学习概率论
3.朴素贝叶斯素贝叶斯算法（NaiveBayes）是一种基于贝叶斯定理的简单而有效的分类算法。其“朴素”之处在于假设各特征之间相互独立，即在给定类别的条件下，各个特征是独立的。尽管这一假设在实际中不一定成立，合理的平滑技术和数据预处理仍能使其在许多任务中表现良好。优点：速度快：由于朴素贝叶斯仅需计算简单的概率，训练和预测的速度非常快。适用于高维数据：即使在特征数量多的情况下，朴素贝叶斯仍然表现良好
机器学习引领未来：赋能精准高效的图像识别技术革新刷刷刷粉刷匠机器学习人工智能
图像识别技术近年来取得了显著进展，深刻地改变了各行各业。机器学习，特别是深度学习的突破，推动了这一领域的技术革新。本文将深入探讨机器学习如何赋能图像识别技术，从基础理论到前沿进展，再到实际应用与挑战展望，为您全面呈现这一领域的最新动态和未来趋势。1.引言在当今数字化和智能化的时代，图像识别技术正逐渐成为人工智能（AI）领域的核心组成部分。随着计算能力的提升和数据量的激增，机器学习特别是深度学习的快
MATLAB车牌识别系统清风明月来几时图像算法处理 matlab 开发语言
MATLAB车牌识别系统是一个基于MATLAB开发的用于识别和提取车牌信息的系统。该系统使用图像处理和机器学习算法来实现车牌的定位和字符识别。以下是一个基本的MATLAB车牌识别系统的工作流程：图像预处理：首先，将输入的图像进行预处理，包括灰度化、高斯平滑、边缘检测等操作，以提高后续的车牌定位和字符识别的准确性。车牌定位：在预处理后的图像中，使用形态学运算和边缘检测算法来寻找车牌的位置。这可以通过
【机器学习】广义线性模型（GLM）的基本概念以及广义线性模型在python中的实例（包含statsmodels和scikit-learn实现逻辑回归） Lossya 机器学习 python scikit-learn 线性回归人工智能逻辑回归
引言GLM扩展了传统的线性回归模型，使其能够处理更复杂的数据类型和分布文章目录引言一、广义线性模型1.1定义1.2广义线性模型的组成1.2.1响应变量（ResponseVariable）1.2.2链接函数（LinkFunction）1.2.3线性预测器（LinearPredictor）1.3常见的广义线性模型1.3.1线性回归1.3.2逻辑回归1.3.3泊松回归1.4GLM的特性1.5广义线性模型
Matlab,Python,Java,C++的比较 Codefengfeng python java c++
Matlabmatlab是一个大型计算机，擅长矩阵计算与科学计算，适合构建模型；然而，编译软件的运行效率低，不适合大型软件开发。Pythonpython的优势是简单，入门快。适合做数据挖掘、数据分析、机器学习、人工智能、自然语言处理、爬虫、批量文件处理等，此外，Python开源免费，有很多的库，开发环境开发社区都比较友好；不过，Python是动态型的语言，需要更多的测试，并且错误仅仅是在运行的时候
机器学习实战笔记5——线性判别分析绍少阿机器学习笔记可视化机器学习 python 人工智能
任务安排1、机器学习导论8、核方法2、KNN及其实现9、稀疏表示3、K-means聚类10、高斯混合模型4、主成分分析11、嵌入学习5、线性判别分析12、强化学习6、贝叶斯方法13、PageRank7、逻辑回归14、深度学习线性判别分析（LDA）Ⅰ核心思想对于同样一件事，站在不同的角度，我们往往会有不同的看法，而降维思想，亦是如此。同上节课一样，我们还是学习降维的算法，只是提供了一种新的角度，由上
机器学习，深度学习，AGI，AI的概念和区别我就是全世界人工智能机器学习深度学习
1.人工智能（AI）的定义与范围1.1AI的基本概念人工智能（AI）是指通过计算机系统模拟人类智能的技术和科学。AI的目标是创建能够执行通常需要人类智能的任务的系统，如视觉识别、语音识别、决策制定和语言翻译。AI的核心在于其能够处理和分析大量数据，从中提取有用的信息，并根据这些信息做出决策或预测。AI的发展可以追溯到20世纪50年代，当时科学家们开始探索如何使机器能够执行复杂的任务。随着计算能力的
十大机器学习算法-梯度提升决策树（GBDT） zjwreal 机器学习 GBDT 机器学习梯度提升提升树梯度提升决策树
简介梯度提升决策树（GBDT）由于准确率高、训练快速等优点，被广泛应用到分类、回归合排序问题中。该算法是一种additive树模型，每棵树学习之前additive树模型的残差。许多研究者相继提出XGBoost、LightGBM等，又进一步提升了GBDT的性能。基本思想提升树-BoostingTree以决策树为基函数的提升方法称为提升树，其决策树可以是分类树或者回归树。决策树模型可以表示为决策树的加
机器学习和深度学习的区别不会代码的小林机器学习
机器学习和深度学习在多个方面存在显著的区别，以下是对这些区别的详细阐述：一、定义与起源机器学习：是人工智能的一个分支领域，它使计算机能够从数据中学习并改进其性能，而无需进行显式编程。机器学习起源于20世纪50年代，随着算法和计算能力的不断发展而逐渐成熟。深度学习：则是机器学习的一个子领域，它利用深度神经网络模型进行学习和预测。深度学习在21世纪初开始兴起，特别是随着大数据的普及和计算能力的显著提升
机器学习第12章计算学习理论一只小小程序猿机器学习人工智能
目录基础知识PAC学习有限假设空间可分情形不可分情形VC维稳定性基础知识计算学习理论研究的是关于通过"计算"来进行"学习"的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。给定样例集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\left\{\left(\boldsymbol{x}_{1},y_{1}\right)
【机器学习】近似推断的基本概念以及变分贝叶斯的基本概念 Lossya 机器学习人工智能 python 贝叶斯网络变分贝叶斯近似推断
引言近似推断是处理大规模或复杂概率图模型时常用的一种方法，特别是在精确推断变得不可行或不实际的情况下文章目录引言一、近似推断1.1常见的近似推断方法1.1.1采样方法（SamplingMethods）1.1.1.1马尔可夫链蒙特卡洛（MCMC）1.1.1.2重要性采样（ImportanceSampling）1.1.1.3蒙特卡洛模拟（MonteCarloSimulation）1.1.2变分推断（V
apache ftpserver-CentOS config gengzg apache
<server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
优化MySQL数据库性能的八种方法 AILIKES sql mysql
1、选取最适用的字段属性　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
JeeSite 企业信息化快速开发平台平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
通过Spring Mail Api发送邮件 120153216 邮件 main
原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。【Spring Mail API】 Spring Mail API都在org.spri
Pysvn 程序员使用指南 2002wmj SVN
源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
SELECT R.session_id AS BlockedSessionID , S.session_id AS BlockingSessionID , Q1.text AS Block
Intent 常用的用法备忘 7454103 .net android Google Blog F#
Intent 应该算是Android中特有的东西。你可以在Intent中指定程序要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料。都指定好后，只要调用startActivity()，Android系统会自动寻找最符合你指定要求的应用程序，并执行该程序。下面列出几种Intent 的用法显示网页:
Spring定时器时间配置 adminjun spring 时间配置定时器
红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。代码： #include <iostream> #include <cstdio>
重构笔记——提取方法（Extract Method） ayaoxinchao java 重构提炼函数局部变量提取方法
提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。下面是我学习这个重构手法的笔记：提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
为UILabel添加点击事件 bewithme UILabel
默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。 UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis 数据库 NoSQL
一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
SecureCRT使用备注 bingyingao secureCRT 每页行数
SecureCRT日志和卷屏行数设置一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
【Scala九】Scala核心三：泛型 bit1129 scala
泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
素数与音乐 bookjovi 素数数学 haskell
由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。简单的说，IdentityHashMap和HashM
读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
PS人像润饰&调色教程集锦 cherishLC PS
1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/ 新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
更新多个字段的UPDATE语句 crabdave update
更新多个字段的UPDATE语句 update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
hive实例讲解实现in和not in子句 daizj hive not in in
本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
这是人类算24点的方法？！！！事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。然后么。。。我就在深夜很得瑟的问室友求室友算刚出完题，文哥的暴走之旅开始了 5秒后
关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yii framework
在使用 YIi的路径管理工具时，发现了一个问题。 <?php
对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
概述 “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。 “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
学习编程那点事 gcq511120594 编程互联网
一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
Reverse Linked List II hcx2013 list
Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return
Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
Hadoop集群工具distcp liyonghui160com
1. 环境描述两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
一个备份MySQL数据库的简单Shell脚本 pda158 mysql 脚本
　　主脚本（用于备份mysql数据库）：　　该Shell脚本可以自动备份数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
thrift总结 - 跨语言服务开发 uule thrift
官网官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍 RPC POM： <dependency> <groupId>org.apache.thrift</groupId>

【机器学习-西瓜书】第6章 支持向量机

6.1 间隔与支持向量

《统计机器学习-李航》第7.1.2节 函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节 间隔最大化

1 最大间隔分离超平面

2 最大间隔分离超平面的存在唯一性

3 支持向量 和 间隔边界

6.2 对偶问题

引自《统计机器学习》：对偶最优化问题

《统计机器学习-李航》第7.1.4节 学习的对偶算法

6.3 核函数

什么样的函数可以作核函数呢？<-> positive definite kernel function

常用核函数：

《统计学习方法》7.3 非线性SVM 与 核函数

7.3.1 核技巧

核函数定义

7.3.2 正定核

函数K(x, z)满足什么条件 才能成为 核函数？

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

高斯核函数 (Gaussian kernel function)

字符串核函数 (string kernel function)

6.4 软间隔 与 正则化

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

软间隔SVM

《统计学习方法》7.2 线性SVM 与 软间隔最大化

7.2.1 线性支持向量机

7.2.2 学习的对偶算法

算法 7.3 （线性支持向量机学习算法）

7.2.3 支持向量

7.2.4 合页损失函数

6.5 支持向量回归

SVR 问题的优化目标

6.6 核方法

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

《统计机器学习》7.3.4 非线性SVCM

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

你可能感兴趣的:(机器学习)

【机器学习-西瓜书】第6章支持向量机

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节间隔最大化

3 支持向量和间隔边界

《统计机器学习-李航》第7.1.4节学习的对偶算法

《统计学习方法》7.3 非线性SVM 与核函数

函数K(x, z)满足什么条件才能成为核函数？

6.4 软间隔与正则化

《统计学习方法》7.2 线性SVM 与软间隔最大化