wayaya112

【机器学习-西瓜书】第6章支持向量机

一种二分类模型，是定义在特征空间上的间隔最大的线性分类器；

SVM 的学习策略是间隔最大化，学习算法是求解凸二次规划的最优化算法，可等价于正则化的合页损失函数最小化问题。

由简至繁的模型有：线性可分支持向量机( (数据线性可分，硬间隔最大化)、线性支持向量机 (数据近似线性可分，软间隔最大化)、非线性支持向量机 (数据线性不可分，核技巧)。

当输入空间为欧氏空间或离散集合、特征空间为希尔伯特空间时，通过核函数将输入从输入

6.1 间隔与支持向量

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节间隔最大化

1 最大间隔分离超平面

2 最大间隔分离超平面的存在唯一性

3 支持向量和间隔边界

6.2 对偶问题

引自《统计机器学习》：对偶最优化问题

《统计机器学习-李航》第7.1.4节学习的对偶算法

6.3 核函数

什么样的函数可以作核函数呢？<-> positive definite kernel function

常用核函数：

《统计学习方法》7.3 非线性SVM 与核函数

7.3.1 核技巧

核函数定义

7.3.2 正定核

函数K(x, z)满足什么条件才能成为核函数？

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

高斯核函数 (Gaussian kernel function)

字符串核函数 (string kernel function)

6.4 软间隔与正则化

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

软间隔SVM

《统计学习方法》7.2 线性SVM 与软间隔最大化

7.2.1 线性支持向量机

7.2.2 学习的对偶算法

算法 7.3 （线性支持向量机学习算法）

7.2.3 支持向量

7.2.4 合页损失函数

6.5 支持向量回归

SVR 问题的优化目标

6.6 核方法

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

《统计机器学习》7.3.4 非线性SVCM

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

6.1 间隔与支持向量

二分类问题：

给定训练样本集 $D = \{(x_{1},y_{1}), (x_{2},y_{2}),..., (x_{m},y_{m})\}, y_{i}\in \{-1, +1\}$

找到一个划分超平面，将不同类别的样本分开，且该划分超平面对训练样本局部扰动的容忍性最好。划分超平面在样本空间中由w 和 b 确定，且法向量w指向的一侧为正类，另一侧为负类，可通过下式描述

$w^{T}x+b=0$

样本空间中任意点x 到超平面(w, b)的距离可写为:

$r=\frac{|w^{T}x+b|}{||w||}$

而对于样本点 $(x_{i}, y_{i})\in D$ ，若

$\begin{Bmatrix} w^{T}x_{i}+b \geq +1, & y_{i} = +1;\\ w^{T}x_{i}+b \leqslant -1, & y_{i} = -1 \end{Bmatrix} \ \ \ \ \ \ (6.3)$

定义使得上述不等式()6.3) 的等号成立的样本点，被称为支持向量（support vector），两个异类支持向量到超平面的距离之和称为间隔（margin），定义如下：

$\gamma =\frac{2}{||w||} \ \ \ \ \ (6.4)$

欲找到具有“最大间隔 ”(maximum margin) 的划分超平面，即等价于找到能满足式(6.3)的约束的 w 和 b，使得 γ 最大，即：

$\underset{w,b}{max} \ \ \frac{2}{||w||} \ \ \ \ \ \ \ \ \ \ \ \ (6.5) \\ s.t. \ \ \ y_{i}(w^{T}x_{i} + b) \geq 1 , i=1,2, ... ,m$

上式可等价转化为最小化下式，即支持向量机 (Support Vector Machine) 的基本型，即原始问题。

$\underset{w,b}{min} \ \ \frac{1}{2} ||w||^{2}\\ s.t. \ \ \ y_{i}(w^{T}x_{i}+b)\geq 1, \ \ i=1,2, ... ,m \ \ \ \ \ (6.6)$

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

一个点距离分离超平面的远近可以表示分类预测的确信程度。上图中点A的确信程度高于点C。

在超平面wx+b=0 确定的情况下，|wx+b| 可以相对地表示点x距离超平面的远近。

使用 y(wx+b)来表示分类的正确性及确信度，这就是函数间隔(functional margin)。

定义7.2 （函数间隔）

对于给定的训练数据集D 和超平面(w, b)，定义超平面 (w, b)关于样本点 (xi, yi)的函数间隔为：

$\hat{\gamma}_{i}=y_{i}(w \cdot x_{i}+b) \ \ \ (7.3)$

定义超平面(w, b)关于训练集 D 的函数间隔为超平面 (w, b)关于 D 中所有样本点 (xi, yi)的函数间隔的最小值，即

$\hat{\gamma } = \underset{i=1,2,..., N}{min} \ \ \hat{\gamma }_{i} \ \ \ (7.4)$

但是选择分离超平面时，需要考虑到等比例改变w和b后将得到不同的函数间隔，但实际上超平面并没有改变。因此可以对分离超平面的法向量w加上某些约束，如规范化||w||=1，使得间隔确定，此时函数间隔便成为了几何间隔（geometric margin）。

定义7.3 （几何间隔）

对于给定的训练集 D 和超平面 (w, b)，定义超平面 (w, b) 关于样本点 (xi, yi)的几何间隔为：

$\gamma _{i} = y_{i}\left ( \frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||} \right ) \ \ \ \ (7.5)$

定义超平面(w, b)关于训练集 D 的几何间隔为超平面 (w, b)关于 D 中所有样本点 (xi, yi)的几何间隔的最小值，即

$\gamma =\underset{i=1,2,...,N}{min} \ \ \gamma _{i} \ \ \ \ \ (7.6)$

函数间隔和几何间隔的关系为：

$\gamma =\frac{\hat{\gamma }}{||w||} \ \ \ (7.8)$

《统计机器学习-李航》第7.1.3节间隔最大化

间隔最大化的直观解释：对训练集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，即对那些最难分的实例点 (距离超平面最近的点)也有足够大的确信度将它们分开。

1 最大间隔分离超平面

如何求得一个几何间隔最大的分离超平面，可表示为以下约束最优化问题：

$\underset{w, b}{max} \ \ \frac{\hat{\gamma }}{||w||} \ \ \ \ \ (7.11) \\ s.t. \ \ \ \ y_{i}(w\cdot x_{i} + b) \geq \hat{\gamma } , \ \ i=1,2,..., N \ \ \ \ (7.12)$

如上一节中解释的那样，由于函数间隔的的等比例改变对最优化问题的不等式约束没有影响，所以取 $\hat{\gamma }$ = 1，带入式 (7.11)，得到最大化 $\frac{1}{||w||}$ ，该式等价于下式，是原始最优化问题：

$\underset{w, b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \(7.13)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b)-1\geq 0, \ \ i=1,2,..., N \ \ \ \ (7.14)$

算法 7.1 （线性可分支持向量机学习算法——最大间隔法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：最大间隔分离超平面和分类决策函数

1）构建并求解约束最优化问题：

$\underset{w, b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \(7.13)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b)-1\geq 0, \ \ i=1,2,..., N \ \ \ \ (7.14)$

求得最优解 $w^{\ast },\ b^{\ast }$

2）得到分离超平面和分类决策函数：

$w^{\ast }\cdot x+\ b^{\ast } = 0\\ f(x) = sign(w^{\ast }\cdot x+\ b^{\ast })$

2 最大间隔分离超平面的存在唯一性

定理7.1 （最大间隔分离超平面的存在唯一性）

若训练集 D 线性可分，则可将训练集 D 中的样本点完全正确分开的最大间隔分离超平面存爱且唯一。

证明参见《统计机器学习》p101

3 支持向量和间隔边界

支持向量是使约束条件式 (7.14)等号成立的点，即

$y_{i}(w\cdot x_{i}+b) - 1 = 0$

6.2 对偶问题

式(6.6)是一个凸二次规划问题 (convex quadratic programming)

凸优化问题指的是如下约束最优化问题：

$\underset{w}{min} \ \ f(w) \ \ \ \ (7.15)\\ s.t. \ \ \ g_{i}(w) \leqslant 0, \ i=1,2, ..., k \ \ \ \ \ (7.16)\\ h_{i}(w) = 0, \ i=1,2, ..., l \ \ \ \ \ (7.17)$

目标函数和约束函数 $g_{i}(w)$ 均是 $\mathbb{R}^{n}$ 上的连续可微的凸函数，约束函数 $h_{i}(w)$ 为 $\mathbb{R}^{n}$

上的仿射函数

使用拉格朗日乘子法，得到其“对偶问题” (dual problem)，通过求解对偶问题得到原始问题 (primal problem)的最优解。

具体来说，对式 (6.6)的每条约束添加拉格朗日乘子 (lagrange multiplier) αi ≥ 0，则可构建该问题的拉格朗日函数如下：

$L(w, b ,\alpha ) = \frac{1}{2} ||w||^{2} + \sum_{i=1}^{m} \alpha _{i}(1-y_{i}(w^{T}x_{i}+b)) \ \ \ \ (6.8) \\ =\frac{1}{2} ||w||^{2} - \sum_{i=1}^{m}\alpha _{i}y_{i} (w\cdot x_{i}+b) + \sum_{i=1}^{m}\alpha _{i}\\ \alpha = (\alpha _{1}, \alpha _{2}, ..., \alpha _{m})$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$\underset{\alpha }{max} \ \ \underset{w,b}{min} \ \ L(w,b,\alpha )$

因此，先求解 L(w, b, α)对w，b的极小，再求对α的极大。

1) 求 $\underset{w,b}{min} \ \ L(w,b,\alpha )$ 。

令 L(w, b ,α )对 w 和 b的偏导为零，可得：

将式（6.9）带入式（6.8），并考虑式(6.10)的约束，可得到式（6.6）的对偶问题：

$L(w, b, \alpha )= \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i}y_{i} ((\sum_{j=1}^{m}\alpha _{j}y_{j}x_{j})\cdot x_{i} + b ) + \sum_{i=1}^{m}\alpha _{i} \\ =-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i}$

2）最小化上式 L(w, b, α)，即求 $\underset{w, b}{min} \ L(w, b, \alpha )$ 对 α的极大，等价于求解对偶问题：

$\underset{\alpha }{max} \ \ \sum_{i=1}^{m} \alpha _{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}x_{i}^{T}x_{j}, \ \ \ \ (6.11)\\ s.t. \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, \ \ i=1,2, ... , m$

求解式（6.11），使用SMO (Sequential Minimal Optimization)算法：

引自《统计机器学习》：对偶最优化问题

将式（6.11）由求极大转换为求极小，则等价于求以下最优化问题 (对偶最优化)：

$\underset{\alpha }{min} \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ (7.22)\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.23) \\\\ \alpha _{i}\geqslant 0, \ \ i=1,2, ..., m\ \ \ \ \ \ \ (7.24)$

解出α后，取出 w和b，可得到模型：

$f(x) = w^{T} x + b \\ =\sum_{i=1}^{m}\alpha _{i}y_{i}x_{i}^{T}x + b \ \ \ \ \ (6.12)$

由于原始问题中存在不等式约束，即 $y_{i}(w^{T}x_{i}+b)-1 \geqslant 0$ ，因此上述过程需要满足 KKT (Karush- Kuhn-Tucker)条件，即要求

$\left\{\begin{matrix} \alpha _{i}\geqslant 0 ;\\ y_{i}f(x_{i}) -1 \geqslant 0 ; \\ \alpha _{i}(y_{i}f(x_{i})-1) = 0 \ \ \ \ \ \ \ (6.13) \end{matrix}\right.$

《统计机器学习-李航》第7.1.4节学习的对偶算法

定理 7.1

设 $\alpha ^{\ast }= (\alpha _{1 }^{\ast}, \alpha _{2}^{\ast}, .., \alpha _{l }^{\ast})^{T}$ 是对偶最优化问题（7.22）~（7.24）的解，则存在下标j，使得 $\alpha _{j}^{\ast }> 0$ ，并可以通过下式求得原始最优化问题的解 $w^{\ast}, b^{\ast}$ ：

$w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i} \ \ \ \ \ (7.25)\\ b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x_{i}\cdot x_{j}) \ \ \ \ \ \ (7.26)$

证明如下：

根据定理C.3 ，即

对于原始问题和对偶问题，假设函数 $f(x), c_{i}(x)$ 是凸函数， $h_{j}(x)$ 是仿射函数，且不等式约束 $c_{i}(x)$ 是严格可行的，则 $x^{\ast }, \alpha ^{\ast }, \beta ^{\ast }$ 分别是原始问题和对偶问题的解的充分必要条件是 $x^{\ast }, \alpha ^{\ast }, \beta ^{\ast }$ 满足如下 KKT 条件：

$\triangledown _{x} \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\ \triangledown _{\alpha } \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\ \triangledown _{\beta } \ L(x^{\ast }, \alpha ^{\ast }, \beta ^{\ast })= 0\\\\ \alpha _{i}^{\ast }c_{i}(x^{\ast }) = 0, i=1,2, ...,k \\ c_{i}(x^{\ast }) \leqslant 0, i=1,2, ...,k\\ \alpha _{i}^{\ast }\geqslant 0, i=1,2, ...,k\\ h_{j}(x^{\ast })=1, j= 1,2, ..., l$

KKT 条件成立，可得到：

$\triangledown _{w} \ L(w^{\ast }, b ^{\ast }, \alpha ^{\ast })= w^{\ast } - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i} = 0\\ \triangledown _{b} \ L(w^{\ast }, b ^{\ast }, \alpha ^{\ast }) = - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i} = 0\\ \alpha _{i}^{\ast }(y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1) = 0, \ i=1,2, ..., m\\ y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1\geqslant 0, \ i=1,2, ..., m\\ \alpha _{i}^{\ast } \geqslant 0, \ i=1,2, ..., m$

由此得到

$w^{\ast } = \sum_{i}\alpha _{i}^{\ast }y_{i}x_{i}$

且至少有一个 $\alpha _{j}^{\ast }> 0$ ，对此 j 有：

$y_{j}(w^{\ast }\cdot x_{j} + b^{\ast })-1=0 \ \ \ \ (7.28)$

将式（7.25）带入式（7.28）得到：

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x_{i}\cdot x_{j})$

由此，分类决策函数可写成：

$f(x) = sign(\sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}(x\cdot x_{i})+ b^{\ast })$

算法7.2 （线性可分支持向量机学习算法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：分离超平面和分类决策函数

1）构造并求解约束最优化问题

$\underset{\alpha }{min} \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m} \alpha _{i}\alpha _{j}y_{i}y_{j}(x_{i} \cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i}\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\ \alpha _{i} \geqslant 0 , \ \ \ i=1,2, ..., m$

求得最优解 $\alpha ^{\ast } = (\alpha _{1}^{\ast }, \alpha _{2}^{\ast }, ..., \alpha _{m}^{\ast })^{T}$

2）计算

$w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i}$

选择 $\alpha ^{\ast }$ 的一个正分量 $\alpha _{j}^{\ast }> 0$ ，计算

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{j}^{\ast }y_{i}(x_{i}\cdot x_{j})$

3）求得分离超平面和分类决策函数：

$w^{\ast } \cdot x + b^{\ast } =0 \\ f(x) = sign(w^{\ast } \cdot x + b^{\ast } )$

定义7.4 （支持向量）

考虑原始最优化问题及对偶最优化问题，将训练集 D 中对应于 $\alpha _{i}^{\ast } > 0$ 的样本点 ( $x_{i}, y_{i}$ )的实例 $x_{i}\in \mathbb{R}^{n}$ 称为支持向量。

KKT条件 $\alpha _{i}^{\ast }(y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1) = 0, \ \ i=1,2,...,m$ ，对应于 $\alpha _{i}^{\ast } > 0$ 的实例 $x_{i}\in \mathbb{R}^{n}$ ，有

$y_{i}(w^{\ast }\cdot x_{i} + b^{\ast })-1 = 0$

即 $x_{i}$ 一定在间隔边界上。

6.3 核函数

当原始空间内不存在一个能正确划分两类样本的超平面，但原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使得样本可分。

令 $\phi (x)$ 表示 x 映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为

$f(x) = w^{T}\phi (x) + b \ \ \ \ (6.19)$

此时，由支持向量所确定的最大间隔支持向量机可表示为：

$\underset{w,b}{min} \ \ \frac{1}{2}||w||^{2} \ \ \ \ \ \ \ (6.20)\\ s.t. \ \ \ \ \ y_{i}(w^{T}\phi (x) + b ) - 1 \geqslant 0, i=1,2, ..., m$

其对偶问题为：

$\underset{\alpha }{max}\ \ \ \sum_{i=1}^{m}\alpha ^{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}\phi (x_{i})^{T}\phi (x_{j}) \ \ \ \ \ \ \ \ (6.21)\\ s.t. \sum_{i=1}^{m} \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, i=1,2, ..., m$

直接计算 $\phi (x_{i})^{T}\phi (x_{j})$ 是很困难的，因此，设计了这样一个函数：

$k(x_{i}, x_{j}) = \left \langle \phi (x_{i}),\phi (x_{j})\right \rangle =\phi (x_{i})^{T}\phi (x_{j})$

输入空间的内积 $x_{i}\cdot x_{j}$ 变换为在特征空间的内积 $\phi (x_{i})^{T}\phi (x_{j})$ ，通过它们在原始样本空间中通过核函数k(·, ·) 计算得到。于是可重写上述对偶问题如下：

$\underset{\alpha }{max}\ \ \ \sum_{i=1}^{m}\alpha ^{i} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j}\ k(x_{i}, x_{j}) \ \ \ \ \ \ \ \ (6.21)\\ s.t. \sum_{i=1}^{m} \sum_{i=1}^{m}\alpha _{i}y_{i} = 0,\\ \alpha _{i}\geqslant 0, i=1,2, ..., m$

现实任务中，我们通常不知道 $\phi (\cdot )$ 的具体形式，那么

什么样的函数可以作核函数呢？<-> positive definite kernel function

定理 6.1（核函数）

令 X 为输入空间，k(· , ·)是定义在 X × X 上的对称函数，则 k 是核函数当且仅当对于任意数据 $D= \{x_{1}, x_{2}, ..., x_{m}\}$ , "核矩阵 (kernel matrix)" K 总是半正定的：

$K = \begin{bmatrix} k(x_{1}, x_{1})& ... & k(x_{1}, x_{j}) &... &k(x_{1}, x_{m}) \\ \vdots & \ddots & \vdots &... &\vdots \\ k(x_{i}, x_{1})& ... & k(x_{i}, x_{j}) &... &k(x_{i}, x_{m}) \\ \vdots & \ddots & \vdots &... &\vdots \\ k(x_{m}, x_{1})& ... & k(x_{m}, x_{j}) &... &k(x_{m}, x_{m}) \end{bmatrix}$

任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间” (Reproducing Kernel Hilbert Space) 的特征空间。

常用核函数：

《统计学习方法》7.3 非线性SVM 与核函数

7.3.1 核技巧

非线性可分问题：

给定数据集 $D= \{(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{m}, y_{m})\},\\ x_{i}\in \chi =\mathbb{R}^{n}, \ \ y_{i}\in Y= \{-1, +1\}$ ，如果可使用 $\mathbb{R}^{n}$ 中的一个超曲面将正负例正确分开，则称该问题为非线性可分问题。

分为2步：
1. 使用一个变换将原空间的数据映射到新空间；
2. 在新空间中使用线性分类学习方法从训练集中学习分类模型

SVM中核技巧的基本思想是：通过一个非线性变换将输入空间 (欧式空间或离散集合)对应于一个特征空间 (希尔伯特空间)，使得在输入空间中的超曲面对应于特征空间的超平面。

学习是隐式地在特征空间进行的，不需要显示地定义特征空间 H 和映射函数 φ，。

核函数定义

定义 7.6 （核函数）

设 $\chi$ 是输入空间（欧氏空间或离散集合），设 H 为特征空间（希尔伯特空间），若存在一个从 $\chi$ 到 H 的映射：

$\phi (x): \chi \rightarrow H$

使得对所有的 $x, z \in \chi$ ，函数满足条件：

$K(x, z) = \phi (x)\cdot \phi (z)$ ，

则称为核函数， $\phi (x)$ 是映射函数， $\phi (x)\cdot \phi (z)$ 表示 $\phi (x)$ 和 $\phi (z)$ 的内积。

7.3.2 正定核

函数K(x, z)满足什么条件才能成为核函数？

依据函数K(x, z)，构成一个希尔伯特空间：

1. 定义映射，构成向量空间 (或线性空间)S

定义映射 Φ：

$\phi : x \rightarrow K(\cdot , x)$

定义线性组合：

$f(\cdot ) = \sum_{i=1}^{m} \alpha _{i}\ K(\cdot , x_{i})$

2. 在 S 上定义内积，使其成为内积空间：

对于任意的 $f, g \in S$ ,且

则

$f \cdot g = \sum \sum_{i=1}^{m}\sum_{j=1}^{l}\alpha _{i}\beta _{j}\ K(x_{i}, z_{j}) \ \ \ \ \ (7.81)$

3. 将内积空间完备化为希尔伯特空间：

由式（7.81）定义的内积可以得到范数：

$||f||=\sqrt{f \cdot f}$

此时内积空间成为一个赋范向量空间，一定可以使之完备化，得到Hilbert Space。

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

$K(x, z) = (x \cdot z + 1)^{p}$

此时的分类决策函数为：

$f(x) = sign(\sum_{i=1}^{m}\alpha _{i}^{\ast}y_{i}(x_{i}\cdot x+1)^{p}+b^{\ast})$

高斯核函数 (Gaussian kernel function)

$K(x, z) = exp(- \frac{||x-z||^{2}}{2\sigma ^{2}})$

此时的分类决策函数为:

$f(x) = sign(\sum_{i=1}^{m} \alpha _{i}^{\ast}y_{i} \ exp(- \frac{||x-z||^{2}}{2\sigma ^{2}})+ b^{\ast})$

字符串核函数 (string kernel function)

映射 $\phi_{n} (s)$ 将字符串 s 对应于空间 $\mathbb{R}^{\sum ^{n}}$ 的一个向量，其在 u 维上的取值为：

$[\phi _{n}(s)]_{u} = \underset{i:s(I) = u}{\sum }\lambda ^{l(i)}$

l(i) 表示字符串i的长度，求和在 s 中所有与 u 相同的子串上进行。

两个字符串 s 和 t 上的字符串核函数是基于映射 $\phi _{n}$ 的特征空间中的内积：

$k_{n}(s, t) = \underset{u \in \sum ^{n}}{\sum }\ \ \underset{(i,j):s(i) = t(j)=u}{\sum }\ \ \lambda ^{l(i)}\lambda ^{l(j)} \ \ \ (7.93)$

字符串核函数 $k_{n}(s, t)$ 给出了字符串 s 和 t 中长度为n 的所有子串组成的特征向量的余弦相似度 (cosine similarity)。

字符串核函数可由动态规划快速算出。

6.4 软间隔与正则化

允许SVM 在一些样本上出错，以缓解过拟合，为此引入“软间隔 (soft margin)”的概念。允许出错的意思是允许某些样本不满足约束：

$y_{i}(w^{T}x_{i}+b)\geqslant 1 \ \ \ \ \ (6.28)$

在最大化间隔的同时，不满足约束的样本应该尽量少。于是优化目标可写为：

$\underset{w,b}{min} \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m}l_{0/1}(y_{i}(w^{T}x_{i}+b)-1) \ \ \ \ \ (6.29)\\ C>0\\ l_{0/1}(z)=\left\{\begin{matrix} 1, &if \ \ z<0; \\ 0,& if \ \ z\geqslant 0 \end{matrix}\right.$

但是 $l_{0/1}$ 损失函数非凸、非连续，数学性质不好，使得式（6.29）不易直接求解。于是通常使用其他一些函数来代替，常用的有以下三种：

hinge损失： $l_{hinge}(z) = max(0, \ 1-z) \ \ \ \ \ (6.31)$

指数损失（exponential loss）： $l_{exp}(z) = exp(-z) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (6.32)$

对率损失（logistic loss): $l_{log}(z) = log(1+exp(-z)) \ \ \ \ \ (6.33)$

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

$\underset{f}{min} \ \Omega (f) + C\sum_{i=1}^{m}\ l(f(x_{i}), y_{i}) \ \ \ \ (6.42)$

从SVM来看，上式优化目标的第一项用于描述划分超平面的“间隔”大小；第二项用来表述训练集上的误差。

上式中 $\Omega (f)$ 称为结构风险 (structural risk)，用于描述模型 f 的某些性质；第二项称为经验风险 (empirical risk)，用于描述模型与训练集的拟合程度。

从经验风险最小化的角度来看， $\Omega (f)$ 可看作正则化项，它表述了希望模型具有何种性质（例如希望模型复杂度小），为引入领域知识和用户意图提供了途径，此外，还有助于削减假设空间，降低最小化训练误差的过拟风险。

软间隔SVM

引入“松弛变量”（slack variables）ξi ≥ 0，则优化目标为：

$\underset{w,b,\xi _{i}}{min} \ \ \frac{1}{2} ||w||^{2} + C\sum_{i=1}^{m}\xi _{i} \ \ \ \ \ \ \ \ \ \ (6.35)\\\\\\ s.t. \ \ \ \ \ \ \ y_{i}(w^{T}x_{i}+b) \geqslant 1-\xi _{i}\\ \xi _{i}\geqslant 0, \ \ i=1,2, ..., m$

由上式可看出：每个样本都有一个对应的slack variable，用来表示该样本不满足约束(6.28)的程度。

学习的对偶算法参见下方 7.2.2

《统计学习方法》7.2 线性SVM 与软间隔最大化

7.2.1 线性支持向量机

线性不可分意味着某些样本点 $(x_{i}, y_{i})$ 不能满足 $\hat{\gamma } \geqslant 1$ 的约束条件。因此对每个样本点 $(x_{i}, y_{i})$ 引进一个松弛变量 $\xi _{i} \geqslant 0$ ，使得函数间隔 $\hat{\gamma }$ 加上松弛变量 $\xi _{i}$ ≥1，于是线性不可分的线性支持向量机的学习问题变为如下凸二次规划问题（原始问题）：

$\underset{w, b, \xi }{min} \ \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m} \xi _{i} \ \ \ \ (7.32)\\ s.t. \ \ \ \ y_{i}(w\cdot x_{i}+b) \geqslant 1- \xi _{i} , \ i=1,2, ..., m \ \ \ \ \ (7.33)\\ \xi _{i}\geqslant 0, \ \ \ i=1,2, ..., m \ \ \ \ \ (7.34)$

C > 0称为惩罚系数，式（3.21）包含两层含义：1）使第一项尽量小即间隔尽量大；2）使误分类点的个数尽量少，C为调和系数。

7.2.2 学习的对偶算法

写出原始最优化问题的拉格朗日函数：

$L(w, b, \xi , \alpha ,\mu )\equiv \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m}\xi _{i} - \sum_{i=1}^{m}(y_{i}(w\cdot x_{i} + b)-1 + \xi _{i}) - \sum_{i=1}^{m}\mu _{i}\xi _{i} \ \ \ \ \ (7.40)\\ \alpha _{i}\geqslant 0, \mu _{i}\geqslant 0$

1）求 $\underset{w,b}{min} \ \ L(w, b, \alpha )$ .

求 $L(w, b, \xi , \alpha ,\mu )$ 关于 $w, b, \xi$ 的偏导，并令其为零：

$\triangledown _{w} \ L(w, b, \xi ,\alpha , \mu ) = w - \sum_{i=1}^{m}\alpha _{i}y_{i}x_{i} = 0\\\\ \triangledown _{b} \ L(w, b, \xi ,\alpha , \mu ) = -\sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\\\ \triangledown _{\xi _{i}} \ L(w, b, \xi ,\alpha , \mu ) = C - \alpha _{i}-\mu _{i} = 0$

得到：

带入式（7.40）得到：

$\underset{w, b, \xi }{min} \ \ L(w, b, \xi ,\alpha ,\mu ) = -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i}$

2）求 $\underset{w,b}{min} \ \ L(w, b, \alpha )$ 对 α的极大，即对偶问题：

$\underset{\alpha }{max} \ \ -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) + \sum_{i=1}^{m}\alpha _{i} \ \ \ \(7.44)\\ s.t. \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0 \\ C-\alpha _{i} - \mu _{i} =0 \\ \alpha _{i} \geqslant 0\\ \mu _{i} \geqslant 0, \ \ \ i=1,2, ..., m\\$

等价于如下对偶问题：

$\underset{\alpha }{min} \ \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ \ \(7.37)\\ s.t. \ \ \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.38)\\ 0\leqslant \alpha _{i}\leqslant C, \ \ \ i=1,2, ..., m \ \ \ \ (7.39)$

与硬间隔下的对偶问题相比，唯一的差别在于对偶变量的约束不同：硬间隔是 $0\leqslant \alpha _{i}\leqslant C$ ，软间隔是 $0\leqslant \alpha _{i}$

算法 7.3 （线性支持向量机学习算法）

输入：数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), .. , (x_{N}, y_{N})\}, x_{i}\in\chi = \mathbb{R}^{n} , \ y_{i}\in Y = \{-1, +1\}, i=1,2,...,N$

输出：分离超平面和分类决策函数

1）选择惩罚参数 C>0，构造并求解凸二次规划问题：

$\underset{\alpha }{min} \ \ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y_{i}y_{j} (x_{i}\cdot x_{j}) - \sum_{i=1}^{m}\alpha _{i} \ \ \ \ \ \(7.37)\\ s.t. \ \ \ \ \ \ \sum_{i=1}^{m}\alpha _{i}y_{i} = 0\ \ \ \ \ \ \ (7.38)\\ 0\leqslant \alpha _{i}\leqslant C, \ \ \ i=1,2, ..., m \ \ \ \ (7.39)$

求得最优解 $\alpha ^{\ast } = (\alpha _{1}^{\ast },\alpha _{2}^{\ast }, ..., \alpha _{m}^{\ast } )^{T}$ .

2）计算 $w^{\ast } = \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i}x_{i}$ ,

选择 $\alpha ^{\ast }$ 的一个分量 $\alpha _{j}^{\ast }$ 适合条件 $0< \alpha _{j}^{\ast }< C$ ，计算

$b^{\ast } = y_{j} - \sum_{i=1}^{m}\alpha _{i}^{\ast }y_{i} (x_{i} \cdot x_{j})$

3）求得分离超平面和分类决策函数：

$w^{\ast } \cdot x + b^{\ast } =0 \\ f(x) = sign(w^{\ast } \cdot x + b^{\ast } )$

7.2.3 支持向量

7.2.4 合页损失函数

先行支持向量机的另一种解释，可理解为最小化以下目标函数：

$\sum_{i=1}^{m}[1-y_{i}(w\cdot x_{i} +b)]_{+} + \lambda ||w||^{2} \ \ \ (7.57)$

函数 $L(y(w\cdot x+b)) = [1-y_{i}(w\cdot x_{i} +b)]_{+}$ 称为“合页损失函数（hinge loss function）”,下标“+”表示以下取正值的函数：

$[z]_{+} = \left\{\begin{matrix} z, & z> 0\\ 0,& z\leqslant 0 \end{matrix}\right.$

即当样本点 (xi, yi)被正确分类且函数间隔 $y_{i}(w\cdot x_{i} +b)$ 大于1 时，损失为0，否则损失为 $1-y_{i}(w\cdot x_{i} +b)$ ，

6.5 支持向量回归

传统回归模型

直接基于模型输出f(x) 与真是输出y 之间的差别来计算损失。

支持向量回归 (Support Vector Regression)

假设可以容忍 f(x) 与 y 之间最多有 ε 的偏差，即当且仅当 |f(x) - y| ≥ ε 时，才计算损失。

SVR 问题的优化目标

引入松弛变量 $\xi _{i},\ \ \hat{\xi }_{i}$ ，优化目标可写为：

$\underset{w, b, \xi _{i}, \hat{\xi _{i}}}{min} \ \ \frac{1}{2}||w||^{2} + C\sum_{i=1}^{m} (\xi _{i}+\hat{\xi _{i}}) \ \ \ \ \ (6.45)\\\\ s.t. \ \ \ \ \ f(x_{i}) - y_{i} \leqslant \varepsilon +\xi _{i},\\ y_{i} - f(x_{i}) \leqslant \varepsilon +\hat{\xi _{i}},\\ \xi _{i}\geqslant 0, \hat{\xi _{i}}\geqslant 0, i=1,2,..., m$

引入lagrange multiplier (4个，均≥0)，得到lagrange function：

$L(w,b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })\\ =\frac{1}{2}||w||^{2}+C\sum_{i=1}^{m}(\xi _{i}+\hat{\xi }_{i})-\sum_{i=1}^{m}\mu _{i}\xi _{i}-\sum_{i=1}^{m}\hat{\mu _{i}}\hat{\xi _{i}}+\sum_{i=1}^{m}\alpha _{i}(f(x_{i})-y_{i}-\varepsilon -\xi _{i})+\sum_{i=1}^{m}\hat{\alpha _{i}}(y_{i}-f(x_{i})-\varepsilon -\hat{\xi _{i}}) \ \ \ \ (6.46)$

令 $L(w,b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })$ 关于 $w,b,\xi _{i},\hat{\xi }_{i}$ 的偏导为零，可得：

上述结果代回式（6.46），可得到SVR的对偶问题：

$\underset{\alpha ,\hat{\alpha }}{max} \ \ \sum_{i=1}^{m}y_{i}(\hat{\alpha }_{i}-\alpha _{i}) - \epsilon (\hat{\alpha }_{i}+\alpha _{i}) - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}(\hat{\alpha }_{i}-\alpha _{i})(\hat{\alpha }_{j}-\alpha _{j})x_{i}^{T}x_{j} \ \ \ \ \ \ \ \ \ \ \ (6.51)\\ s.t. \ \ \ \ \sum_{i=1}^{m}(\hat{\alpha }_{i}-\alpha _{i})=0,\\ 0\leqslant \alpha _{i}, \ \hat{\alpha }_{i}\leqslant C$

6.6 核方法

定理 6.2 （表示定理）

令 H 为核函数 k 对应的再生核希尔伯特空间， $||h||_{H}$ 表示 H 空间中关于 h 的范数，对于任意单调递增函数 $\Omega :[0,\infty ]\mapsto \mathbb{R}$ 和任意非负损失函数 $l: \mathbb{R}^{m} \mapsto [0, \infty ]$ ，优化问题：

$\underset{h\in H}{min} \ F(h) = \Omega (||h||_{H}) + l (h(x_{i}), h(x_{2}), ..., h(x_{m})) \ \ \ \ (6.57)$

其解总可以写为：

$h^{\ast }(x)= \sum_{i=1}^{m}\alpha _{i}k(x, x_{i}) \ \ \ \ (6.58)$

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

假设通过某种映射 $\phi : \chi \mapsto F$ 将样本映射到特征空间 F中，然后再 F 中执行线性判别分析，以求得：

$h(x)=w^{T}\phi (x)$

此时，KLDA 的学习目标为：

$\underset{w}{max\ J(w)}= \frac{w^{T}S_{b}^{\phi }w}{w^{T}S_{w}^{\phi }w} \ \ \ \ (6.60)$

令 $X_{i}$ 表示第 $i \in \{0,1\}$ 类样本的集合，其样本数为 $m_{i}$ ，第 i 类样本在特征空间 F 中的均值为：

$\mu _{i}^{\phi } = \frac{1}{m_{i}}\underset{x \in X_{i}}{\sum }\phi (x)$

《统计机器学习》7.3.4 非线性SVCM

将线性SVM对偶形式中的内积换成核函数，便可将线性SVM扩展到非线性SVM。

算法 7.4 （非线性SVM学习算法）

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

待续。。。。

你可能感兴趣的:(机器学习)

宇宙规律对可转移量子强化学习架构的启示 AI天才研究院计算机软件编程原理与应用实践 java python javascript kotlin golang 架构人工智能大厂程序员硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM 系统架构设计软件哲学 Agent 程序员实现财富自由
第1章引言：宇宙规律与量子强化学习架构1.1问题背景宇宙规律是指宇宙中普遍存在的自然规律，如物理学中的万有引力定律、量子力学中的不确定性原理等。这些规律对宇宙的运行和演化起着决定性的作用。随着科技的发展，人们开始意识到这些宇宙规律可能对人工智能领域，尤其是量子强化学习架构的设计和优化有着深远的启示。量子强化学习是一种结合了量子计算和强化学习的新型机器学习方法。它利用量子计算机的优势，在训练和优化模
C# 与 Python 代码互相调用的实践一只小灿灿 net Python c#python
一、引言在当今的软件开发领域，不同的编程语言都有其独特的优势和适用场景。C#是一种功能强大、面向对象的编程语言，主要应用于Windows平台开发、企业级应用开发以及游戏开发（借助Unity引擎等）等领域；而Python则以其简洁的语法、丰富的库以及在数据科学、机器学习、自动化脚本等众多方面的出色表现备受青睐。在实际的项目开发中，有时候我们希望能够结合这两种语言的优势，实现C#与Python代码的互
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87% 代码讲故事机器人智慧之心 Mamba 机器人量化大模型开源视觉 VLMs
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视Mamba速度提升2.8倍，内存能省87%。清华和哈工大把大模型量化做到了1比特。在追求更高效的机器学习模型部署时，模型量化技术应运而生，它通过降低权重矩阵的位宽来显著减少大型语言模型的存储和计算需求。我们一般的双精度浮点型double是64位
【机器学习】多模态AI——融合多种数据源的智能系统 2的n次方_ 人工智能
随着人工智能的快速发展，单一模态（如文本、图像或语音）已经不能满足复杂任务的需求。多模态AI（MultimodalAI）通过结合多种数据源（如文本、图像、音频等）来提升模型的智能和表现，适用于多样化的应用场景，如自动驾驶、医疗诊断、跨语言翻译等。一、多模态AI简介多模态AI是一种将不同形式的数据（如文本、图像、音频等）融合在一起的技术，旨在让模型从多个维度感知和理解信息。这种融合使得AI系统能够从
Python3.13来了！编程爱好者必看 Python之栈人工智能 python 开发语言
Python3.13于近期发布，其中包含大量重要更新。Python作为机器学习、数据科学和人工智能领域使用最广泛的编程语言，一直在不断发展，以满足这些领域日益增长的需求。最新发布的Python3.13提供了多项具有影响力的改进，旨在提高性能和生产力，对于从事ML和AI项目的开发人员来说是一个重要的里程碑。Python在ML和AI领域的主导地位主要归功于它的简单性、广泛的库支持和庞大的社区。然而，随
Transformer入门（1）transformer及其编码器-解码器通信仿真实验室 Google BERT 构建和训练NLP模型 bert transformer 人工智能 NLP 自然语言处理
文章目录1.Transformer简介2.Transformer的编码器-解码器架构3.transformer的编码器1.Transformer简介Transformer模型是一种用于自然语言处理的机器学习模型，它在2017年由Google的研究者提出，并在论文《AttentionisAllYouNeed》中详细描述。Transformer模型的核心创新在于其采用了自注意力（self-attent
【人工智能 | 大数据】基于人工智能的大数据分析方法用心去追梦人工智能大数据数据分析
基于人工智能（AI）的大数据分析方法是指利用机器学习、深度学习和其他AI技术来分析和处理大规模数据集。这些方法能够自动识别模式、提取有用信息，并做出预测或决策，从而帮助企业和组织更好地理解市场趋势、客户行为以及其他关键因素。以下是几种主要的基于AI的大数据分析方法：机器学习模型：通过训练算法让计算机从历史数据中学习并做出预测或分类。常见的机器学习技术包括监督学习（如回归分析、支持向量机）、非监督学
基于MATLAB机器学习、深度学习实践技术应用梦想的初衷~ 机器学习人工智能 matlab 机器学习深度学习
近年来，MATLAB在机器学习和深度学习领域的发展取得了显著成就。其强大的计算能力和灵活的编程环境使其成为科研人员和工程师的首选工具。在无人驾驶汽车、医学影像智能诊疗、ImageNet竞赛等热门领域，MATLAB提供了丰富的算法库和工具箱，极大地推动了人工智能技术的应用和创新。原文链接https://mp.weixin.qq.com/s?__biz=Mzg2NDYxNjMyNA==&mid=224
降维算法：主成分分析一个人在码代码的章鱼数学建模机器学习概率论
主成分分析一种常用的数据分析技术，主要用于数据降维，在众多领域如统计学、机器学习、信号处理等都有广泛应用。主成分分析是一种通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量（即主成分）的方法。这些主成分按照方差从大到小排列，方差越大，包含的原始数据信息越多。通常会选取前几个方差较大的主成分，以达到在尽量保留原始数据信息的前提下降低数据维度的目的。它通过将多个指标转换为少数几个主成分,
Python从0到100（八十三）：神经网络-使用残差网络RESNET识别手写数字是Dream呀 python 神经网络网络
前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
【人工智能】Python实战：构建高效的多任务学习模型蒙娜丽宁 Python杂谈 AI 人工智能 python 学习
《PythonOpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界多任务学习（Multi-taskLearning,MTL）作为机器学习领域中的一种重要方法，通过在单一模型中同时学习多个相关任务，不仅能够提高模型的泛化能力，还能有效利用任务间的共享信息。本文深入探讨了多任务学习的基本概念、优势及其在实际应用中的重要性。
基于 Python 的机器学习模型部署到 Flask Web 应用：从训练到部署的完整指南 m0_74825223 python 机器学习 flask
目录引言技术栈步骤一：数据预处理步骤二：训练机器学习模型步骤三：创建FlaskWeb应用步骤四：测试Web应用步骤五：模型的保存与加载保存模型加载模型并在Flask中使用步骤六：Web应用的安全性考量示例：简单的输入验证示例：自定义错误处理示例：使用Flask-JWT-Extended进行认证结论参考资料引言在当今数据驱动的时代，机器学习模型已经广泛应用于各行各业，从金融、医疗到教育等领域。然而，
机器学习：scikit-learn 和 Jupyter Notebook（推荐初学者使用google colab） wyc9999ww 机器学习 scikit-learn jupyter 人工智能 python
对于初学者来说，scikit-learn是一个理想的机器学习入门工具。不仅提供了丰富的算法和功能，还通过一致的API设计，确保能够快速上手并进行各种机器学习任务。通过使用scikit-learn，可以专注于理解和实践机器学习的核心概念，而不必过多担心底层实现细节。所以scikit-learn能轻松实现从数据预处理到模型训练和评估的完整流程。此外在推荐一个适合初学者的深度学习平台工具googleco
有趣的python代码实例_Python之路：200个Python有趣的小例子一网打尽 weixin_39845406 有趣的python代码实例
概述博主最近在学习python，看完了一整套学习视频，然后呃呃呃，还是用不太流畅。碰巧在全球最大的同性交友论坛GayHub(呸！是开源代码托管平台Github)上面发现了一个项目，该项目列举了200多个Python小例子，Python基础、Python坑点、Python字符串和正则、Python绘图、Python日期和文件、Web开发、数据科学、机器学习、深度学习、TensorFlow、Pytor
机器学习数学基础-定积分应用-经济问题华东算法王（原聪明的小孩子小孩哥解析宋浩微积分算法
定积分在经济学中的应用广泛，特别是用来解决与累积量、平均值、总收入、成本、利润等相关的问题。以下是定积分在经济学中的几个常见应用场景：1.总收入和总成本的计算在经济学中，定积分常用于计算总收入、总成本等累积量。如果给定价格函数和需求函数或供应函数，定积分可以帮助我们计算从某一数量到另一数量之间的总收入或总成本。总收入：假设某商品的价格随数量的变化而变化，价格函数为(p(x))，其中(x)表示销售的
迁移学习与RBF神经网络 fanxbl957 人工智能理论与实践迁移学习神经网络人工智能
迁移学习与RBF神经网络一、引言在机器学习和深度学习领域，迁移学习和神经网络都是备受关注的重要技术。迁移学习旨在将从一个或多个源任务中学习到的知识应用到目标任务中，以加快目标任务的学习过程，提高学习效果，尤其在数据稀缺或训练资源有限的情况下展现出显著优势。而RBF（径向基函数）神经网络作为一种经典的神经网络结构，以其独特的函数逼近能力和良好的局部逼近特性，在众多领域取得了出色的性能表现。将迁移学习
用大数据“喂养”出来的AI模型ChatGPT 爆火是大数据、大算力、强算法的支撑，中国缺乏的什么？ Ai17316391579 深度学习服务器人工智能
先来了解一下ChatGPT的基本情况ChatGPT本质属于生成式人工智能，属于无监督或半监督的机器学习。与之相关的还有Discriminativemodeling区分式模型，区分式模型大多属于监督式学习。生成性人工智能目前有两种主要的框架：GAN（GenerativeAdversarialNetwork）和GPT（GenerativePre-trainedTransformer）。GAN目前广泛应
AIGC视频生成国产之光：ByteDance的PixelDance模型好评笔记 AIGC-视频补档 AIGC 计算机视觉人工智能深度学习机器学习论文阅读面试
大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍ByteDance的视频生成模型PixelDance，论文于2023年11月发布，模型上线于2024年9月，同时期上线的模型还有Seaweed（论文未发布）。优质专栏回顾：机器学习笔记深度学习笔记多模态论文笔记AIGC—图像文章目录论文摘要引言输入训练和推理时的数据处理总结相关工作视频生成长视频生成方法模型架构
Python气象数据分析：风速预报订正、台风预报数据智能订正、机器学习预测风电场的风功率、浅水模型、预测ENSO等小艳加油大气科学 python 人工智能气象机器学习
目录专题一Python和科学计算基础专题二机器学习和深度学习基础理论和实操专题三气象领域中的机器学习应用实例专题四气象领域中的深度学习应用实例更多应用Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以预见未来Py
YOLOv8/YOLOv11使用web界面推理自己的模型，Gradio框架快速搭建挂科边缘 YOLOv8改进 YOLO 前端计算机视觉目标检测人工智能 python
前言Gradio是一个开源Python库，用于快速构建和共享机器学习模型的Web界面。开发者可以通过简单的Python代码将机器学习模型封装成交互式应用，无需复杂的设置即可在浏览器中使用自己训练好模型。接下来教你使用Gradio框架构建一个简单Web界面推理YOLOv8/YOLOv11模型。话不多说上检测结果：一、YOLOv8/YOLOv11源码下载YOLOv8源码下载：官网打不开的话，从我的网盘
深度学习笔记——模型部署好评笔记深度学习笔记深度学习笔记人工智能 transformer 模型部署大模型部署大模型
大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文简要概括模型部署的知识点，包括步骤和部署方式。文章目录模型部署模型部署的关键步骤常见的模型部署方式优势与挑战总结边缘端部署方案总结历史文章机器学习深度学习模型部署模型部署是指将训练好的机器学习或深度学习模型集成到生产环境中，使其能够在实际应用中处理实时数据和提供预测服务。模型部署的流程涉及模型的封装、部署环境的选择、部
探索泰坦尼克号生存分类数据集：机器学习与数据分析的完美起点岑童嵘
探索泰坦尼克号生存分类数据集：机器学习与数据分析的完美起点【下载地址】泰坦尼克号生存分类数据集本仓库提供了一个经典的机器学习数据集——泰坦尼克号生存分类数据集。该数据集包含两个CSV文件：训练集和测试集。数据集主要用于训练和评估机器学习模型，以预测泰坦尼克号乘客的生存情况项目地址:https://gitcode.com/open-source-toolkit/35561项目介绍泰坦尼克号生存分类数
基于Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用 KY_chenzhao python 机器学习深度学习气象
1.背景与目标ENSO（ElNiño-SouthernOscillation）是全球气候系统中最显著的年际变率现象之一，对全球气候、农业、渔业等有着深远的影响。准确预测ENSO事件的发生和发展对于减灾防灾具有重要意义。近年来，深度学习技术在气象领域得到了广泛应用，其中长短期记忆网络（LSTM）因其在处理时间序列数据方面的优势，被广泛用于ENSO预测。2.数据准备数据来源包括NOAA（美国国家海洋和
R语言的软件工程 BinaryBardC 包罗万象 golang 开发语言后端
R语言的软件工程1.引言随着数据科学的快速发展，R语言作为一种统计计算和图形绘制的编程语言，其在数据分析、可视化以及机器学习等领域的应用日益广泛。尽管R语言在数据处理上有其独特的优势，但要将其运用于大型项目和商业应用中，就需要遵循软件工程的原则。本篇文章将探讨R语言在软件工程中的应用，主要涵盖软件开发生命周期、代码规范、版本控制、测试和文档等方面。2.软件开发生命周期软件开发生命周期（SDLC）是
Python中的Pipeline快速教学、 Coding Is Fun python 开发语言
在Python中，Pipeline通常指的是机器学习工作流中的流水线，尤其是在使用scikit-learn库时。Pipeline允许你将多个数据处理步骤和模型训练步骤串联起来，形成一个有序的工作流程。这不仅使代码更简洁，还能确保在训练和预测时一致的数据处理。以下是一个快速教学，帮助你掌握Python中Pipeline的核心概念和使用方法。目录安装和导入必要的库Pipeline的基本概念创建一个简单
大模型介绍詹姆斯爱研究Java spring
大模型（LargeModel）指的是拥有庞大参数量的机器学习模型。由于具有更多的参数，大模型能够更好地拟合复杂的数据和模式，从而提供更准确的预测和更好的性能。大模型的参数量通常远远超过常规模型，可以达到数百万甚至数十亿个参数。这些参数通常通过深度神经网络（DeepNeuralNetwork）来表示，包括多个隐藏层和大量的神经元。大模型的训练需要大量的计算资源和数据。通常，它们需要在多个GPU或TP
Python从0到100（七十三）：Python OpenCV-OpenCV实现手势虚拟拖拽是Dream呀 python opencv 开发语言
前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
K-means聚类：解锁数据隐藏结构的钥匙陈辰学长 kmeans 聚类机器学习
K-means聚类：解锁数据隐藏结构的钥匙在机器学习的广阔领域中，无监督学习以其独特的魅力吸引了众多研究者和实践者。其中，K-means聚类作为一种经典且实用的无监督学习算法，以其简单高效的特点，广泛应用于市场细分、图像分割和基因聚类等领域。本文将深入探讨K-means聚类的工作原理、应用实例及其在这些领域中的具体应用，旨在揭示其如何智能划分数据，解锁隐藏结构，为相关领域提供精准导航。一、K-me
与机器学习的邂逅--自适应神经网络结构的深度解析想成为高手499 机器学习与人工智能机器学习神经网络人工智能
引言随着人工智能的发展，神经网络已成为许多应用领域的重要工具。自适应神经网络（AdaptiveNeuralNetworks，ANN）因其出色的学习能力和灵活性，逐渐成为研究的热点。本文将详细探讨自适应神经网络的基本概念、工作原理、关键技术、C++实现示例及其应用案例，最后展望未来的发展趋势。自适应神经网络的基本概念什么是自适应神经网络？自适应神经网络是一种能够根据输入数据的变化和环境的动态特性自动
PostgreSQL - pgvector 插件构建向量数据库并进行相似度查询花千树-010 RAG 数据库 postgresql AI编程
在现代的机器学习和人工智能应用中，向量相似度检索是一个非常重要的技术，尤其是在文本、图像或其他类型的嵌入向量的操作中。本文将介绍如何在PostgreSQL中安装pgvector插件，用于存储和检索向量数据，并展示如何通过Python脚本向数据库插入向量并执行相似度查询。一、安装PostgreSQL并配置pgvector插件1.安装PostgreSQL首先，确保你已经安装了PostgreSQL。可以
apache ftpserver-CentOS config gengzg apache
<server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
优化MySQL数据库性能的八种方法 AILIKES sql mysql
1、选取最适用的字段属性　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
JeeSite 企业信息化快速开发平台平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
通过Spring Mail Api发送邮件 120153216 邮件 main
原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。【Spring Mail API】 Spring Mail API都在org.spri
Pysvn 程序员使用指南 2002wmj SVN
源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
SELECT R.session_id AS BlockedSessionID , S.session_id AS BlockingSessionID , Q1.text AS Block
Intent 常用的用法备忘 7454103 .net android Google Blog F#
Intent 应该算是Android中特有的东西。你可以在Intent中指定程序要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料。都指定好后，只要调用startActivity()，Android系统会自动寻找最符合你指定要求的应用程序，并执行该程序。下面列出几种Intent 的用法显示网页:
Spring定时器时间配置 adminjun spring 时间配置定时器
红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。代码： #include <iostream> #include <cstdio>
重构笔记——提取方法（Extract Method） ayaoxinchao java 重构提炼函数局部变量提取方法
提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。下面是我学习这个重构手法的笔记：提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
为UILabel添加点击事件 bewithme UILabel
默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。 UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis 数据库 NoSQL
一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
SecureCRT使用备注 bingyingao secureCRT 每页行数
SecureCRT日志和卷屏行数设置一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
【Scala九】Scala核心三：泛型 bit1129 scala
泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
素数与音乐 bookjovi 素数数学 haskell
由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。简单的说，IdentityHashMap和HashM
读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
PS人像润饰&调色教程集锦 cherishLC PS
1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/ 新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
更新多个字段的UPDATE语句 crabdave update
更新多个字段的UPDATE语句 update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
hive实例讲解实现in和not in子句 daizj hive not in in
本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
这是人类算24点的方法？！！！事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。然后么。。。我就在深夜很得瑟的问室友求室友算刚出完题，文哥的暴走之旅开始了 5秒后
关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yii framework
在使用 YIi的路径管理工具时，发现了一个问题。 <?php
对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
概述 “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。 “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
学习编程那点事 gcq511120594 编程互联网
一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
Reverse Linked List II hcx2013 list
Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return
Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
Hadoop集群工具distcp liyonghui160com
1. 环境描述两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
一个备份MySQL数据库的简单Shell脚本 pda158 mysql 脚本
　　主脚本（用于备份mysql数据库）：　　该Shell脚本可以自动备份数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
thrift总结 - 跨语言服务开发 uule thrift
官网官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍 RPC POM： <dependency> <groupId>org.apache.thrift</groupId>

【机器学习-西瓜书】第6章 支持向量机

6.1 间隔与支持向量

《统计机器学习-李航》第7.1.2节 函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节 间隔最大化

1 最大间隔分离超平面

2 最大间隔分离超平面的存在唯一性

3 支持向量 和 间隔边界

6.2 对偶问题

引自《统计机器学习》：对偶最优化问题

《统计机器学习-李航》第7.1.4节 学习的对偶算法

6.3 核函数

什么样的函数可以作核函数呢？<-> positive definite kernel function

常用核函数：

《统计学习方法》7.3 非线性SVM 与 核函数

7.3.1 核技巧

核函数定义

7.3.2 正定核

函数K(x, z)满足什么条件 才能成为 核函数？

7.3.3 常用核函数

多项式核函数 (polynomial kernel function)

高斯核函数 (Gaussian kernel function)

字符串核函数 (string kernel function)

6.4 软间隔 与 正则化

若将0/1损失函数换成其他损失函数，得到更一般的学习模型：

软间隔SVM

《统计学习方法》7.2 线性SVM 与 软间隔最大化

7.2.1 线性支持向量机

7.2.2 学习的对偶算法

算法 7.3 （线性支持向量机学习算法）

7.2.3 支持向量

7.2.4 合页损失函数

6.5 支持向量回归

SVR 问题的优化目标

6.6 核方法

如何得到“核线性判别分析*（Kernelized Linear Discriminant Analysis）

《统计机器学习》7.3.4 非线性SVCM

《统计机器学习》7.4 SMO (Sequential Minimal Optimization)算法

你可能感兴趣的:(机器学习)

【机器学习-西瓜书】第6章支持向量机

《统计机器学习-李航》第7.1.2节函数间隔和几何间隔

《统计机器学习-李航》第7.1.3节间隔最大化

3 支持向量和间隔边界

《统计机器学习-李航》第7.1.4节学习的对偶算法

《统计学习方法》7.3 非线性SVM 与核函数

函数K(x, z)满足什么条件才能成为核函数？

6.4 软间隔与正则化

《统计学习方法》7.2 线性SVM 与软间隔最大化