RaymondLove~

机器学习知识点总结 - SVM

SVM是第一个开始深入学习并大部分理解的算法。趁着2018年的最后一天，抓紧时间，总结一下自己学到的东西，和大家分享一下！

参考资料：周志华老师的《机器学习》+李航老师的《统计学习方法》

SVM是一种监督学习的二分类算法。基本SVM可以用来解决样本空间中线性可分的问题。通过引入核函数，可以将在原始样本空间线性不可分的问题，转换成为在高维特征空间中线性可分的问题，进而得以解决。另外，针对那些在样本空间线性不可分，也未找到合适的核函数将其转换到线性可分的特征空间的问题，可以通过引入“软间隔”的思想来进行解决。

接下来，将从以下几个方面进行介绍：

基本概念
SVM的基本原理 - 硬间隔SVM：用来解决样本空间中线性可分的问题
核函数：用来解决样本空间非线性可分，但特征空间线性可分的问题
软间隔SVM：用来解决在样本空间/特征空间中均费线性可分，但近似线性可分的问题
SVR：用来解决回归问题
SMO求解算法详细介绍：略

1. 基本概念

线性可分：存在一个超平面，能够将不同类别的样本完全划分开

线性不可分：不存在一个超平面，将不同类别的样本完全划分开

硬间隔：存在一个超平面，能够将不同类别的样本完全划分开，将所有样本都划分正确

软间隔：对于划分超平面，不要求将所有样本划分正确，反而允许某些样本未被划分正确的思想，成为软间隔

2. SVM的基本原理 - 硬间隔SVM

给定训练样本集合 $D = \left \{ (x_1,y_1),(x_2,y_2),...,(x_m,y_m) \right \}, y_i\in \left\{-1,+1\right\}$ 。

支持向量机（Support Vector Machine, SVM）的基本思想就是：基于训练集在样本空间中找到一个 “最优”超平面，将不同类别的样本分开，使得训练集上正负样本的间隔最大。

图1.1 描述了多个分割超平面，这些超平面都可以将样本划分开，但是哪个才是最好的呢？最好的超平面需要满足的要求是：这个超平面产生的分类结果是最鲁棒的，对从未出现的样本的泛化能力最强。故而，图1.1中，红色的超平面应该是最优的超平面。

图1.1 多个分割超平面对数据集进行划分

接下来，我们从公式的推倒过程中探寻SVM的原理。

划分超平面可以用线性方程来表示：

$w^{T}x+b=0$

公式（1.1）

其中， $w = (w_1,w_2,...,w_d)^{T}$ 为法向量，决定了超平面的方向；为位移项，决定了超平面与原点之间的距离。超平面可以被唯一确定。

几何间隔：给定超平面，样本空间任意的点到该超平面的距离

$r = \frac{|w^{T}x+b|}{\left \| w \right \|}$

公式（1.2）

函数间隔

公式（1.3）给出了样本点到超平面的函数间隔:

$\hat{\gamma_i}=y_i(w^{T}x_i+b)$

公式（1.3）

公式（1.4）给出了超平面关于训练集合的函数间隔，即：超平面关于中所有样本点的函数间隔的最小值。

$\gamma=min_{(i=1,...,N)}\hat{\gamma_i}$

公式（1.4）

函数间隔可以表示分类的正确性和确信度。

$|w^{T}x+b|$ 反应了样本点到超平面的距离的远近；而的符号与 $w^{T}x+b$ 的符号是否一致则反应了预测是否正确。

支持向量 (support vector)

假设超平面对样本能够分类正确，即对于 $(x_i,y_i)\in D$ ，若，则有 $w^{T}x_i+b>0$ ; 若，则有 $w^{T}x_i+b<0$ 。可写成公式（1.5）。

公式（1.5）

另外，公式（1.5）可以被简写为公式（1.6）。

$y_i(w^{T}x_i+b)\geqslant1$

公式（1.6）

之所以在公式（1.5）和（1.6）的右侧使用1作为阈值，而不是其他的数值，是因为即便使用其他的数值，也可以通过约分化简为距离1。而公式（1.6）的左侧就是点到超平面的函数间隔的定义。

接下来，我们给出支持向量的定义。如图1.2所示，距离超平面最近的几个样本点，能够使得公式（1.5）和公式（1.6）等号成立。这些样本点被称为“支持向量”。

图1.2 支持向量与间隔

回顾前面介绍的函数距离的定义可知，支持向量代表对应的就是在不同类别的样本集合中具有最小函数距离的样本点。

两个异类支持向量到超平面的距离之和可表示为公式为（1.7），该公式被称为“距离”。

$\gamma = \frac{2}{\left \| w \right \|}$

公式（1.7）

至此，我们可以知道，SVM的目标就是找到具有“最大间隔”的划分超平面。

目标函数

根据上面的推倒，可知SVM的目标函数可以写成公式（1.8），即求导满足公式（1.8）中约束的参数。

$max_{(w,b)} \frac{2}{\left \| w \right \|}$

$y_i(w_i^{T} x+b)\geqslant 1, i=1,2,...,m$

公式（1.8）

由于在优化算法中，通常是对最小值进行求解。故而，我们可以将公式（1.8）转换成下列公式：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \|$

$y_i(w_i^{T} x+b)\geqslant 1, i = 1,2,...,m$

公式（1.8）

到此，这就是SVM的基本算法原型。

由于该种情况要求样本集合线性可分，要求SVM能够找到一个超平面对所有的样本都划分正确，故而基本SVM也就是“硬间隔SVM”。

目标函数的求解

SVM的目标函数求解属于凸优化问题，我们可以利用拉格朗日乘子法进行求解。拉格朗日乘子法的详细介绍可以参考我的上一篇文章：《机器学习知识点总结 - 拉格朗日乘子法（Lagrange Multiplier Method）详解》。

（1）构造拉格朗日函数

$L(w,b,\alpha) = \frac{1}{2}\left \| w^2 \right \|+\sum_{i=1}^{m} \alpha(1-y_i(w^Tx_i+b))$

公式（1.9）

其中， $\alpha = (\alpha_2,\alpha_2,...,\alpha_m)^T$ , $\alpha_i\geqslant 0$ .

（2）令 $L(w,b,\alpha )$ 对和的偏导为零，可得：

$w = \sum_{i=1}^{m}\alpha_i y_i x_i$	公式（1.10）
$0 = \sum_{i=1}^{m}\alpha_i y_i$	公式（1.11）

（3）将公式（1.10），带入公式（1.9），即可将 $L(w,b,\alpha )$ 中的和消去；再结合公式（1.11）中的约束，可以得到对偶问题。并可解得 $\alpha$ 。

$max_\alpha \sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i \alpha_j y_i y_j x_i^Tx_j$

$\alpha_i\geqslant 0, \sum_{i=1}^{m}\alpha_i y_i = 0, i=1,2,...,m$

公式（1.12）

可以利用SMO（序列最小化算法）对公式（1.12）中的未知变量 $\alpha$ 进行求解。解出 $\alpha$ 后，求出和即可得到SVM模型。

$f(x) = w^T x + b = \sum_{i=1}^{m}\alpha_i y_i x_i^T x_j+b$

公式（1.13）

2. 核函数

在上节中，我们仅介绍了SVM如何对样本空间线性可分的情况进行超平面求解。但是在实际中，原始样本空间也许不存在一个能够正确划分样本的超平面，例如经典的”异或“问题，如图2.1左侧图所示。

对于这种问题，可以引入核函数，将样本从原始空间映射到一个更高维度的特征空间，使得样本在这个特征空间上线性可分。如下图所示。

图2.1 异或问题与非线性映射

如果样本的原始空间是有限维，那么一定会存在一个高维线性空间使得样本线性可分。

接下来，我们将首先进行入带核函数的SVM的推导，然后介绍一下核函数需要满足的条件及常用的核函数

2.1 Kernel-SVM的公式表示和推导

首先，我们对带核函数的svm的表示进行推导。

令 $\phi (x)$ 表示将映射后的特征向量。于是，在特征空间上的线性模型可以表示为：

$f(x) = w^T \phi (x)+b$

公式（2.1）

其中,是模型参数，分别代表法向量和位移项。

目标函数, 与上一节推倒类似，可以得到目标函数。

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \|$

$y_i(w_i^{T} \phi (x)+b)\geqslant 1, i = 1,2,...,m$

公式（2.2）

对偶问题，利用拉个朗日乘子法构造拉格朗日方程并令,的偏导数为0，可以构造其对偶问题。

$max_\alpha \sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i \alpha_j y_i y_j \phi (x_i)^T \phi (x_j)$

$\alpha_i\geqslant 0, \sum_{i=1}^{m}\alpha_i y_i = 0, i=1,2,...,m$

公式（2.2）

核函数定义的引出

公式（2.2）中，涉及到计算 $\phi (x_i)^T \phi (x_j)$ ，这是样本到特征空间的内积。由于特征空间维度可能很高，所以直接计算该内积是困难的。

为此，我们引出这样一个函数，该函数满足公式（2.3）所给的条件，即：我们可以通过直接求得样本点在特征空间的内积，进而降低计算难度。这个函数就是我们所说的核函数。

$k(x_i,x_j) = <\phi(x_i),\phi(x_j)>=\phi (x_i)^T \phi (x_j)$

公式（2.3）

这样，我们可以将公式（2.2）的对偶函数改写成：

$max_\alpha \sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i \alpha_j y_i y_j k(x_i,x_j)$

$\alpha_i\geqslant 0, \sum_{i=1}^{m}\alpha_i y_i = 0, i=1,2,...,m$

公式（2.4）

目标函数的求解

根据拉格朗日方程中对的偏导等于0，可以求出，并将其带入超平面的公式，可以得到目标函数的解。

$f(x) = w^T x + b = \sum_{i=1}^{m}\alpha_i y_i \phi(x_i)^T \phi(x_j)+b = \sum_{i=1}^{m}\alpha_i y_i k(x_i,x_j) +b$

公式（2.5）

2.2 核函数的一些基本概念

什么样的函数可以成为核函数？

答：令 $\chi$ 为输入空间， $k(\cdot, \cdot)$ 是定义在 $\chi\times \chi$ 上的对称函数，则当满足对任意数据集 $D=\left \{ x_1,x_2,...,x_m \right \}$ 的”核矩阵“K都是半正定的，那么 $k(\cdot, \cdot)$ 就可以作为一个核函数。其中，K的定义为：

公式（2.6）

任何一个核函数都隐式的定义了一个成为”再生希尔伯特空间“的特征空间。

常见的核函数

核函数的基本定理
- 两个核函数，对于任意正数，他们的线性组合仍然是核函数
- 两个核函数的直积 $k_1\otimes k_2(x,z)=k_1(x,z)k_2(x,z)$ 仍然是核函数
- 若为核函数，则对于任意函数，也是核函数

3. 软间隔SVM

在前面的章节中，我们一直建立在训练样本在样本空间或特征空间中是线性可分的，即：存在一个超平面能够将不同类别的样本完全分开。但是，现实中，很难找到一个合适的核函数能够使得训练样本在特征空间中线性可分。

为此，我们引入了”软间隔“，即：允许支持向量机在一些样本上出错。换句话说，允许某些样本不满足公式（1.6）的约束条件： $y_i(w^{T}x_i+b)\geqslant1$ 。

所以，我们的目标函数应该是：最大化间隔的同时，使得不满足约束条件的样本尽可能的少。于是，优化目标可以写成：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \| + C\sum_{i=1}^{m}l_{0/1}(y_i(w^{T}x_i+b)-1)$

公式（3.1）

其中，是一个大于0的常数， $l_{0/1}$ 是”0/1损失函数“

$l_{0/1}(z) = \left \{ \begin{matrix} 1 & if z> 0\\ 0 & if z\leqslant 0 \end{matrix} \right.$

公式（3.2）

于是，当C无穷大时，迫使全部样本均满足公式（1.6）的约束，即问题转变为”硬间隔“SVM；当C取有限值时，公式（3.2）允许一部分样本不满足公式（1.6）的约束条件。

由于 $l_{0/1}$ 是非凸，非连续的函数，数学性质不好。故而，常常用一些替代损失函数来替代它。比较常用的有：

Hinge损失	$l_{hinge}(z) = max(0,1-z)$	公式（3.3）
指数损失	$l_{exp}(z) = exp(-z)$	公式（3.4）
对率损失	$l_{log}(z) = log(1+exp(-z))$	公式（3.5）

若采用hinge损失，则可将公式（3.1）重写成：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \| + C\sum_{i=1}^{m}max(0,1-y_i(w^Tx_i+b))$

公式（3.6）

引入松弛变量 $\xi _i\geqslant 0$ , 可将公式（3.6）重写成：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \| + C\sum_{i=1}^{m}\xi _i$

s.t. $y_i(w^Tx_i+b)\geq 1-\xi_i,$

$\xi_i \geqslant 0$

公式（3.7）

接下来，可以利用拉格朗日乘子法构造拉格朗日方程，进行求解。

公式（3.7）对应的拉格朗日方程为：

$L(w,b,\alpha,\xi,\mu ) = \frac{1}{2} \left \| w \right \|^2+C\sum_{i=1}^{m}\xi_i + \sum_{i=1}^{m}\alpha_i(1-\xi_i-y_i(w^Tx_i+b)) - \sum_{i=1}^{m}\mu_i\xi_i$

公式（3.8）

其中拉格朗日乘子 $\alpha_i\geqslant 0, \xi_i\geqslant 0$ 。

令 $L(w,b,\alpha,\xi,\mu )$ 对 $w,b,\xi_i$ 求偏导数，并令偏导数为0，可以得出：

$w = \sum_{i=1}^{m}\alpha_i y_i x_i$	公式（3.9）
$0 = \sum_{i=1}^{m}\alpha_i y_i$	公式（3.10）
$C = \alpha_i + \mu_i$	公式（3.11）

将公式（3.9 - 3.11）带入公式（3.8），可以得到对偶问题。然后利用SMO算法可以求解。

$max_\alpha \sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i \alpha_j y_i y_j x_i^Tx_j$

$C\geqslant \alpha_i\geqslant 0, \sum_{i=1}^{m}\alpha_i y_i = 0, i=1,2,...,m$

公式（3.12）

4. SVR - 支持向量回归

回归问题就是基于模型输出与真实输出之间的差别来计算损失，当且仅当与之间完全相同时，损失才为0。

支持向量回归假设我们能容忍与之间最多有 $\varepsilon$ 的偏差，于是，SVR可以形式化表示为：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \| + C\sum_{i=1}^{m}l_{\epsilon}(f(x_i)-y_i)$

, $l_\epsilon = \left \{ \begin{matrix} 0 &, if \left | z \right | \leqslant 0 \\ \left | z \right | - \epsilon &,otherwise \end{matrix} \right.$

公式（4.1）

引入松弛变量 $\xi _i$ 和 $\hat{\xi _i}$ ，可将式（4.1）重写为：

$min_{(w,b)} \frac{1}{2}\left \| w^2 \right \| + C\sum_{i=1}^{m}(\xi_i+\hat{\xi_i})$

$\begin{matrix} f(x_i)-y_i\leqslant \epsilon +\xi_i\\ y_i-f(x_i)\geqslant \epsilon +\hat{\xi_i}\\ \xi_i\geqslant 0, \hat{\xi_i}\geqslant 0, i=1,2,...,m \end{matrix}$

公式（4.2）

类似的，可以利用拉个朗日乘子法构造拉格朗日函数，进行求解。在此不再赘述。

5. SMO求解算法: 略

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
每日一题——第八十四题互联网打工人no1 C语言程序设计每日一练 c语言
题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
从鸡肉高汤到记忆的魔法再到有效提示的艺术步子哥人工智能
还记得小时候那些天马行空的白日梦吗？也许只要按下键盘上的某个神奇组合，电脑就会发出滴滴的声响，一个隐藏的世界突然在你眼前展开，让你获得超凡的能力，摆脱平凡的生活。这听起来像是玩过太多电子游戏的幻想，但实际上，间隔重复系统给人的感觉惊人地相似。在最佳状态下，这些系统就像魔法一样神奇。本文将以一个看似平凡的鸡肉高汤食谱为例，深入浅出地探讨如何编写有效的间隔重复提示，让你像掌握烹饪技巧一样轻松地掌握记忆
凤凰公园吴侬暖语sym
凤凰公园距离我们家880米，大概步行12分钟就到了，这是我们每天饭后散步或者闲暇时的去处。现在夏季徬晚时分广场舞大妈们总是热情非凡，那里的大门口就是一个好地方，每天总有两拨人在那踩着节奏翩翩起舞呢！而且一路上，从我们小区到公园，或者从昆仑西苑沿河到公园，都是饭后锻炼的人们，川流不息，老人小孩，年轻人，…！哪哪都是。最早家乡的公园，所有公园都是要收门票的，那时候也就是休息天会有人花钱去转转，平时一般
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day17笔记-高阶函数 ~在杰难逃~ Python 笔记 python 开发语言 pycharm 数据分析
高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
梁文道《尽头:怎样是好的阅读和书写》片段白夜书摘
1、写小说的人，有时会强烈地感到一种现实的召唤，想去面对和回应现实。这时他们会觉得自己正站在时代中心，就像黑格尔说的，要把时代精神掌握在自己的小说（不是哲学）里面。但是这也很危险，当一个作家像一个时代那样书写，可能就会出现问题了。2、文字是远比语言大块而且湿冷的木头，又距离我们内心的火花稍远，不容易瞬间点燃起来，这处隙缝，给了我们回身的余地，可以再多看一下想一下设身处地一下；人类过往这最后五千年，
被带偏的家人，可气又感动艾孤璟
当我还是个严肃且内敛的孩子时，爷爷也是个严谨且和蔼的人，虽然不苟言笑，但没有距离感。当我接触的人越来越多，知道怎么调动气氛，家人们就被我带偏了。家里人本来没有外号的，后来都被我给取了各种各样的名字，“骂人”时就相对应的有了暗号。村里的小孩，本来不知道怎么使用假动作“打人”，怎么给人取合适的外号，后来也被我带偏了。老人常说我，古灵精怪，好的不学非得学坏的，带着不良风气。而我对他的话总是想生气又觉得搞
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
锁之缘尘缘诗词原创作品
是谁追寻梦的足迹，是谁在偷偷的哭泣，日月隔离在黑白天地情感在心中蔓延的痕迹天与地的距离有多远流失的星晨落入哪片空间不要让泪水模糊双眼心牢中一样充满温暖谁说爱情没有永远白娘子又为何爱许仙蝴蝶墓地展翅翩翩轻歌慢舞袖卷人间传奇千古留爱万年…………月落星飞徘徊是选择不去问自已为合舍不得寂寞本就是痛苦的不在追寻梦中的痕迹才不会失去真实的自已
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
Rust基础知识 GRKF15 rust 开发语言后端
1.Rust语言简介1.1基础语法变量声明：let关键字用于声明变量，可以指定或不指定类型，如leta=10;和letmutc=30i32;。函数定义：使用fn关键字定义函数，并指定参数类型及返回类型，如fnadd(i:i32,j:i32)->i32{i+j}。控制流：包括if、else等，控制语句后需要使用;来结束语句。1.2数据类型整数类型：i8、i16、i32、i64、i128，以及无符号的
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
STM32中的计时与延时 lupinjia STM32 stm32 单片机
前言在裸机开发中，延时作为一种规定循环周期的方式经常被使用，其中尤以HAL库官方提供的HAL_Delay为甚。刚入门的小白可能会觉得既然有官方提供的延时函数，而且精度也还挺好，为什么不用呢？实际上HAL_Delay中有不少坑，而这些也只是HAL库中无数坑的其中一些。想从坑里跳出来还是得加强外设原理的学习和理解，切不可只依赖HAL库。除了延时之外，我们在开发中有时也会想要确定某段程序的耗时，这就需要
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
快节奏地方天圆
现在生活都是快节奏，使人来不及品味生活中的酸甜苦辣。交通、通讯、办公条件的高度发达，缩短了距离，节省了时间，提高了效率，但同时也使人成为缺少思考的动物，成为流水线上的一道工序。人人都有干不完的活、接不完的电话、参加不完的应酬。工作，急匆匆；办事，急匆匆；走路，急匆匆；吃饭，急匆匆；走亲串友，急匆匆；就连说话、甚至睡觉也都是急匆匆。快节奏的环境，使我们养成了快节奏的思维、习惯、心态，很难静下心来，认
python多线程程序设计之一 IT_Beijing_BIT #Python 程序设计语言 python
python多线程程序设计之一全局解释器锁线程APIsthreading.active_count()threading.current_thread()threading.excepthook(args,/)threading.get_native_id()threading.main_thread()threading.stack_size([size])线程对象成员函数构造器start/ru
IBM反垄断史：一个什么都卖的兼并指挥家竞争者的垄断梦
真事/故事/反垄断的故事/大公司垄断的故事曲创（原创）欢迎关注竞争者的垄断梦感谢已经看到这里的各位，因为间隔时间有点长，可能各位有点迷失。大家千万别误会，我们这一季的男一号既不是Hollerith，也不是Powers。到目前为止他俩的戏份真是不少，但只是因为必不可少，没有他俩发明的制表机，也就没有IBM；没有他俩相爱相杀的暧昧关系，也就没有后来数十年里IBM和反垄断的苦恋悲情。这是一个漫长的悲伤故
Android应用性能优化轻口味 Android
Android手机由于其本身的后台机制和硬件特点，性能上一直被诟病，所以软件开发者对软件本身的性能优化就显得尤为重要；本文将对Android开发过程中性能优化的各个方面做一个回顾与总结。Cache优化ListView缓存：ListView中有一个回收器，Item滑出界面的时候View会回收到这里，需要显示新的Item的时候，就尽量重用回收器里面的View；每次在getView函数中inflate新
react-intl——react国际化使用方案苹果酱0567 面试题汇总与解析 java 开发语言中间件 spring boot 后端
国际化介绍i18n：internationalization国家化简称，首字母+首尾字母间隔的字母个数+尾字母，类似的还有k8s(Kubernetes)React-intl是React中最受欢迎的库。使用步骤安装#usenpmnpminstallreact-intl-D#useyarn项目入口文件配置//index.tsximportReactfrom"react";importReactDOMf
C++ lambda闭包消除类成员变量 barbyQAQ c++c++java 算法
原文链接：https://blog.csdn.net/qq_51470638/article/details/142151502一、背景在面向对象编程时，常常要添加类成员变量。然而类成员一旦多了之后，也会带来干扰。拿到一个类，一看成员变量好几十个，就问你怕不怕？二、解决思路可以借助函数式编程思想，来消除一些不必要的类成员变量。三、实例举个例子：classClassA{public:...intfu
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
[黑洞与暗粒子]没有光的世界 comsci
无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界.... 那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的 &nbs
jQuery Lazy Load 图片延迟加载 aijuans jquery
基于 jQuery 的图片延迟加载插件，在用户滚动页面到图片之后才进行加载。对于有较多的图片的网页，使用图片延迟加载，能有效的提高页面加载速度。版本： jQuery v1.4.4+ jQuery Lazy Load v1.7.2 注意事项：需要真正实现图片延迟加载，必须将真实图片地址写在 data-original 属性中。若 src
使用Jodd的优点 Kai_Ge jodd
1. 简化和统一 controller ，抛弃 extends SimpleFormController ，统一使用 implements Controller 的方式。 2. 简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。 3. 对 bean 没有任何要求，可以使用任意的 bean 做为 formBean。使用方法简介
jpa Query转hibernate Query 120153216 Hibernate
public List<Map> getMapList(String hql, Map map) { org.hibernate.Query jpaQuery = entityManager.createQuery(hql); if (null != map) { for (String parameter : map.keySet()) { jp
Django_Python3添加MySQL/MariaDB支持 2002wmj mariaDB
现状首先，[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话，会发现 django.db.backends.mysql 依赖 MySQLdb[5] ，而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案首先据MySQL文档[3]说，自从MySQL
在SQLSERVER中查找消耗IO最多的SQL 357029540 SQL Server
返回做IO数目最多的50条语句以及它们的执行计划。 select top 50 (total_logical_reads/execution_count) as avg_logical_reads, (total_logical_writes/execution_count) as avg_logical_writes, (tot
spring UnChecked 异常官方定义！ 7454103 spring
如果你接触过spring的事物管理！那么你必须明白 spring的非捕获异常！即 unchecked 异常！因为 spring 默认这类异常事物自动回滚！！ public static boolean isCheckedException(Throwable ex) { return !(ex instanceof RuntimeExcep
mongoDB 入门指南、示例 adminjun java mongodb 操作
一、准备工作 1、下载mongoDB 下载地址：http://www.mongodb.org/downloads 选择合适你的版本相关文档：http://www.mongodb.org/display/DOCS/Tutorial 2、安装mongoDB A、不解压模式：将下载下来的mongoDB-xxx.zip打开，找到bin目录，运行mongod.exe就可以启动服务，默
CUDA 5 Release Candidate Now Available aijuans CUDA
The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
Essential Studio for WinRT网格控件测评 Axiba JavaScript html5
Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件，如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时，该控件还包含了一组独特的库，用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。网格控件功能 1、
java 获取windows系统安装的证书或证书链 bewithme windows
有时需要获取windows系统安装的证书或证书链，比如说你要通过证书来创建java的密钥库。有关证书链的解释可以查看此处。 public static void main(String[] args) { SunMSCAPI providerMSCAPI = new SunMSCAPI(); S
NoSQL数据库之Redis数据库管理(set类型和zset类型) bijian1013 redis 数据库 NoSQL
4.sets类型 Set是集合，它是string类型的无序集合。set是通过hash table实现的，添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。 sadd：向名称为key的set中添加元
异常捕获何时用Exception，何时用Throwable bingyingao
用Exception的情况 try { //可能发生空指针、数组溢出等异常 } catch (Exception e) {
【Kafka四】Kakfa伪分布式安装 bit1129 kafka
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
Project Euler bookjovi haskell
Project Euler是个数学问题求解网站，网站设计的很有意思，有很多problem，在未提交正确答案前不能查看problem的overview，也不能查看关于problem的discussion thread，只能看到现在problem已经被多少人解决了，人数越多往往代表问题越容易。看看problem 1吧： Add all the natural num
Java-Collections Framework学习与总结-ArrayDeque BrokenDreams Collections
表、栈和队列是三种基本的数据结构，前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用，当然由于实现方式的不同，操作的效率也会不同。这篇要看一下java.util.ArrayDeque。从命名上看
读《研磨设计模式》-代码笔记-装饰模式-Decorator bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.FileOutputStream; import java.io.Fi
Maven学习(一) chenyu19891124 Maven私服
学习一门技术和工具总得花费一段时间，5月底6月初自己学习了一些工具，maven+Hudson+nexus的搭建，对于maven以前只是听说，顺便再自己的电脑上搭建了一个maven环境，但是完全不了解maven这一强大的构建工具，还有ant也是一个构建工具，但ant就没有maven那么的简单方便，其实简单点说maven是一个运用命令行就能完成构建，测试，打包，发布一系列功
[原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充 comsci 算法工作 PHP 搜索引擎嵌入式
本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案，请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来，请大家多指点节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法) 需要解决的问题：已知分支
Linux中用shell获取昨天、明天或多天前的日期 daizj linux shell 上几年昨天获取上几个月
在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday' # 或 date -d 'last day' # 获取明天 date -d 'tomorrow' # 或 date -d 'next day' # 获取上个月 date -d 'last month' #
我所理解的云计算 dongwei_6688 云计算
在刚开始接触到一个概念时，人们往往都会去探寻这个概念的含义，以达到对其有一个感性的认知，在Wikipedia上关于“云计算”是这么定义的，它说： Cloud computing is a phrase used to describe a variety of computing co
YII CMenu配置 dcj3sjt126com yii
Adding id and class names to CMenu We use the id and htmlOptions to accomplish this. Watch. //in your view $this->widget('zii.widgets.CMenu', array( 'id'=>'myMenu', 'items'=>$this-&g
设计模式之静态代理与动态代理 come_for_dream 设计模式
静态代理与动态代理代理模式是java开发中用到的相对比较多的设计模式，其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题，真实主题执行具体的业务操作，而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆，我们可以删除看成主业务，而把检验用户是否登陆看成其相关业务
【转】理解Javascript 系列 gcc2ge JavaScript
理解Javascript_13_执行模型详解摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念，那么这一篇将深入分析执行上下文的构建过程，了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时，第一步是创建其执行环境，在创建执行环境的过程中，会按照定义的先后顺序完成一系列操作:1.首先会创建一个
Subsets II hcx2013 set
Given a collection of integers that might contain duplicates, nums, return all possible subsets. Note: Elements in a subset must be in non-descending order. The solution set must not conta
Spring4.1新特性——Spring缓存框架增强 jinnianshilongnian spring4
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
shell嵌套expect执行命令 liyonghui160com
一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧. 系统:centos 5.x 1.先安装expect yum -y install expect 2.脚本内容: cat auto_svn.sh #!/bin/bash
Linux实用命令整理 pda158 linux
0. 基本命令　　linux 基本命令整理　　1. 压缩解压　　tar -zcvf a.tar.gz a #把a压缩成a.tar.gz 　　tar -zxvf a.tar.gz #把a.tar.gz解压成a 　　2. vim小结　　2.1 vim替换　　:m,ns/word_1/word_2/gc
独立开发人员通向成功的29个小贴士 shoothao 独立开发
概述：本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。明白你从事独立开发的原因和目的。保持坚持制定计划的好习惯。万事开头难，第一份订单是关键。培养多元化业务技能。提供卓越的服务和品质。谨小慎微。营销是必备技能。学会组织，有条理的工作才是最有效率的。 “独立
JAVA中堆栈和内存分配原理 uule java
1、栈、堆 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f

机器学习知识点总结 - SVM

1. 基本概念

2. SVM的基本原理 - 硬间隔SVM

2. 核函数

2.1 Kernel-SVM的公式表示和推导

2.2 核函数的一些基本概念

3. 软间隔SVM

4. SVR - 支持向量回归

5. SMO求解算法: 略

你可能感兴趣的:(机器学习,SVM,硬间隔,几何距离,函数距离,SVR)