OliverLee456

支持向量机_斯坦福CS229_学习笔记

Part V 支持向量机（Support Vector Machines）

支持向量机（Support Vector Machines）被认为是最好的监督学习算法。作为解决二分类问题而被提出。接下来，我想结合自己的理解，来讲讲SVM的故事。故事章节相对而言较多，结合目录来看会更清晰一些。

Part V 支持向量机（Support Vector Machines）

Chapter 1 前言

Chapter 2 符号

Chapter 3 函数间隔和几何间隔

Chapter 4 最优边界分类器

Chapter 5 拉格朗日对偶问题

Chapter 6 最优边界分类器的对偶问题求解

Chapter 7 SVM优化之核函数

Chapter 8 SVM优化之软间隔分类器

Chapter 9 SMO算法

9.1 坐标上升算法

9.2 SMO

9.3 启发式选择迭代参数

Chapter 10 小结

Chapter 1 前言

SVM的故事得从间隔（margin）这个概念讲起。还记得在逻辑回归中，我们是怎么进行分类的吗？我们相当于画了一条h(x)=0.5的线进行判断。当h(x)>0.5，认为是正样本，否则视为负样本。这样一刀切判断的方式，自然而然的问题是对于所有h(x)>0.5都一视同仁了。因为无论是直觉还是逻辑都告诉我们，当h(x)越接近于1时，正样本的可能性也就越高；反之，当h(x)越接近于0，那么负样本的可能性也就越高；而在h(x)约为0.5时，是最模棱两可的时候。因此一个改进的地方便是需要使用某种方式去衡量这种置信的程度。而考虑了这种置信程度的事儿，正是SVM所要做的。

再观察下面这张图：

一条直线（决策边界）将样本分开。假设X代表正样本，O为负样本。此时A、B、C三点都被划分为了正样本，即使这样，正样本与正样本之间扮演的角色是不同的。A更像是正样本，而C最不像正样本。也就是A是正样本的置信程度比C高，但是在逻辑回归中，训练的时候，我们却将A、B、C三点一视同仁。如何体现A、B、C三点在训练之中扮演的角色，这是SVM的突破口。

为了便于接下来的理解，这里直接给出最简单的SVM的例子。

参照上图，SVM的思想便是：寻找一条边界（图中实线），使得正类别和负类别中距离该边界最近的点（虚线上的点，这些点也称为支持向量）到边界的距离最远。也就是说，在各个类别的样本中，只有支持向量对于该边界的形成有影响。话不算拗口，思路也算清晰，但是SVM的故事却很深很长。

Chapter 2 符号

为了便于SVM的推导，需要做一些记号的更改。

（1）负正样本不再用（0，1）表示，而是用（-1，1）表示。

（2）我们所有求得的划分的超平面，也就是决策边界记为 $\bg_white \small g(x)=w^{\top }x+b$ 。即相对于之前的线性回归与逻辑回归：

（3）采用如下方式进行判断：当有判断数据来时，带入上式。若结果大于0，即判断为正样本1；否则判断为负样本-1。这样定义看上去有点像感知机算法。

Chapter 3 函数间隔和几何间隔

那么如何体现同一类别中不同样本的差异呢？也就是说，SVM中的这个距离量度该怎么衡量呢。函数间隔（Functional Margin）和几何间隔（Functional Margin）为此提供了一个思路。

对于一个训练样本 $(x^{i},y^{i})$ ，相应的参数w和b，定义这个样本的函数间隔如下：

有两个细节需要注意：

（1）函数间隔始终为非负。当该样本属于正样本时，即 $y^{i}=1$ ，那么要使函数间隔变大，即要使 $w^{\top }x+b$ 为一个较大的正实数；同样，当样本属于负样本时，即 $y^{i}=-1$ ，那么要使函数间隔变大，即要使 $w^{\top }x+b$ 为了一个较大的负实数。

（2）由细节（1）可知，利用函数间隔我们可以判断分类器是否分类正确，如果 $y^{i}(w^{\top }x+b)>0$ ，那么就认为分类正确。不仅如此，当函数间隔越大时，我们越有理由相信，这个分类结果越正确。

有了单个样本的函数间隔，假设样本集有m个样本，下面给出整个样本集S的函数间隔定义。

契合SVM的思想，将整个样本中最小的函数间隔定义为该样本的函数间隔，

似乎函数间隔可以作为判别的依据了，那么我们只要使函数间隔越大，分类器效果应该就会更好。其实不然，因为函数间隔存在一个致命的地方。

再回头看我们定义的判别准则， $w^{\top }x+b>0$ 判断为正样本，反之为负样本。那么你会发现满足 $w^{\top }x+b=0$ 的这个点（w，b）至为重要。如果以使函数间隔最大为优化目标，那么会存在一种情况是，当成比例的变化w和b时，也就是变化为2w，2b或者是3w，3b时，虽然函数间隔变大了，但是 $w^{\top }x+b$ 的零点仍然是没有变化的，也就是说在这种情况下，对于优化分类器是没有作用的，分类器仍然是选用与之前的相同的 $w^{\top }x+b$ 的零点作为判断。那么以函数间隔作为优化判断的方式，便会使训练时走入歧途。

看来函数间隔并不是一个很好的方式啊。但是你可能会想到，解决这个问题最直接的思路就是，把w和b单位化不就得了。没错，这就是几何间隔的思路。

既然是几何间隔，那么其故事就得从几何出发了。

观察上图，决策边界 $w^{\top }x+b=0$ 为实线所示。那么w作为法向量，其方向自然于边界正交。那么单位法向量即为 $w/\left \| w \right \|$ 。正样本A的坐标 $x^{(i)}$ ，这里二维平面，那么 $x^{(i)}$ 就可用x0和x1表示。A点沿着法向量方向在决策边界的投影点为B。将AB的长度定义为几何间隔，即为 $\gamma ^{i}$ （注意与函数间隔记号相比，头上少了个小三角）。注意到A点坐标为 $x^{(i)}$ ，那么B的坐标即为 $x^{i}-\gamma ^{i}*w/\left \| w \right \|$ ，又因为B点位于决策边界 $w^{\top }x+b=0$ 之上，因此将B点坐标带入，可得

由此方程解出几何间隔，得

这是A为正样本的情况，参照函数间隔的定义，定义对于某样本的几何间隔如下：

注意到当 $\left \| w \right \|=1$ 时，几何间隔变为函数间隔。几何间隔作为函数间隔的升级版，解决了函数间隔的问题。在几何间隔的基础上，就可以对w和b进行任意缩放了。为了契合SVM思想，给出整个样本集S的几何间隔定义，同样是选取样本中最小的几何间隔作为样本集的几何间隔。

Chapter 4 最优边界分类器

几何间隔完成了SVM思想的第一步，即定义了距离量度，并寻找到样本中距离决策边界最近的样本（即寻找到了支持向量），那么接下来要做的便是，使支持向量跟决策边界的距离最远，即使样本集的几何间隔最大（对于分类的置信程度也就越高）。

在此，假设我们的训练集线性可分，可以将优化问题定义如下。优化的目标是使样本集的几何间隔最大。

顺水推舟，在得到样本集的几何间隔 $\gamma$ 的基础之上，我们要寻找的便是一组（w，b）使得 $\gamma$ 最大。这个问题显得如此抽象，无从下手，显然我们要做一些改进。还记得函数间隔和几何间隔的关系吗？

$\gamma =\frac{\tilde{\gamma }}{\left \| w \right \|}$

将函数间隔替代几何间隔，可将优化目标改写为：

还不够，仍然不好求解。继续改进。注意到，在函数间隔中提到，对于函数间隔而言，将w，b成比例缩放不会影响决策的判断，因为零点是不变的（忘记了可以参见上文）。那么我们就缩放w和b呗，反正也不影响决策结果，为了方便，缩放w，b直到函数间隔为定值1，反正也没啥关系。那么优化目标就由 $\frac{\tilde{\gamma }}{\left \| w \right \|}$ 变为 $\frac{1}{\left \| w \right \|}$ ；又可以注意到 $max \frac{1}{\left \| w \right \|}$ 与 $min \frac{1}{2}\left \| w \right \|$ 是一样的。因此更改优化目标为：

这样就将之前抽象的问题转化为二次凸优化问题了。直接的方式便是利用线性规划进行解决。但是，如果这样的话，SVM这个故事岂不是就不精彩了？接下来会介绍另一个思路来解此优化问题，并且可以在其中利用核函数的思想，进行维度的扩充，使SVM的性能更强。为了引出这种方法，接下来暂且抛开以上内容，先讲讲何为拉格朗日对偶问题。

Chapter 5 拉格朗日对偶问题

暂且先不管以上内容。先看看拉格朗日对偶问题（Lagrange Duality）是什么。

引入包含限制条件的多元函数求极值中会用到拉格朗日乘数法作为抛砖引玉。首先，还是先定义了一个优化问题，可以看做一个被限制条件约束的求解极值的问题。这里假设w是n维参数向量，该问题被 $\iota$ 个条件限制。

这个问题可以利用拉格朗日乘数法进行求解。如果对于拉格朗日乘数法求解极值没有印象的话，没有关系，接下来我们来走一下流程。首先构建拉格朗日方程，其中 $\beta _{i}$ 为待求解参数，也称为拉格朗日乘子（Lagrange multipliers.）。

由此方程分别对于w和 $\beta _{i}$ 求偏导，并令其结果为0：

得到n+ $\iota$ 个方程，联立求解这n+ $\iota$ 个方程，即可解出w。

基于上述内容，我们对于拉格朗日方程进行推广。假设要解决的问题不仅包括等式h（w）的约束，而且还包括不等式g（w）的约束。这个问题也称为原始优化问题，简称原始问题（primal optimization problem）。形式如下：

（5.1）

为了解决此问题，构建广义拉格朗日方程。

在这里，相比较之前，拉格朗日乘子扩充了：k个 $\alpha _{i}$ 和 $\imath$ 个 $\beta _{i}$ 。

接下来，引入一个新定义，下标p代表‘primal’：

（5.2）

那么可以得到 $\theta _{\rho }(w)$ 和 f（w）存在以下关系：

这里的原始限制条件（primal constraints）指的是原始问题中对于w的限制条件，也就是：

你可以试下当 $g_{i}(w)>0$ 或者 $h_{i}(w)\neq 0$ 时， $\theta _{\rho }(w)$ 的形式如何，就会明白 $\theta _{\rho }(w)$ 和 f（w）的关系了。用 $\theta _{\rho }(w)$ 替换f（w），那么就可以得到：

$min_{w} f(w)=min_{w}\theta _{\rho}(w)=min_{w} max_{\alpha ,\beta ;\alpha _{i}\geq 0}L(w,\alpha ,\beta )$

那么这又怎么解呢？暂且不管，假设其的解为p*，即 $p^{*}=min_{w}\theta _{\rho }(w)$ 。

接着定义，这里下标D的意思为’dual’，该定义与（5.2）相呼应。

在以上定义的基础上，定义对偶优化问题（dual optimization problem），简称对偶问题。注意与原始问题的区别啊。也就是改变了求最大和求最小的顺序。

同样，定义对偶问题的解d*。 $d^{*}=max_{\alpha ,\beta ;\alpha _{i}\geq 0}\theta _{D }(w)$ 。

由此，我们可以得到两个问题解之间的联系。

如何理解呢？自然来理解，最小值里面的最大值小于等于最大值里面的最小值，没问题。

看到这里或许你就明白了，当原始问题不好求解的时候，可以转换为其的对偶问题进行求解。那么当满足什么条件时，原始问题可以转化为其对偶问题，也就是说d*=p*呢？这就是接下来要说的KKT条件。当满足KKT（Karush-Kuhn-Tucker）条件时，两个问题的解相同，理所当然就可以将一个问题转化为另一个问题进行求解了。

何谓KKT条件呢？回头看看（5.1）定义的原始问题。假设f（w）， $g_{i}(w)$ 为凸函数，且 $h_{i}(w)$ 为线性函数（讲义中注明 $h_{i}(w)$ 为仿射，这里理解为线性就好）；并且存在着一些 $g_{i}(w)$ 使得 $g_{i}(w)<0$ （看完故事，你就明白这些就是要找的支持向量了）。参照上文，给出KKT条件，其中w*为原始问题的解，而a*，b*为其对偶问题中参数的解。

第1行与第2行，容易明白，即保证拉格朗日平稳，最优解处偏导为0。第4行的定义与第5行的定义都与原始问题中的限制条件相契合。重点关注第3行。第3行也称为KKT对偶互补条件（dual Complementary condition），其暗示着若 $\alpha _{i}^{*}>0$ ，则 $g_{i}(w^{*})=0$ ，通过这个条件的限制，就帮助我们寻找到支持向量了。第1、2、4、5行都很直接，第3行可以看作是对于第4行和第5行的进一步约束。因为公式直接来源于讲义没有更改（可能是为了美观所以如此排列），但是我觉得将第3行放置在最后，可能会更便于理解。

真是一环扣着一环啊。趁热打铁，返回故事的主线。

Chapter 6 最优边界分类器的对偶问题求解

回到故事主线。在上文的基础上，解决之前遗留优化问题的思路浮出水面：我们可将原始问题转为对偶问题进行求解。还记得在前文（C4），我们提出下面优化问题：

（6.1）

结合（5.1），这里由于比较（5.1）来说没有等式约束，所以 $h_{i}(w)$ 就不写进去了。观察到不等式的约束，移项稍作修改，我们可以这么定义 $g_{i}(w)$ 。

这里相当于每个样本都给分类器提供了一个限制条件。

如果你没有忘记的话，这里的1代表的是样本集函数间隔为1，即某一样本的函数至少为1。结合KKT中的对偶互补条件可知，若 $\alpha _{i}>0$ ，那么该训练样本的函数间隔为1。但是注意反之确不一定成立。这是个小细节，但是感觉大家都没有深究一下，对于函数间隔为1的点，其对应着的 $\alpha _{i}$ 不一定大于0啊，那么便会存在着一种情况即所有的支持向量对应着的 $\alpha _{i}$ 的值都为0，那么此时结合（6.3）式w便为0，结合（6.5）b也为0，此时的决策边界即为x=0。对于其他函数间隔大于1的点来说，同样由于KKT互补条件的限制，使得其 $\alpha _{i}$ 为0。也就是说真正对于优化起限制作用的是那些函数间隔为1的点（也就是支持向量）。从这里你就可以发现，KKT互补条件的其中之一作用便是找到支持向量，从而只使支持向量对于优化目标具备限制作用。

在（6.1）的基础上构建拉格朗日方程：

（6.2）

注意由于只有不等式约束，所以拉格朗日乘子只有 $\alpha _{i}$ 。下一步便是将（6.1）转化为对偶问题的形式进行求解。

首先最小化（6.2）时，此时的参数为w和b。这一步可以直接对（6.2）中w和b求偏导，并另其偏导数为0进行求解。对w求偏导：

得

（6.3）

接着对b求偏导得

（6.4）

将（6.3）带入（6.2）得

带入（6.4）抵消最后一项得

这就完成了对偶问题求解的第一步。整理以上限制条件，那么可以得到求解的第二步如下所示：

在这里注意几个细节：

（1）这里先不给出如何求解此方程，因为会在下节插入一些内容。具体求解方式在之后会进行介绍。

（2）针对于整个问题来说，我们要求解的参数为w和b。当我们求解此方程得到a后，将其带入（6.3）式，便可解出w。

（3）在这里，大家也注意到了。我们将 $x^{(i)}^{\top }*x^{(j)}$ 写成內积的形式 $\left \langle x^{(i)},x^{(j)} \right \rangle$ 。为什么这么写，是为了方便应用核函数。一环扣一环，具体请见下一节内容。

（4）如果只针对上述问题，可以感性的给出参数b的求解结果。b的具体求解步骤参照C9。

看图说话会更明白一些。

要明白，b这个变量相当于该决策边界的截距。那么当w求出来之后，因为我们明白，该决策边界总是在中间，距离两端的支持向量一样远。参数b就是两个分类中的支持向量对应着的平行于决策边界的线（上、下两条虚线）的截距的平均值。

好了，有了参数w和b，那么当有一个数据需要判断时，可以直接带入方程 $w^{\top }x+b=0$ 进行判断了。若结果大于0，即为正样本，否则为负样本。但是也有另一种判断形式。将（6.3）式带入 $w^{\top }x+b=0$ 可得：

之所以这样做的目的是在于，许多的 $\alpha _{i}$ 都为0，仅有支持向量对应着的 $\alpha _{i}$ 不为0，用 $\alpha _{i}$ 来进行判断会减少不少的计算时间，因此会节省一些计算资源。

至此SVM的求解就差最后一步了。但是先不急继续，SVM之所以强大，少不了对于其做的一些优化措施。接下来的两节，会讲述基于SVM算法的优化。正如前文所述，SVM的故事很深很长，所以，让我们继续吧。

Chapter 7 SVM优化之核函数

在上一节的后部分，在处理 $x^{(i)}^{\top }*x^{(j)}$ 的时候，都写成了內积形式 $\left \langle x^{(i)},x^{(j)} \right \rangle$ ，这也是为这章要阐述的核函数做一个铺垫。如果你没太注意，可以返回到一开始，当介绍SVM时，我们做了一个前提假设，即假设训练集线性可分。那么若是训练集线性不可分呢？这便可以应用核函数进行解决。核函数的作用便是将低维特征空间映射到高维，因此在低维空间不可分的问题就可能会在高维空间得到解决。

首先，让我们看下什么是特征映射，例如假设x为一维特征向量，经过如下函数 $\phi (x)$ 进行映射，便可从一维空间映射到三维空间。经过映射后便可以改变原有特征的维度。

那么核函数的所要做的便是将原本的特征空间映射到更高维的特征空间，这样在低维特征空间线性不可分的问题就可能会在高维特征空间线性可分，从而使在低维空间线性不可分的问题得到解决。

由于在之前的算法中，已经写成了內积的形式，那么要进行特征映射，只需将 $\left \langle x^{(i)},x^{(j)} \right \rangle$ 替换为 $\left \langle \phi (x^{(i)}),\phi(x^{(j)}) \right \rangle$ 就行了。

根据某种特征映射 $\phi (x)$ ，进一步我们可以定义核函数如下：

因此，在原有算法所有使用 $\left \langle x^{(i)},x^{(j)} \right \rangle$ 的地方，我们相应替换为 $K(x^{(i)},x^{(j)})$ 。那么算法便可以根据映射后的特征进行学习了。而且使用核函数的一个不错的优势在于，尽管对于映射函数 $\phi (x)$ 的计算会比较慢，但是实际计算中，我们不需要计算 $\phi (x)$ ，因此核函数的计算并不会过于增加计算量。让我们看看以下例子便会明白了。

假设 $x,z\subseteq \mathbb{R}^{n}$ ，我们有一个核函数计算形式如下：

那么这个核函数对应着的 $\phi (x)$ 是什么形式呢？我们可以将其展开来看一下：

将其改写为 $K(x,z)=\phi (x)^{\top }*\phi (z)$ 的形式，并设此时维度n=3。那么 $\phi (x)$ 便有以下形式。可以看到以此种方式，将变量原有的3维特征空间映射到了9维。

是不是很有趣，让我们看看其他的核函数的形式。

（1）上述核函数更一般的形式。

（2）高斯核函数，貌似可以将特征映射到无限维。不明觉厉。

看到这里，是否会感觉唐突，因为按照逻辑来讲，应该是先给出映射函数 $\phi (x)$ ，然后再给出根据 $\phi (x)$ 相乘后的核函数的化解形式。但是却先给出了核函数的化解形式，然后再利用其推出映射函数 $\phi (x)$ 。之所以这样做，我觉得这更多的是数学和应用的原因吧，核函数在进行特征映射的作用之外，而且还有一个要求是不能给之前的计算带来太多的负担。如果我们从映射函数 $\phi (x)$ 的角度出发去构造核函数，那感觉就像买彩票一样，碰运气，因为很难保证最终化解结果便于计算，而且实际上我们也不太关心 $\phi (x)$ 会是什么样子，想关心好像数学功底也不行，只要核函数能将特征维度映射到高维空间就可以了，如果效果不好，那就换一个核函数继续；但是如果从核函数的结果出发，去反推的话感觉还简单一些。实际上，当我们从结果出发去构建时，只要有一个准则去帮助我们判断这个核函数是否有效就可以了，就省去反推 $\phi (x)$ 的步骤，因为我们也不关心 $\phi (x)$ 具体是什么。

这个准则就是Mercer定理：

在原有特征维度可数，且样本数量可数的前提下，核函数是有效核的充分必要条件是，该核函数对应着的核矩阵对称半正定。

若样本数量为m，核矩阵KK是一个m*m的矩阵，且 $KK(i,j)=K(x^{(i)},x^{(j)})$ 。

有了Mercer定理，好像就可以肆无忌惮的定义核函数了。

核函数作为一种优化手段，使SVM得性能得到极大提升。在其他一些算法，核函数也能发挥不小的作用。怪不得都把这种优化手段称为“kernel trick”。接下来会阐述SVM中的第二种优化手段。

Chapter 8 SVM优化之软间隔分类器

虽然核函数将特征空间由低维度映射到了高维度，但是仍有可能也会在高维度中线性不可分。并且有时候找到一个严格的决策边界也并不是我们的目标。参照下图。

左图是很理想的情况。实际情况中，往往会有许多噪声，如右图左上方的小圆。这些噪声使得决策边界有了不小改变，使得分类器得到的边界很窄，这样分类的置信程度就不高。但是实际情况中，我们还是希望决策边界能够不考虑噪声的影响，仍然得到右图中虚线的形式。这也就是软间隔分类的思路。

既然如此，我们就加入一些正则化项，利用L1正则化，将优化的目标函数修改为：

也就是说，现在样本的函数间隔被允许小于1。且对于函数间隔在 $1-\xi _{i}$ 的点，我们会给予 $C*\xi _{i}$ 的惩罚，从而使成本增加。参数C一方面的作用是使边界扩大，一方面也在保证着大多数的样本函数间隔至少为1。

结合前文内容，考虑软间隔分类的情况下，构建拉格朗日方程得到：

此时，拉格朗日乘子不光有 $\alpha _{i}$ ，还有 $\gamma _{i}$ 。接着，推导其对偶方程得：

可以发现， $\gamma _{i}$ 抵消了；并且和之前唯一的区别在于，由 $0<=\alpha _{i}$ ，变为了 $0<=\alpha _{i}<=C$ 。

在这里，相应的KKT互补条件也要进行更改。

并且，在现在的情况下，得到的截距b的表达式也肯定和之前不一样了。到了这一步，真的是万事俱备，只欠东风了。到底解出对偶方程后的第一步后，第二步该怎么解 $\alpha _{i}$ 。一鼓作气，接下来就看看到底该怎么解。

Chapter 9 SMO算法

9.1 坐标上升算法

在讲SMO（Sequential Minimal Optimization）的故事之前，我们先看看一个叫做坐标上升（Coordinate Ascent）的算法。暂且先抛开之前的内容。假设现在我们需要解决一个无条件限制的优化问题，如下：

之前其实也遇到过类似的问题，在前面两讲中，构建极大似然方程进行参数求解就是该问题的一个例子。那时，可以利用梯度上升或者牛顿法进行求解。类似的，利用坐标上升法也可以对同样问题进行求解。坐标上升法如下所示：

同样也是迭代的思路进行求解。思路如下：在每次迭代中，假设选取 $\alpha _{1}$ 进行迭代，那么固定除 $\alpha _{1}$ 外的其他参数，此时w就可看作是 $\alpha _{1}$ 的函数，就是一个一元函数求极大值的问题，那么令 $\frac{\partial w }{\partial \alpha _{1}}=0$ ，便得到 $\alpha _{1}$ 的新值，以此作为更新。接着选取 $\alpha _{2}$ 、 $\alpha _{3}$ ... $\alpha _{m}$ 进行同样步骤。这样便进行了一轮迭代。重复这轮迭代直到所有参数收敛。便完成了对于参数 $\alpha _{i}$ 的求解。与梯度上升作为对比，看看坐标上升的图。差别不言而喻。

从以上过程，我们可以发现，参数迭代的顺序是从 $\alpha _{1}$ 到 $\alpha _{m}$ 。那么自然而然就可以想到，可以通过修改参数的迭代顺序，提高参数收敛的速度，例如每次选取使w增加最大的参数作为迭代的参数（虽然多增加了一些判断和计算，但是会明显提高收敛速度）。

9.2 SMO

现在回头来看看SVM。还记得之前增加了软间隔分类后的优化方程：

（9.1）

1998_[John Platt]_Sequential Minimal Optimization：A Fast Algorithm for Training Support Vector Machines这篇文章为我们求解SVM提供了一个方法，其基本思想便是在在坐标上升算法的思想上进行扩展。由于本人水平有限，对于这里许多地方也可能存在着理解不到位，具体数学原理还是请大家参照上述论文。

在坐标上升法中，我们固定了其余参数，一次只对一个参数进行迭代，但是在（9.1）中，存在着约束条件： $\sum_{m}^{i=1}\alpha _{i}y^{(i)}=0$ 。因此当固定m-1个参数时，那么最后一个参数也就被确定了，如（9.2）所示。当我们固定第2到第m个参数时，那么第一个参数其实也被固定了。因此坐标上升的方法还不能完全照搬过来。

（9.2）

注意到因为 $y^{(i)}\in (-1,1)$ ，所以 $y^{(i)}^{2}=1$ 。因此我们将（9.2）等式两边同时乘以 $y^{(1)}$ ，可将（9.2）写作如下形式：

（9.3）

在SMO中，为了求解（9.1），我们同样应用坐标上升法的思想，但是我们通过一次更新两个参数的方式来解决问题。SMO迭代过程可概括为：

让我们看看一次迭代是怎么进行的。

为了表示方便，假设这一次迭代选取 $\alpha _{1}$ 、 $\alpha _{2}$ 作为参数（如何启发式选取将在下文介绍），固定其他参数得：

等式右端可看做一个常数，那么我们用 $\zeta$ 代替，得：

（9.4）

同样因为 $y^{(i)}\in (-1,1)$ ，经过移项，两边同时乘以 $y^{(1)}$ 后，那么 $\alpha _{1}$ 可写作如下形式：

（9.5）

将（9.5）带入（9.1）得：

不难发现，其实此时W即为关于 $\alpha _{2}$ 的一元二次方程。通过求极值，就可以得到 $\alpha _{2}$ 的新值，记为 $\alpha _{2}^{new,unclipped}$ 。为啥这样记呢？这里注意在（9.1）中，对于 $\alpha _{i}$ 的值存在着限制条件：

结合（9.1）与（9.4），可将限制条件可视化看下：

（1）由于 $0<=\alpha _{i}<=C$ ，因此 $\alpha _{1}$ ， $\alpha _{2}$ 的值只能在边长为C的正方形中选取。

（2）在此基础上，又由于（9.4）的限制，所以 $\alpha _{1}$ ， $\alpha _{2}$ 的值只能在 $\alpha _{1}y^{(1)}+\alpha _{2}y^{(2)}=\zeta$ 这条直线上选择。

结合（1）和（2），因此选择范围即为图中的红线段。所以，在得到 $\alpha _{2}^{new,unclipped}$ 后，我们需要对其进行裁剪。下式中的L，H表示直线 $\alpha _{1}y^{(1)}+\alpha _{2}y^{(2)}=\zeta$ 与边界或者是坐标轴的交点。

经过裁剪后，得到 $\alpha _{2}^{new}$ ，将其带入（9.5），便可以解出 $\alpha _{1}^{new}$ 了。

接下来依次选择[ $\alpha _{2}$ ， $\alpha _{3}$ ]…[ $\alpha _{m-1}$ ， $\alpha _{m}$ ]按上述流程进行迭代后便完成一次迭代流程。重复此迭代流程，直到所有参数收敛。将解得的 $\alpha _{i}$ 带入（6.3）便可以解得w了。那么b该怎么解呢？还记得在第6章的时候，我们只是感性的给出了b的解，而且当涉及到软间隔分类时，b的解情况肯定会有所不同。在这里，以i=1和i=2为例，我直接给出b的解的公式，具体过程参照John Platt论文。

其中 $E_{i}$ 表示预测值与真实值之间的差，即 $E_{i}=f(x^{(i)})-y^{(i)}$ 。

$K_{ij}$ 代表核函数 $K(x^{(i)},x^{(j)})$ 。

如果同时满足 $0<\alpha _{i}^{new}<C$ ，那么 $b_{1}^{new} = b_{2}^{new}$ 。

如果同时满足 $\alpha _{i}^{new}$ 在边界上（等于0或C），则取他们的中点： $b_{1}^{new} = b_{2}^{new}:=\frac{b_{1}^{new}+b_{2}^{new}}{2}$

现在w，b都已求解，大功告成。但是故事还剩最后一个小部分，让我们一起看看吧。

9.3 启发式选择迭代参数

请回头再看SMO的迭代过程，会发现在第一步中涉及到启发式选择迭代参数这一步骤：即我们不再根据参数的顺序来选择每次更新的变量，而有条件的选择变量使收敛得更快。仍然直接列出选择原则，具体原理参照论文。

第一个变量选择：把非边界样本集中 $0<\alpha _{i}<C$ 违反KKT的第一个 $\alpha _{i}$ 作为第一个变量。

第二个变量选择：第一个变量 $\alpha _{i}$ 的基础上，选择使 $\left | E_{i}-E_{j} \right |$ 最大的 $\alpha _{j}$ 作为第二个变量。 $E_{i}$ 的定义见上文。

SVM的故事还有很多。至此，我所理解的SVM就差不多讲完了。照例，小结一下作为该故事的结束吧。

Chapter 10 小结

SVM备受推崇的一大原因便是其深厚的数学原理。我们由理想的二分类问题（线性可分）引出了支持向量机。SVM的基本思想便是寻找到一个超平面对于样本空间进行分割，使不同类别该超平面的距离最近的样本（支持向量）到该超平面的距离最大（这里的关键是只有支持向量对于超平面的求解有影响）。那么该超平面自然可用 $g(x)=w^{\top }x+b$ 表示。

从这个思想出发，第一步便是寻找一个衡量距离的量度。由此引出函数间隔与几何间隔。通过比较，我们选取样本集的几何间隔作为优化目标。构建优化函数后发现这是一个非凸优化问题，根据函数间隔与几何间隔关系，我们将优化函数改写，得到如下凸优化问题：

此凸优化问题可根据线性规划进行求解。但是为了在SVM中引入核函数（核函数可以将原有特征空间进行映射，从而可能使在低维特征空间不可解的问题在高维特征空间能够得解，这大大提高了SVM的性能）与软间隔分类（与硬间隔分类作为对比，可以大大提高SVM的鲁棒性）的思想，我们采用另一种思路进行求解，那就是将其转化为对偶问题进行求解，注意其中的KKT条件最大的作用便是限制了哪些样本对于该超平面有影响。当解求对偶问题的第一步后，此时，我们的优化问题便可以改为如下形式。

此时的难点便落在解求 $\alpha _{i}$ 上。这里可利用SMO算法进行迭代求解 $\alpha _{i}$ 与截距b，之后将结果带入对偶问题中的第一步求解过程便可解出w。

SVM包含的内容很多，我理解的内容只是冰山一角。至此，SVM的故事便告一段落了。

你可能感兴趣的:(机器学习笔记)

李宏毅机器学习笔记——反向传播算法小陈phd 机器学习机器学习算法神经网络
反向传播算法反向传播（Backpropagation）是一种用于训练人工神经网络的算法，它通过计算损失函数相对于网络中每个参数的梯度来更新这些参数，从而最小化损失函数。反向传播是深度学习中最重要的算法之一，通常与梯度下降等优化算法结合使用。反向传播的基本原理反向传播的核心思想是利用链式法则（ChainRule）来高效地计算损失函数相对于每个参数的梯度。以下是反向传播的基本步骤：前向传播（Forwa
Python机器学习笔记：CART算法实战战争热诚
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言在python机器学习笔记：深入学习决策树算法原理一文中我们提到了决策树里的ID3算法，C4.5算法，并且大概的了
机器学习笔记 rl染离机器学习笔记人工智能
什么是机器学习：机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。机器学习有下面几种定义：（1）机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。（2）机器学习是对能通过经验自动改进的计算机算法的研究。（3）
机器学习笔记（KNN算法）空木幻城机器学习 python 机器学习算法
情景分析现在一个二维平面上有众多点(x1,y1),(x2,y2)...(xn,yn)(x_1,y_1),(x_2,y_2)...(x_n,y_n)(x1,y1),(x2,y2)...(xn,yn)，我也知道它们所属哪个类别，现在给出一个点(x,y)(x,y)(x,y)，问这个点是属于哪个类的。这是一个典型的分类问题重要概念相邻点的个数K相邻点的个数Kknn中最重要的概念就是这个了，也是唯一需要理解
【机器学习笔记】 9 集成学习 RIKI_1 机器学习机器学习笔记集成学习
集成学习方法概述Bagging从训练集中进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果：假设一个班级每个人的成绩都不太好，每个人单独做的考卷分数都不高，但每个人都把自己会做的部分做了，把所有考卷综合起来得到成绩就会比一个人做的高Boosting训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化
吴恩达机器学习全课程笔记第二篇亿维数组 Machine Learning 机器学习笔记人工智能学习
目录前言P31-P33logistics（逻辑）回归决策边界P34-P36逻辑回归的代价函数梯度下降的实现P37-P41过拟合问题正则化代价函数正则化线性回归正则化logistics回归前言这是吴恩达机器学习笔记的第二篇，第一篇笔记请见：吴恩达机器学习全课程笔记第一篇完整的课程链接如下：吴恩达机器学习教程（bilibili）推荐网站：scikit-learn中文社区吴恩达机器学习学习资料（gith
【机器学习笔记】7 KNN算法 RIKI_1 机器学习机器学习笔记算法
距离度量欧氏距离(Euclideandistance)欧几里得度量（EuclideanMetric）（也称欧氏距离）是一个通常采用的距离定义，指在维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。曼哈顿距离(Manhattandistance)想象你在城市道路里，要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线
【机器学习笔记】14 关联规则 RIKI_1 机器学习机器学习笔记人工智能
关联规则概述关联规则（AssociationRules）反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中一个事物就能够通过其他事物预测到。关联规则可以看作是一种IF-THEN关系。假设商品A被客户购买，那么在相同的交易ID下，商品B也被客户挑选的机会就被发现了。有没有发生过这样的事：你出去买东西，结果却买了比你计划的多得多的东西？这是一种被称为
【机器学习笔记】13 降维 RIKI_1 机器学习机器学习笔记人工智能
降维概述维数灾难维数灾难(CurseofDimensionality)：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库
【机器学习笔记】8 决策树 RIKI_1 机器学习机器学习笔记决策树
决策树原理决策树是从训练数据中学习得出一个树状结构的模型。决策树属于判别模型。决策树是一种树状结构，通过做出一系列决策（选择）来对数据进行划分，这类似于针对一系列问题进行选择。决策树的决策过程就是从根节点开始，测试待分类项中对应的特征属性，并按照其值选择输出分支，直到叶子节点，将叶子节点的存放的类别作为决策结果。以下小美相亲的例子就是决策树决策树算法是一种归纳分类算法，它通过对训练集的学习，挖掘出
【机器学习笔记】 15 机器学习项目流程 RIKI_1 机器学习机器学习笔记人工智能
机器学习的一般步骤数据清洗数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。探索性数据分析(EDA探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算统计数据，以便探索我们的数据。目的是找到异常，模式，趋势或关系。这些可能是有趣的（例如，找到两个变量之间的相关性），或者它们可用
【机器学习笔记】5 机器学习实践 RIKI_1 机器学习机器学习笔记人工智能
数据集划分子集划分训练集（TrainingSet）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。验证集（ValidationSet）：也叫做开发集（DevSet），用来做模型选择（modelselection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选；测试集（TestSet）：为了测试已经训练好的模型的精确度。三者划分：训练集、验证集、
【机器学习笔记】11 支持向量机 RIKI_1 机器学习机器学习笔记支持向量机
支持向量机（SupportVectorMachine,SVM）支持向量机是一类按监督学习（supervisedlearning）方式对数据进行二元分类的广义线性分类器（generalizedlinearclassifier），其决策边界是对学习样本求解的最大边距超平面（maximum-marginhyperplane）。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清
【机器学习笔记】12 聚类 RIKI_1 机器学习机器学习笔记聚类
无监督学习概述监督学习在一个典型的监督学习中，训练集有标签，我们的目标是找到能够区分正样本和负样本的决策边界，需要据此拟合一个假设函数。无监督学习与此不同的是，在无监督学习中，我们的数据没有附带任何标签，无监督学习主要分为聚类、降维、关联规则、推荐系统等方面。主要的无监督学习方法聚类（Clustering）如何将教室里的学生按爱好、身高划分为5类？降维（DimensionalityReductio
【机器学习笔记】4 朴素贝叶斯 RIKI_1 机器学习机器学习笔记人工智能
贝叶斯方法贝叶斯分类贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯分类是这一类算法中最简单的较为常见的算法。先验概率根据以往经验和分析得到的概率。我们用()来代表在没有训练数据前假设拥有的初始概率。后验概率根据已经发生的事件来分析得到的概率。以(|)代表假设成立的情下观察到数据的概率，因为它反映了在看到训练数据后成立的置信度。联合概率是指在多元的概率分
【机器学习笔记】 6 机器学习库Scikit-learn RIKI_1 机器学习机器学习笔记 scikit-learn
Scikit-learn概述Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数据分析师首选的机器学习工具包。自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了，scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学习算法。
【机器学习笔记】10 人工神经网络 RIKI_1 机器学习机器学习笔记人工智能
人工神经网络发展史1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型，MP模型每个神经元都可以抽象为一个圆圈，每个圆圈都附带特定的函数称之为激活函数，每两个神经元之间的连接的大小的加权值即为权重。1960年代，人工网络得到了进一步地发展感知机和自适应线性元件等被提出。M.Minsky仔细分析了以感知机为代表的神经网络的局限性，指出了感知机不能解决非线性问题，这极大影响
【机器学习笔记】3 逻辑回归 RIKI_1 机器学习机器学习笔记逻辑回归
分类问题分类问题监督学习最主要的类型，主要特征是标签离散，逻辑回归是解决分类问题的常见算法，输入变量可以是离散的也可以是连续的二分类先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次，步骤：①->②多分类问题先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有类，那就需要分类-1次,步骤：①->②->③->
【百面机器学习笔记】模型评估葡萄肉多
模型评估指标准确率（Accuracy）准确率是指分类正确的样本占总样本个数的比例。Accuracy=n(correct)/n(total)当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。精确率（Precision）&召回率（Recall）精确率是指分类正确的正样本个数占分类器判定为正样本
李宏毅机器学习笔记 2.回归 Simone Zeng 机器学习机器学习
最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。课程视频：https://www.bilibili.com/video/BV1Ht411g7Ef开源内容：https://github.com/datawhalechina/leeml-notes本篇文章对应视频中的P3。另外，最近我也在学习邱锡鹏教授的《神经网络与深度学习》，会补充书上的一点内容。通过上一次课1.机器
【机器学习笔记】基于实例的学习住在天上的云机器学习机器学习笔记学习 KNN 实例学习
基于实例的学习文章目录基于实例的学习1基本概念与最近邻方法2K-近邻（KNN）3距离加权KNN4基于实例/记忆的学习器5局部加权回归5多种回归方式对比6懒惰学习与贪婪学习动机：人们通过记忆和行动来推理学习。1基本概念与最近邻方法名词概念参数化设定一个特定的函数形式优点：简单，容易估计和解释可能存在很大的偏置：实际的数据分布可能不遵循假设的分布非参数化：分布或密度的估计是数据驱动的（data-dri
fast.ai 机器学习笔记（一）绝不原创的飞龙人工智能人工智能 python
机器学习1：第1课原文：medium.com/@hiromi_suenaga/machine-learning-1-lesson-1-84a1dc2b5236译者：飞龙协议：CCBY-NC-SA4.0来自机器学习课程的个人笔记。随着我继续复习课程以“真正”理解它，这些笔记将继续更新和改进。非常感谢Jeremy和Rachel给了我这个学习的机会。简要课程大纲根据时间和班级兴趣，我们将涵盖类似以下内容
fast.ai 机器学习笔记（四）绝不原创的飞龙人工智能人工智能 python
机器学习1：第11课原文：medium.com/@hiromi_suenaga/machine-learning-1-lesson-11-7564c3c18bbb译者：飞龙协议：CCBY-NC-SA4.0来自机器学习课程的个人笔记。随着我继续复习课程以“真正”理解它，这些笔记将继续更新和改进。非常感谢Jeremy和Rachel给了我这个学习的机会。使用SGD优化多层函数的回顾[0:00]这个想法是
机器学习笔记（3）：误差、复杂度曲线、学习曲线等链原力
本文来自之前在Udacity上自学机器学习的系列笔记。这是第3篇，介绍了模型的误差类型、误差的由来、找到模型适合的参数、以及避免欠拟合和过拟合的方法。1.诊断误差1.1.误差类型我们的预测或者分类的结果与实际结果相比较，会存在一定的误差，误差越小，表示结果越好。一般有两种误差来源，欠拟合和过拟合。将问题看得过于简单导致了欠拟合（Underfitting），将问题看得过于复杂导致了过拟合（Overf
fast.ai 机器学习笔记（三）绝不原创的飞龙人工智能人工智能 python
机器学习1：第8课原文：medium.com/@hiromi_suenaga/machine-learning-1-lesson-8-fa1a87064a53译者：飞龙协议：CCBY-NC-SA4.0来自机器学习课程的个人笔记。随着我继续复习课程以“真正”理解它，这些笔记将继续更新和改进。非常感谢Jeremy和Rachel给了我这个学习的机会。广义定义的神经网络视频/笔记本正如我们在上一课结束时讨
fast.ai 机器学习笔记（二）绝不原创的飞龙人工智能人工智能 python
机器学习1：第5课原文：medium.com/@hiromi_suenaga/machine-learning-1-lesson-5-df45f0c99618译者：飞龙协议：CCBY-NC-SA4.0来自机器学习课程的个人笔记。随着我继续复习课程以“真正”理解它，这些笔记将继续更新和改进。非常感谢Jeremy和Rachel给了我这个学习的机会。视频复习测试集，训练集，验证集和OOB我们有一个数据集
政安晨：示例演绎机器学习中（深度学习）神经网络的数学基础——快速理解核心概念（一）{两篇文章讲清楚} 政安晨政安晨的机器学习笔记神经网络人工智能深度学习 Python 数学基础机器学习 Conda
进入人工智能领域免不了与算法打交道，算法依托数学基础，很多小伙伴可能新生畏惧，不用怕，算法没那么难，也没那么玄乎，未来人工智能时代说不得人人都要了解算法、应用算法。本文试图以一篇文章，用程序演绎的方式给大家把这里面的数学基础先讲清楚，以便于咱们未来深入，呵呵。第一次接触机器学习的小伙伴，环境搭建参考我的这篇文章（只参考这个里面关于环境搭建的部分就可以）：政安晨的机器学习笔记——跟着演练快速理解Te
【机器学习笔记】贝叶斯学习住在天上的云机器学习机器学习笔记学习贝叶斯学习人工智能
贝叶斯学习文章目录贝叶斯学习1贝叶斯学习背景2贝叶斯定理3最大后验假设MAP(MaxAPosterior)4极大似然假设ML(MaximumLikelihood)5朴素贝叶斯NB6最小描述长度MDL1贝叶斯学习背景试图发现两件事情的关系（因果关系，先决条件&结论）。执果索因：肺炎→肺癌？不好确定，换成确诊肺癌得肺炎的概率2贝叶斯定理贝叶斯定理是一种用先验慨率来推断后验慨率的公式，它可以表示为：P(
【机器学习笔记】决策树住在天上的云机器学习机器学习笔记决策树
决策树文章目录决策树1决策树学习基础2经典决策树算法3过拟合问题1决策树学习基础适用决策树学习的经典目标问题带有非数值特征的分类问题离散特征没有相似度概念特征无序例子：SkyTempHumidWindWaterForecastEnjoySunnyWarmNormalStrongWarmSameYesSunnyWarmHighStrongWarmSameYesRainyColdHighStrongW
【机器学习笔记】回归算法住在天上的云机器学习笔记回归线性回归人工智能
回归算法文章目录回归算法1线性回归2损失函数3多元线性回归4线性回归的相关系数1线性回归回归分析(Regression)回归分析是描述变量间关系的一种统计分析方法例：在线教育场景因变量Y：在线学习课程满意度自变量X：平台交互性、教学资源、课程设计预测性的建模技术，通常用于预测分析，预测的结果多为连续值（也可为离散值，二值）线性回归(Linearregression)因变量和自变量之间是线性关系，就
Js函数返回值 _wy_ js return
一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
MySQL 的 char 与 varchar bylijinnan mysql
今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 测试举例： CREATE TABLE `varcharLessThan4` ( `lastName` varchar(3) ) ; mysql> desc varcharLessThan4; +----------+---------+------+-
Quartz——TriggerListener和JobListener eksliang TriggerListener JobListener quartz
转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。二.JobListener监听器 j
oracle层次查询 18289753290 oracle；层次查询；树查询
.oracle层次查询(connect by) oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， select empno,mgr,ename,sal from e
通过反射把map中的属性赋值到实体类bean对象中酷的飞上天空 javaee 泛型类型转换
使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。好吧，那就自己再造一个轮子吧。原理都知道，就是利用反射进行字段的赋值，下面贴代码主要类如下： import java.lang.reflect.Field; imp
SAP HANA数据存储：传统硬盘的瓶颈问题蓝儿唯美 HANA
SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。在《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
Java Socket 多线程实现文件传输随便小屋 java socket
高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。客户端类： package edu.logic.client; import java.io.BufferedInputStream; import java.io.Buffered
java初学者路径 aijuans java
学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
APP推广 aoyouzi APP 推广
一，免费篇 1，APP推荐类网站自主推荐最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 2，各大应用商店首发合作老实盯着排期，多给应用市场官方负责人献殷勤。 3，论坛贴吧推广百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
JSP转发与重定向百合不是茶 jsp servlet Java Web jsp转发
在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向; 转发包括;forward和include 例子;forwrad转发; 将请求装法给reg.html页面关键代码; req.getRequestDispatcher("reg.html
web.xml之jsp-config bijian1013 java web.xml servlet jsp-config
1.作用：主要用于设定JSP页面的相关配置。 2.常见定义： <jsp-config> <taglib> <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri> <taglib-location> TLD文件所在的位置
JSF2.2 ViewScoped Using CDI sunjing CDI JSF 2.2 ViewScoped
JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
【分布式数据一致性二】Zookeeper数据读写一致性 bit1129 zookeeper
很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336 Zookeeper的数据同步协议 Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
Java开发笔记白糖_ java开发
1、Map<key,value>的remove方法只能识别相同类型的key值 Map<Integer,String> map = new HashMap<Integer,String>(); map.put(1,"a"); map.put(2,"b"); map.put(3,"c"
图片黑色阴影 bozch 图片
.event{ padding:0; width:460px; min-width: 460px; border:0px solid #e4e4e4; height: 350px; min-heig
编程之美-饮料供货-动态规划 bylijinnan 动态规划
import java.util.Arrays; import java.util.Random; public class BeverageSupply { /** * 编程之美饮料供货 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
ajax大参数（大数据）提交性能分析 chenbowen00 Web Ajax 框架浏览器 prototype
近期在项目中发现如下一个问题项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
[宇宙与天文]在太空采矿,在太空建造 comsci
我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大.... 地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
ORACLE中CONSTRAINT的四对属性 daizj oracle CONSTRAINT
ORACLE中CONSTRAINT的四对属性 summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
Gradle入门教程 dengkane gradle
一、寻找gradle的历程一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
C语言简单循环示例 dcj3sjt126com c
# include <stdio.h> int main(void) { int i; int count = 0; int sum = 0; float avg; for (i=1; i<=100; i++) { if (i%2==0) { count++; sum += i; } } avg
presentModalViewController 的动画效果 dcj3sjt126com controller
系统自带(四种效果)： presentModalViewController模态的动画效果设置： [cpp] view plain copy UIViewController *detailViewController = [[UIViewController al
java 二分查找 shuizhaosi888 二分查找 java二分查找
需求：在排好顺序的一串数字中，找到数字T 一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 /** * * @param array * 顺序数组 * @param t * 要查找对象 * @return */ public stati
Spring Security（07）——缓存UserDetails 234390216 ehcache 缓存 Spring Security
Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
Dozer 深层次复制 jayluns VO maven po
最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
CSS规范整理（摘自懒人图库） a409435341 html UI css 浏览器
刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。一、文件规范 1、文件均归档至约定的目录中。具体要求通过豆瓣的CSS规范进行讲解：所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中：基本样式库 /css/core
C++动态链接库创建与使用你不认识的休道人 C++dll
一、创建动态链接库 1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 2.在test.h中添加 extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 3.在test.cpp中最后写 extern “C” 返回类型 _decls
Android代码混淆之ProGuard rensanning ProGuard
Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。官网： http://proguard.sourceforge.net/
程序员在编程中遇到的奇葩弱智问题 tomcat_oracle jquery 编程 ide
　　现在收集一下：　　排名不分先后，按照发言顺序来的。 1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：在汤匙
解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported xp9802 dependency
解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下： [html] view plain copy <build> <pluginManagement