烊萌

Support Vector Machines(支持向量机)

前言

这一章内容还是紧接着上一章的内容，在前面我们给大家介绍了线性回归，逻辑回归，神经网络算法，也对在设计学习系统之前该做什么准备和发现问题后该如何改进都做了详细的分析，在这一章将又给大家介绍一个新的算法，Support Vector Machines(支持向量机) ，我们也常简称为SVM，为什么要给大家介绍这个，首先这个算法在目前实际问题中运用很广泛，特别是在对复杂的非线性问题上有很好的运用，在这一章将详细给大家介绍。

最后，如果有理解不对的地方，希望大家不吝赐教，谢谢！

【机器学习系列】【第九章：机器学习系统的设计】【第十一章：聚类】

第十章 Support Vector Machines(支持向量机)

10.1 Optimization Objective(优化目标)

在前面我们有给大家介绍逻辑回归问题，现在我们将一步步地给大家介绍怎样由逻辑回归慢慢变成SVM的。在构造逻辑回归的目标函数时，我们引用了逻辑函数，即 $h_{\theta }(x)=\frac{1}{1+e^{-\theta ^{\top }x}}$ ，在这里我们有令 $z=\theta ^{\top }x$ ，则 $g(z)=\frac{1}{1+e^{-z}}$ ，我们画出g(z)关于z的图像，如图1所示。

图1 g(z)

在图1中，我们会发现如果我们希望结果y=1，则需要 $h_{\theta }(x)\approx 1$ ，即 $z=\theta ^{\top }x$ >>0；如果我们希望结果y=0，则需要 $h_{\theta }(x)\approx 0$ ，即 $z=\theta ^{\top }x$ <<0。

在逻辑回归中，我们有 $J(\theta )=\frac{1}{m}\sum_{i=1}^{m}Cost(h(x^{(i)}),y^{(i)})$ ，，在这里，我们将 $h_{\theta }(x)=\frac{1}{1+e^{-\theta ^{\top }x}}$ 带入，则有 $Cost(h(x),y)=-ylog\frac{1}{1+e^{-\theta ^{\top }x}}-(1-y)log(1-\frac{1}{1+e^{-\theta ^{\top }x}})$ ，我们分别画出当y=1和y=0的Cost(h(x),y)的图像，如图2所示，而我们SVM的图像就是由曲线变成折线，如图2中蓝色画出的直线。对于y=1的折线，我们记作 $Cost_{1}(z)$ ，而对于y=0的折线我们记作 $Cost_{0}(z)$ 。

图2 Cost(h(x),y)图像

对于有正则化项的完整CostFunction为 $min\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}(-logh_{\theta }(x^{(i)}))+(1-log(1-h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum_{j=1}^{n}\theta _{j}^{2}$ ，在这里我们只是把式子前面的负号放在了式子里面，我们用 $Cost_{1}(\theta ^{\top }x)=-logh_{\theta }(x^{(i)})$ ， $Cost_{0}(\theta ^{\top }x)=-log(1-h_{\theta }(x^{(i)}))$ 代替，还有我们把 $\frac{1}{m}$ 去掉， $\frac{1}{m}$ 是一个常数，去掉对最后得到的 $\theta$ 并没有什么影响，比如J( $\theta$ )=( $\theta$ -5)^2+5，则当 $\theta$ =5时，J( $\theta$ )取最小，如果我们把J( $\theta$ )*10=10*( $\theta$ -5)^2+5*10，这个时候依然是当 $\theta$ =5时，J( $\theta$ )取最小值，所以我们去掉 $\frac{1}{m}$ 不会影响最后的结果。还有我们对式子做一个变换在前面一项乘以个C，把第二项的 $\lambda$ 去掉，比如式子原先是 $A+\lambda B$ ，我们通过改变 $\lambda$ 来惩罚B，同样的如果我们把式子变成CA+B，可以这样理解同时除以了 $\lambda$ ，即C=1/ $\lambda$ ，不过这个式子不是一直成立的，只是这里的C的大小变换和之前 $\lambda$ 的大小变换对式子的影响是相反的。所以我们SVM的CostFunction变成了 $minC\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta ^{\top }x)+(1-y^{(i)})cost_{0}(\theta ^{\top }x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ 。

10.2 Large Margin Intuition(大间距的直观感受)

在前面已经给大家介绍了，怎样通过逻辑回归代价函数一步步演变为SVM的代价函数，对于这个新的 $minC\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta ^{\top }x)+(1-y^{(i)})cost_{0}(\theta ^{\top }x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，如果我们预测y=1，这个时候 $\theta ^{}\top x$ >=1而不仅仅是 $\theta ^{}\top x$ >=0了，对于预测结果y=0，这个时候 $\theta ^{}\top x$ <=-1而不仅仅是 $\theta ^{}\top x$ <0了，这就有了一个安全因子，那么这会对分类数据有什么好处了？下面会跟大家说到。在这里，我们对C选取一个比较大的值，大概C=100,000或者更大，这个时候对于 $minC\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta ^{\top }x)+(1-y^{(i)})cost_{0}(\theta ^{\top }x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，我们就希望可以找到一个最优解使得 $y^{(i)}cost_{1}(\theta ^{\top }x)+(1-y^{(i)})cost_{0}(\theta ^{\top }x^{(i)})$ 为0，这样可以给我们一个对于大间距的直观感受，如果我们希望第一项为0，当 $y^{(i)}$ =1时，我们只需要 $\theta ^{\top }x^{(i)}$ >=1即可，当 $y^{(i)}$ =0时，我们只需要 $\theta ^{\top }x^{(i)}$ <=-1即可。这个时候，问题就简化成了如下所示：

$min\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，s.t $\theta ^{\top }x^{(i)}$ >=1， $y^{(i)}$ =1； $\theta ^{\top }x^{(i)}$ <=-1， $y^{(i)}$ =0。

我们就会有很好的边界决策线对数据进行很好的分类，如图3所示，有两类数据样本，我们需要做出一条比较好的决策边界对此进行分类，而根据我们的SVM所选出的边界决策线将会是图3中倾斜线中的中间那条线，大家可以看出，这似乎是最好的一条边界，虽然边界线不止一条，我们还可以用图3所示的接近竖着的两条线把数据进行分类，可以看出这两条线都是比较勉强把两类进行分开，而我们SVM做出的一条线具有最大的margin(间距)，如图3所示的margin，这样在对于预测新的数据时更具有一般性。

图3 large margin classifier

大家肯定会有疑惑，为什么SVM做出来的边界决策线就具有最大的margin，在后面我将会给大家做详细的解释。

对于如图4所示的两类数据，我们用SVM可以做出一条很好的决策线如图所示，这个时候的C是非常大的，当分类器中有异常值存在时，如图5所示，这个时候由于我们选取的C较大，所以我们的决策线会从黑色那条线变到粉色那条，为了更好的把数据分开，然而我们是不希望整个分类受到几个异常数据影响的，或者有时候两类数据中参合着其他类的少量数据，这个时候我们都希望可以不受这些异常数据的影响，所以我们可以取一个较小的C，我们所选的C比较小，即对于之前来讲就是 $\lambda$ 比较大，而倾斜的边界决策线所选的C比较大，即 $\lambda$ 比较小，容易发生过度拟合，即更贴近数据，会受到异常数据的影响，而我们往往是不希望受到异常数据的影响的，即我们更想要的是竖着的边界决策线，所以我们需要C比较小。

图4 没有异常数据的分类器

图5 分类器中有异常值

10.3 The mathematics behind large margin classiﬁcation(大间距分类器背后的数学分析)

这一节将通过数学上的分析，给大家来解释为什么SVM会有前面所讲的large margin，这一节属于选学部分，可以不用了解，当然想了解更好。先给大家介绍下内积的含义，例如有两个向量 $u=\begin{bmatrix} u1\\u2 \end{bmatrix}$ ， $v=\begin{bmatrix} v1\\v2 \end{bmatrix}$ ，我们对u和v求两者的内积，即 $u^{\top }v=\begin{bmatrix} u1 &u2 \end{bmatrix}\begin{bmatrix} v1\\v2 \end{bmatrix}=u1v1+u2v2$ ，在这里还有一个范数的定义，即 $\left \| u \right \|$ 为u的范数，为 $\left \| u \right \|=\sqrt{u1^2+u2^2}$ ，我们在图中标出u和v还有u和v的内积，如图6所示。

图6 u和v的内积

在图6中，u和v的内积即是v在u上的投影，即图中所示的p，所以我们的u和v的内积可以表示成 $u^{\top }v=p\cdot \left \| u \right \|$ ，p即是v在u上的投影，是一个实数，有正负区分的，图6所示的p是大于0的，而如图7所示，p<0。即当u和v的夹角小于90度时，p>0；当u和v的夹角大于90度时，p<0。

图7 p<0

对于前面我们得到的新的代价函数 $minC\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta ^{\top }x)+(1-y^{(i)})cost_{0}(\theta ^{\top }x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，在前面我们也说明了，我们可以将其简化为 $min\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，当我们不考虑 $\theta _{0}$ 时，且n=2，即只有 $\theta _{1}$ 和 $\theta _{2}$ ，这个时候就变成了 $min\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}=\frac{1}{2}(\theta _{1}^{2}+\theta _{2}^{2})=\frac{1}{2}(\sqrt{\theta _{1}^{2}+\theta _{2}^{2}})^2=\frac{1}{2}\left \| \theta \right \|^2$ ，而我们前面所要求的条件是 $\theta ^{\top }x^{(i)}$ >=1， $y^{(i)}$ =1； $\theta ^{\top }x^{(i)}$ <=-1， $y^{(i)}$ =0

而 $\theta ^{\top }x^{(i)}$ 是什么？不就是 $\theta$ 和 $x^{(i)}$ 的内积吗，所以我们在图中标出两者之间的关系，如图8所示，所以我们对于 $\theta ^{\top }x^{(i)}$ ，我们可以写成 $p^{(i)}\left \| \theta \right \|$ ，这个时候我们新的条件又诞生了： $min\frac{1}{2}\left \| \theta \right \|^2$ ，s.t $p^{(i)}\left \| \theta \right \|$ >=1， $y^{(i)}$ =1； $p^{(i)}\left \| \theta \right \|$ <=-1， $y^{(i)}$ =0。

图8 $\theta ^{\top }x^{(i)}$

我们来用两个图来解释，为什么这会有大的间距，我们同样认为 $\theta _{0}$ =0，其实对于 $\theta _{0}$ =0，我们的向量就是以原点为起点的。现在有如图9所示的数据，我们做出边界决策线，如图所示，我们有一条绿色的线勉强把两类数据分开，下面就来分析为什么我们的SVM不会选择这条线。对于 $\theta$ 的方向是和我们的决策线成90度的，如图10所示，我们任意选择一个x1和x2，我们需要的条件是 $\theta ^{\top }x^{(1)}$ >=1即 $p^{(1)}\left \| \theta \right \|$ >=1，在这里我们会发现我们的 $p^{(1)}$ 很小，所以我们需要 $\left \| \theta \right \|$ 比较大，而我们需要的结果就是使 $min\frac{1}{2}\left \| \theta \right \|^2$ ，即需要 $\left \| \theta \right \|$ 较小，这样就相互矛盾了，同样x2也可以说明问题，那我们再看看SVM是怎样处理这个的。

图9 非大间距边界决策线

图10 选择任意x

如图11所示，对于SVM我们的选择是这样的一条绿色决策线，同样的我们做出 $\theta$ ，并任意选择x1和x2，分别做出 $p^{(1)}$ 和 $p^{(2)}$ ，我们会发现对于x1来讲， $p^{(1)}$ 比较大，所以我们希望 $p^{(1)}\left \| \theta \right \|\geq 1$ ，则 $\left \| \theta \right \|$ 可以比较小，这样正好也满足了 $min\frac{1}{2}\left \| \theta \right \|^2$ 。所以SVM才会选择这条线，具有最大的间距。

图11 大间距的边界决策线

10.4 Kernels(内核)

在刚开始，我们也给大家说明了我们的SVM可以解决比较复杂的非线性分类问题，如图12所示，我们想要预测y=1，我们可能会要 $\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\theta _{3}x_{1}x_{2}+\theta _{4}x_{1}^{2}+\theta _{5}x_{2}^{2}+...\geq 0$ ，在这里，我们用f1=x1，f2=x2，f3=x1x2，f4=x1^2，f5=x2^2...，这样就变成了 $\theta _{0}+\theta _{1}f_{1}+\theta _{2}f_{2}+\theta _{3}f_{3}+\theta _{4}f_{4}+\theta _{5}f_{5}+...\geq 0$ ，我们是否有了不同的选择，通过选择f1,f2,f3,f4,f5...？下面会给大家一步步介绍是否可以由x派生出的特征f来进行计算。

图12 复杂的非线性分类问题

下面先给大家介绍内核的定义，如图13所示，我们有三个地标 $l^{(1)},l^{(2)},l^{(3)}$ ，我们对于所给的x，我们需要做的是计算x到这些地标的接近程度，用f1，f2，f3来表示。 $f_{1}=similarity(x,l^{(1)})=exp(-\frac{\left \| x-l^{(1)} \right \|^2}{2\sigma ^{2}})$ ，同样的，我们会有 $f_{2}=similarity(x,l^{(2)})=exp(-\frac{\left \| x-l^{(2)} \right \|^2}{2\sigma ^{2}})$ ...，这里的相似函数在术语上就是我们所说的核函数，其实这里的核函数实际是高斯核函数，后面我们会见到其他的核函数，所以这里就统称核函数了，我们常简写为 $k(x,l^{(i)})$ 。下面就让我们看看这个核函数究竟是在计算什么，如果 $x\approx l^{(1)}$ ，则 $f_{1}\approx exp(-\frac{0^{2}}{2\sigma ^{2}})=1$ ，如果x离 $l^{(1)}$ 很远，则 $f_{(1)}=exp(-\frac{largeNum^2}{2\sigma ^{2}})\approx 0$ ，这样我们的l对应着f，而我们的x又对应着多个f。

图13 地标 $l^{(1)},l^{(2)},l^{(3)}$

下面给大家举一个例子来说明下对于相似函数到底在计算什么，例如 $l_{1}=\begin{bmatrix} 3\\5 \end{bmatrix}$ ， $f_{1}=exp(-\frac{\left \| x-l^{(1)} \right \|^2}{2\sigma ^{2}})$ ，假设有两个特征变量x1，x2，我们做出f1关于x1和x2的图，如图14所示，当我们的 $x=\begin{bmatrix} 3\\5 \end{bmatrix}$ 时，我们会有f1=1，而当我们的x离(3,5)比较远时，则我们的f1接近0，所以我们会发现当x越接近 $l^{(1)}$ 时，f1的值就越接近1，即f1就是表达了x接近 $l^{(1)}$ 的程度。

图14 f1

下面给大家讲的是，改变 $\sigma$ 的值，我们会发现f1会有所改变，如图15所示，当 $\sigma ^{2}=0.5$ 时，整个峰变窄了，从峰顶下降到0的速度更快了，而 $\sigma ^{2}=3$ 则正好相反。

图15 不同的 $\sigma$ 对f1的影响

在前面讲完了特征变量，那么我们会得到怎样的预测函数了？在这里，我们给定一个x，我们需要计算x到三个地标 $l^{(1)},l^{(2)},l^{(3)}$ 的f1,f2,f3然后代入到 $\theta _{0}+\theta _{1}f_{1}+\theta _{2}f_{2}+\theta _{3}f_{3}$ ，使其大于等于0，则预测结果为1，对于这个特殊的例子，我们假设得到了 $\theta _{0}=-0.5$ ， $\theta _{1}=1$ ， $\theta _{2}=1$ ， $\theta _{3}=0$ ，我们想要知道的是，如果我们现在有一堆数据，它是怎样预测它的结果是0还是1的，如图16所示，我们有一个数据x接近 $l^{(1)}$ 处，所以 $f_{1}\approx 1$ ，而由于x距离 $l^{(2)},l^{(3)}$ 比较远，所以 $f_{2}\approx 0,f_{3}\approx 0$ ，我们再看下那个式子 $\theta _{0}+\theta _{1}\times 1+\theta _{2}\times 0+\theta _{3}\times 0$ ，带入 $\theta _{0}=-0.5$ ， $\theta _{1}=1$ ， $\theta _{2}=1$ ， $\theta _{3}=0$ ，我们会得到0.5>0所以我们预测结果为1，同样的，如果我们选取一个离 $l^{(1)},l^{(2)},l^{(3)}$ 都较远的一个x，那么 $f_{1}\approx 0,f_{2}\approx 0,f_{3}\approx 0$ ，这个时候，我们得到的式子值为-0.5<0，所以我们预测结果为0，同理这些数据都以这样的计算方法得到他们的预测值，我们会发现最终的结果是如图17所示，即得到了图12中的边界决策线。

图16 举例说明预测函数的构造

图17 最终得到的边界决策线

在前面给大家讲解了核函数的意义后，我们对于训练集 $(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})$ ，我们该如何选取我们的地标 $l^{(i)}$ 了？在这里我们选择 $l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},...,l^{(m)}=x^{(m)}$ ，对于给定的x，我们有 $f_{1}=similarity(x,l^{(1)}),f_{2}=similarity(x,l^{(2)})...$ ，所以 $f=\begin{bmatrix} f_{0}\\ f_{1} \\ f_{2} \\ ... \\ f_{m} \end{bmatrix}$ ，在这里f0=1，我们任意的训练集 $(x^{(i)},y^{(i)})$ ，我们都会有 $\begin{bmatrix} f^{(i)}_{0}\\ f^{(i)}_{1} \\ f^{(i)}_{2} \\ ... \\ f^{(i)}_{m} \end{bmatrix}$ ，而其中会有 $f_{i}^{(i)}=sim(x^{(i)},l^{(i)})\approx exp(-\frac{0}{2\sigma ^{2}})=1$ ，所以我们每一个 $x^{(i)}$ 将会有对应的 $f^{(i)}$ ，而其中 $f_{i}^{(i)}=1$ 。最后我们根据核函数，我们会得到新的假设和代价函数分别是：对于x，我们计算新的特征 $f\in R^{m+1}$ ，当我们需要预测结果是y=1时，条件是 $\theta ^{\top }f\geq 0$ ( $\theta ^{\top }f=\theta _{0}f_{0}+\theta _{1}f_{1}+...+\theta _{m}f_{m}$ )，而我们的 $minC\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta ^{\top }f^{(i)})+(1-y^{(i)})cost_{0}(\theta ^{\top }f^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta _{j}^{2}$ ，在这里n=m。

前面关于SVM的基本思想和提出了核函数的方法给大家也介绍完了，在前面章节，我们有给大家提到高偏差和高方差问题，对于SVM我们有两个参数需要注意下，一个就是C，还有一个就是核函数中的 $\sigma ^{2}$ ，C我们在前面也介绍了就是 $\frac{1}{\lambda }$ ，所以当C很大时，即 $\lambda$ 较小，为低偏差高方差；当C很小时，即 $\lambda$ 较大，为高偏差低方差。而对于我们的 $\sigma ^{2}$ ，在前面也对其进行了分析，当 $\sigma ^{2}$ 较大时，f过于平缓，所以是高偏差低方差；而当 $\sigma ^{2}$ 较小时，f过于陡峭，所以是高方差低偏差。

10.5 使用SVM

前面给大家介绍了那么多关于SVM从构造到最终定型的方方面面，下面给大家总结下该如何使用一个SVM，其实对于SVM的模型选择，我们都有现成的软件包(例如liblinear，libsvm...)来进行选择出合适的 $\theta$ ，所以我们的问题就是选择出合适的C和核函数，对于核函数我们也给大家介绍了一种高斯核函数，就是所谓的相似核函数，当然还有我们最初的 $\theta ^{\top }x$ ，这也叫做线性核函数。那么我们该如何对两者进行选择了？对于高斯核函数，一般是解决比较复杂的非线性问题的，而且要求有大量的数据，所以当我们的m很大时，而特征数n较少时，我们一般选择高斯核函数，而当m较少时，n又很大时，我们则选择线性核函数。

对于高斯核函数，我还想说一点，对于式子 $f=exp(-\frac{\left \| x-l \right \|^2}{2\sigma ^{2}})$ 中的 $\left \| x-l \right \|^{2}$ ，我们令v=x-l，则即是求 $\left \| v \right \|^2$ ，而 $\left \| v \right \|^2=v_{1}^{2}+v_{2}^{2}+...+v_{n}^{2}=(x_{1}-l_{1})^2+(x_{2}-l_{2})^2+...+(x_{n}-l_{n})^2$ ，假设我们对于预测房子价格问题，x1是房子的大小，则x1的取值会比较大，所以 $(x_{1}-l_{1})^2$ 也会比较大，而如果x2为房间的数量，则x2的取值会比较小，所以我们的 $(x_{2}-l_{2})^2$ 也会比较小，导致最后的值主要依赖于 $(x_{1}-l_{1})^2$ ，所以我们在计算核函数前，我们需要对特征进行比例变换，这个我们在前面章节也有所介绍，在这里具体就不再解释了。

对于内核的选择，其实并不是相似内核就可以对任意的问题进行很好的分类，我们还有其他的内核可以选择，比如 $k(x,l)=(x^{\top }l)^2$ ，或者 $k(x,l)=(x^{\top }l+1)^3$ 等等。

我们在前面给大家介绍的都是两类的分类器，关于有两种以上的类别问题，我们的SVM也有对应的软件包，另外，训练

K SVMs，我们需要输出结果y=i(i=1,2,..,K)，分别会得到 $\theta ^{(1)},\theta ^{(2)},...,\theta ^{(K)}$ ，选择 $(\theta ^{(i)})^{\top }x$ 最大的为第i类。

以上则是这一章的所有内容，内容比较多，很多可能还没有解释清楚，因为我也是刚接触SVM，在后面等我有了进一步的学习和认识，我会进行纠正和补充。

你可能感兴趣的:(machine,learning)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
简单了解 JVM 记得开心一点啊 jvm
目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Java java
Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
深度 Qlearning：在直播推荐系统中的应用 AGI通用人工智能之禅程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
管理员权限的软件不能开机自启动的解决方法 ss_ctrl
这是几种解决方法：1.将启动参数写入到32位注册表里面去在64位系统下我们64位的程序访问此HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run注册表路径，是可以正确访问的，32位程序访问此注册表路径时，默认会被系统自动映射到HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft
golang学习笔记--MPG模型 xxzed golang #学习笔记学习笔记 golang
MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
【开发环境搭建】Macbook M1搭建Java开发环境 weixin_44329069 java 开发语言
JDK安装与配置下载并安装JDK：ARM64DMG安装包下载链接：JDK21forMac(ARM64)。双击下载的DMG文件，按照提示安装JDK。配置环境变量：打开终端，使用vim编辑.bash_profile文件：vim~/.bash_profile在文件中添加以下内容来设置JAVA_HOME：exportJAVA_HOME=/Library/Java/JavaVirtualMachines/j
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
ResNet的半监督和半弱监督模型 Valar_Morghulis
Billion-scalesemi-supervisedlearningforimageclassificationhttps://arxiv.org/pdf/1905.00546.pdfhttps://github.com/facebookresearch/semi-supervised-ImageNet1K-models/权重在timm中也有：https://hub.fastgit.org/r
联邦学习 Federated learning Google I/O‘19 笔记努力搬砖的星期五笔记联邦学习机器学习机器学习 tensorflow
FederatedLearning:MachineLearningonDecentralizeddatahttps://www.youtube.com/watch?v=89BGjQYA0uE文章目录FederatedLearning:MachineLearningonDecentralizeddata1.DecentralizeddataEdgedevicesGboard:mobilekeyboa
PCL 怎样可视化深度图像 LeonDL168 PCL 计算机视觉人工智能视觉检测图像处理算法
本小节讲解如何可视化深度图像的两种方法，在3D视窗中以点云形式进行可视化（深度图像来源于点云），另一种是，将深度值映射为颜色，从而以彩色图像方式可视化深度图像。代码首先，在PCL（PointCloudLearning）中国协助发行的书提供光盘的第7章例2文件夹中，打开名为range_image_visualization.cpp的代码文件，同文件夹下可以找到相关的测试点云文件room_scan1.
FISCO BCOS（十七）——— go SDK的使用林中有神君 #FISCO BCOS 2.8.0 golang 服务器 linux fisco bcos 区块链
1、创建一个工作目录root@wyg-virtual-machine:~/fisco#mkdirgoWorkSpace2、下载go-sdkroot@wyg-virtual-machine:~/fisco/
Git报错（一）fatal: Could not read from remote repository. librarycode
解决方案来自CSDN：https://blog.csdn.net/cxwtsh123/article/details/79194263?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&dist_request_id=&depth_1-utm_source=distr
VOC数据集转换为CoCo数据集（亲测有效）情书学长人工智能学习笔记图像处理
#VOC数据集格式VOC格式的数据集分为3部分，Annotations、ImageSets、JPEGImages。（一）Annotations：存放数据标注的xml文件，格式如下：CUMID_train0001.pngC:\Users\86182\Desktop\CUMID_train\0001.pngUnknown2040136830MachineUnspecified0011933491451
【Vesta发号器源码】PropertyMachineIdsProvider DeanChangDM
Vesta发号器源码解析——PropertyMachineIdsProvider属性配置文件持有Id的模式,没啥东西，比单个的多了一个获取下一个的方法封装实现上略有一点点区别privatelong[]machineIds;privateintcurrentIndex;publiclonggetNextMachineId(){returngetMachineId();}publiclonggetMa
Awesome TensorFlow weixin_30594001 人工智能移动开发大数据
AwesomeTensorFlowAcuratedlistofawesomeTensorFlowexperiments,libraries,andprojects.Inspiredbyawesome-machine-learning.WhatisTensorFlow?TensorFlowisanopensourcesoftwarelibraryfornumericalcomputationusin
【ShuQiHere】探索人工智能核心：机器学习的奥秘 ShuQiHere 人工智能机器学习
【ShuQiHere】什么是机器学习？机器学习（MachineLearning,ML）是人工智能（ArtificialIntelligence,AI）中最关键的组成部分之一。它使得计算机不仅能够处理数据，还能从数据中学习，从而做出预测和决策。无论是语音识别、自动驾驶还是推荐系统，背后都依赖于机器学习模型。机器学习与传统的编程不同，它不再依赖于人类编写的固定规则，而是通过数据自我改进模型，从而更灵活
综述论文“A Survey of Zero-Shot Learning: Settings, Methods, and Applications” 硅谷秋水机器学习机器学习神经网络深度学习
该零样本学习综述，发表于ACMTrans.Intell.Syst.Technol.10,2,Article13(January2019)摘要：大多数机器学习方法着重于对已经在训练中看到其类别的实例进行分类。实际上，许多应用程序需要对实例进行分类，而这些实例的类以前没有见过。零样本学习（Zero-ShotLearning）是一种强大而有前途的学习范例，其中训练实例涵盖的类别与想分类的类别是不相交的。
go-etcd实战小书go golang 实战演练 golang etcd 服务发现服务注册微服务
etcd简介etcdisastronglyconsistent,distributedkey-valuestorethatprovidesareliablewaytostoredatathatneedstobeaccessedbyadistributedsystemorclusterofmachines.Itgracefullyhandlesleaderelectionsduringnetwork
梯度提升机 (Gradient Boosting Machines, GBM) ALGORITHM LOL boosting 集成学习机器学习
梯度提升机(GradientBoostingMachines,GBM)通俗易懂算法梯度提升机（GradientBoostingMachines，GBM）是一种集成学习算法，主要用于回归和分类问题。GBM本质上是通过训练一系列简单的模型（通常是决策树），然后将这些模型组合起来，从而提高整体预测性能。基本步骤初始模型：首先，我们用一个简单的模型（如一个常数值）作为预测模型，记为F0(x)F_0(x)F
机器学习 VS 表示学习 VS 深度学习 Efred.D 人工智能机器学习深度学习人工智能
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习,表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machinelearning),是从有限的数据集中学习到一定的规律,再把学到的规律应用到一些相似的样本集中做预测.机器学习的历史可以追溯到20世纪40年代McCulloch提出的人工神经元网络,目前学界大致把机器学习分为传统机器学习和机器学习两个类别
端到端的自动驾驶论文与代码整理大别山伧父自动驾驶
LearningbyCheatinggithubcodearxivpaperconferenceonrobotlearning最新进展(May2021)Checkoutourlatestfollow-upwork:WorldonRails(2020)Checkoutoursubmissiontothe2020CARLAChallenge!pass
JVM 架构 : 运行时数据区 & 内存结构光剑书架上的书
JVM:JavaVirtualMachine架构JVMArchitectureRuntimeDataArea/MemoryStructureClassloaderClassloaderisasubsysteminJVM,whichisprimarilyresponasibleforloadingthejavaclasses,thereare3differentclassloaders:Bootst
Lt-8 Multithreading yanlingyun0210 java
IntendedLearningOutcomesTounderstandtheconceptofconcurrency.Tounderstandthedifferenceofaprocessandathread.TodefineathreadusingtheThreadclassandRunnableinterface.TocontrolthreadswithvariousThreadmethod
如何使用Pytorch-Metric-Learning？鱼儿也有烦恼 PyTorch pytorch
文章目录如何使用Pytorch-Metric-Learning？1.Pytorch-Metric-Learning库9个模块的功能1.1Sampler模块1.2Miner模块1.3Loss模块1.4Reducer模块1.5Distance模块1.6Regularizer模块1.7Trainer模块1.8Tester模块1.9Utils模块2.如何使用PyTorchMetricLearning库中的
risc-v特权模式狮子座硅农（Leo ICer） risc-v
risc-v架构定义了3种工作模式，又称为特权模式（privilegedmode）。机器模式（machinemode），简称M模式；监督模式（supervisormode），简称S模式；用户模式（usermode），简称U模式。risc-v架构定义机器模式为必选模式，另外两种模式为可选模式，通过不同的模式组合可以实现不同的系统。risc-v架构支持几种不同的存储器地址管理机制，包括对物理地址和虚拟
推荐开源项目：PyTorch-Metric-Learning 潘惟妍
推荐开源项目：PyTorch-Metric-Learningpytorch-metric-learningTheeasiestwaytousedeepmetriclearninginyourapplication.Modular,flexible,andextensible.WritteninPyTorch.项目地址:https://gitcode.com/gh_mirrors/py/pytorc
推荐：FastAPI驱动的稳定扩散LLMs演示项目褚知茉Jade
推荐：FastAPI驱动的稳定扩散LLMs演示项目FastAPI-for-Machine-Learning-Live-DemoThisrepositorycontainsthefilestobuildyourveryownAIimagegenerationwebapplication!OutlinedarethecorecomponentsoftheFastAPIwebframework,anda
【python】【Ray的概述】资源存储库 python 开发语言
Overview概述Rayisanopen-sourceunifiedframeworkforscalingAIandPythonapplicationslikemachinelearning.Itprovidesthecomputelayerforparallelprocessingsothatyoudon’tneedtobeadistributedsystemsexpert.Rayminimi
Algorithm 香水浓 java Algorithm
冒泡排序 public static void sort(Integer[] param) { for (int i = param.length - 1; i > 0; i--) { for (int j = 0; j < i; j++) { int current = param[j]; int next = param[j + 1];
mongoDB 复杂查询表达式开窍的石头 mongodb
1:count Pg: db.user.find().count(); 统计多少条数据 2:不等于$ne Pg: db.user.find({_id:{$ne:3}},{name:1,sex:1,_id:0}); 查询id不等于3的数据。 3：大于$gt $gte(大于等于) &n
Jboss Java heap space异常解决方法, jboss OutOfMemoryError : PermGen space 0624chenhong jvm jboss
转自 http://blog.csdn.net/zou274/article/details/5552630 解决办法： window->preferences->java->installed jres->edit jre 把default vm arguments 的参数设为-Xms64m -Xmx512m ----------------
文件上传下载解析相对路径不懂事的小屁孩文件上传
有点坑吧，弄这么一个简单的东西弄了一天多，身边还有大神指导着，网上各种百度着。下面总结一下遇到的问题：文件上传，在页面上传的时候，不要想着去操作绝对路径，浏览器会对客户端的信息进行保护，避免用户信息收到攻击。在上传图片，或者文件时，使用form表单来操作。前台通过form表单传输一个流到后台，而不是ajax传递参数到后台，代码如下: <form action=&
怎么实现qq空间批量点赞换个号韩国红果果 qq
纯粹为了好玩！！逻辑很简单 1 打开浏览器console；输入以下代码。先上添加赞的代码 var tools={}; //添加所有赞 function init(){ document.body.scrollTop=10000; setTimeout(function(){document.body.scrollTop=0;},2000);//加
判断是否为中文灵静志远中文
方法一： public class Zhidao { public static void main(String args[]) { String s = "sdf灭礌 kjl d{';\fdsjlk是"; int n=0; for(int i=0; i<s.length(); i++) { n = (int)s.charAt(i); if((
一个电话面试后总结 a-john 面试
今天，接了一个电话面试，对于还是初学者的我来说，紧张了半天。面试的问题分了层次，对于一类问题，由简到难。自己觉得回答不好的地方作了一下总结：在谈到集合类的时候，举几个常用的集合类，想都没想，直接说了list,map。然后对list和map分别举几个类型： list方面：ArrayList,LinkedList。在谈到他们的区别时，愣住了
MSSQL中Escape转义的使用 aijuans MSSQL
IF OBJECT_ID('tempdb..#ABC') is not null drop table tempdb..#ABC create table #ABC ( PATHNAME NVARCHAR(50) ) insert into #ABC SELECT N'/ABCDEFGHI' UNION ALL SELECT N'/ABCDGAFGASASSDFA' UNION ALL
一个简单的存储过程 asialee mysql 存储过程构造数据批量插入
今天要批量的生成一批测试数据，其中中间有部分数据是变化的，本来想写个程序来生成的，后来想到存储过程就可以搞定，所以随手写了一个，记录在此： DELIMITER $$ DROP PROCEDURE IF EXISTS inse
annot convert from HomeFragment_1 to Fragment 百合不是茶 android 导包错误
创建了几个类继承Fragment, 需要将创建的类存储在ArrayList<Fragment>中; 出现不能将new 出来的对象放到队列中,原因很简单; 创建类时引入包是:import android.app.Fragment; 创建队列和对象时使用的包是:import android.support.v4.ap
Weblogic10两种修改端口的方法 bijian1013 weblogic 端口号配置管理 config.xml
一.进入控制台进行修改 1.进入控制台: http://127.0.0.1:7001/console 2.展开左边树菜单域结构->环境->服务器-->点击AdminServer(管理) &
mysql 操作指令征客丶 mysql
一、连接mysql 进入 mysql 的安装目录； $ bin/mysql -p [host IP 如果是登录本地的mysql 可以不写 -p 直接 -u] -u [userName] -p 输入密码，回车，接连；二、权限操作［如果你很了解mysql数据库后，你可以直接去修改系统表，然后用 mysql> flush privileges; 指令让权限生效］ 1、赋权 mys
【Hive一】Hive入门 bit1129 hive
Hive安装与配置 Hive的运行需要依赖于Hadoop，因此需要首先安装Hadoop2.5.2，并且Hive的启动前需要首先启动Hadoop。 Hive安装和配置的步骤 1. 从如下地址下载Hive0.14.0 http://mirror.bit.edu.cn/apache/hive/ 2.解压hive，在系统变
ajax 三种提交请求的方法 BlueSkator Ajax jqery
1、ajax 提交请求 $.ajax({ type:"post", url : "${ctx}/front/Hotel/getAllHotelByAjax.do", dataType : "json", success : function(result) { try { for(v
mongodb开发环境下的搭建入门 braveCS 运维
linux下安装mongodb 1）官网下载mongodb-linux-x86_64-rhel62-3.0.4.gz 2）linux 解压 gzip -d mongodb-linux-x86_64-rhel62-3.0.4.gz; mv mongodb-linux-x86_64-rhel62-3.0.4 mongodb-linux-x86_64-rhel62-
编程之美-最短摘要的生成 bylijinnan java 数据结构算法编程之美
import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; public class ShortestAbstract { /** * 编程之美最短摘要的生成 * 扫描过程始终保持一个[pBegin,pEnd]的range,初始化确保[pBegin,pEnd]的ran
json数据解析及typeof chengxuyuancsdn js typeof json解析
// json格式 var people='{"authors": [{"firstName": "AAA","lastName": "BBB"},' +' {"firstName": "CCC&
流程系统设计的层次和目标 comsci 设计模式数据结构 sql 框架脚本
流程系统设计的层次和目标
RMAN List和report 命令 daizj oracle list report rman
LIST 命令使用RMAN LIST 命令显示有关资料档案库中记录的备份集、代理副本和映像副本的信息。使用此命令可列出： • RMAN 资料档案库中状态不是AVAILABLE 的备份和副本 • 可用的且可以用于还原操作的数据文件备份和副本 • 备份集和副本，其中包含指定数据文件列表或指定表空间的备份 • 包含指定名称或范围的所有归档日志备份的备份集和副本 • 由标记、完成时间、可
二叉树:红黑树 dieslrae 二叉树
红黑树是一种自平衡的二叉树,它的查找,插入,删除操作时间复杂度皆为O(logN),不会出现普通二叉搜索树在最差情况时时间复杂度会变为O(N)的问题. 红黑树必须遵循红黑规则,规则如下 1、每个节点不是红就是黑。 2、根总是黑的 &
C语言homework3，7个小题目的代码 dcj3sjt126com c
1、打印100以内的所有奇数。 # include <stdio.h> int main(void) { int i; for (i=1; i<=100; i++) { if (i%2 != 0) printf("%d ", i); } return 0; } 2、从键盘上输入10个整数，
自定义按钮, 图片在上, 文字在下, 居中显示 dcj3sjt126com 自定义
#import <UIKit/UIKit.h> @interface MyButton : UIButton -(void)setFrame:(CGRect)frame ImageName:(NSString*)imageName Target:(id)target Action:(SEL)action Title:(NSString*)title Font:(CGFloa
MySQL查询语句练习题，测试足够用了 flyvszhb sql mysql
http://blog.sina.com.cn/s/blog_767d65530101861c.html 1.创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR
转：MyBatis Generator 详解 happyqing mybatis
MyBatis Generator 详解 http://blog.csdn.net/isea533/article/details/42102297 MyBatis Generator详解 http://git.oschina.net/free/Mybatis_Utils/blob/master/MybatisGeneator/MybatisGeneator.
让程序员少走弯路的14个忠告 jingjing0907 工作计划学习
无论是谁，在刚进入某个领域之时，有再大的雄心壮志也敌不过眼前的迷茫：不知道应该怎么做，不知道应该做什么。下面是一名软件开发人员所学到的经验，希望能对大家有所帮助 1.不要害怕在工作中学习。只要有电脑，就可以通过电子阅读器阅读报纸和大多数书籍。如果你只是做好自己的本职工作以及分配的任务，那是学不到很多东西的。如果你盲目地要求更多的工作，也是不可能提升自己的。放
nginx和NetScaler区别流浪鱼 nginx
NetScaler是一个完整的包含操作系统和应用交付功能的产品，Nginx并不包含操作系统，在处理连接方面，需要依赖于操作系统，所以在并发连接数方面和防DoS攻击方面，Nginx不具备优势。 2.易用性方面差别也比较大。Nginx对管理员的水平要求比较高，参数比较多，不确定性给运营带来隐患。在NetScaler常见的配置如健康检查，HA等，在Nginx上的配置的实现相对复杂。 3.策略灵活度方
第11章动画效果（下） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
FAQ - SAP BW BO roadmap blueoxygen BO BW
http://www.sdn.sap.com/irj/boc/business-objects-for-sap-faq Besides, I care that how to integrate tightly. By the way, for BW consultants, please just focus on Query Designer which i
关于java堆内存溢出的几种情况 tomcat_oracle java jvm jdk thread
【情况一】：　　 java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环；　　如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决：　　<jvm-arg>-Xms3062m</jvm-arg> 　　<jvm-arg>-Xmx
Manifest.permission_group权限组阿尔萨斯 Permission
结构继承关系 public static final class Manifest.permission_group extends Object java.lang.Object android. Manifest.permission_group 常量 ACCOUNTS 直接通过统计管理器访问管理的统计 COST_MONEY可以用来让用户花钱但不需要通过与他们直接牵涉的权限 D