人邮异步社区

5种常见的机器学习算法

在本章中,我们将介绍5种常见的机器学习算法。它们不但本身非常有效,也常用于构建更复杂的算法。

1　线性回归

线性回归(linear regression)是一种流行的回归算法,从样本特征的线性组合(linear combination)中学习模型。

1.1　问题陈述

给定一个有标签的样本集 $\{ ({\boldsymbol{x}_i},{y_i})\} _{i = 1}^N$ ,N是总样本数量,xi是每个样本i=1,…,N的D维特征向量。yi是一个实数标签[1],每个特征 $x_i^{\left( j \right)}$ ,j=1,…,D也是一个实数。

我们想要得到一个基于样本特征x的线性组合的模型fw,b(x):

fw,b(x)=wx+b

(1)

fw,b表示f是一个参数化的模型,有w和b两个参数。其中,w是一个维度等于D的向量,b是一个实数。

利用该模型,我们可以对含有未知标签y的样本x进行预测,表示为y←fw,b(x)。在输入样本相同时,两个含有不同参数组(w,b)的模型的预测结果很可能截然不同。学习的目的是找到一组最优参数(w*,b*)。当参数最优时,模型的预测最准确。

细心的读者可能发现式1中定义的线性模型与SVM模型相差无几,只是缺少sign运算。的确,这两个模型非常相似,主要区别在于SVM的超平面是决策边界,用于分隔两类样本。因此,它与两类样本间的距离越远越好。

而另一方面,我们希望线性回归中的超平面离所有训练样本越近越好。图1很直观地解释了这一点。图中呈现了多个一维训练样本(蓝点)和它们的回归线(红线)。利用回归线,我们可以预测新样本xnew的标签ynew。如果样本的特征是D维(D>1),训练得到的线性模型则是一个平面(二维特征向量)或一个超平面(D>2)。

图1　10个一维样本的线性回归

这就是为什么回归模型中的超平面与训练样本越近越好:如果图1中的红线远离代表训练数据的蓝点,预测标签ynew正确的机会就会减少。

1.2　解决方案

为满足回归超平面需要尽量靠近训练样本这一需求,我们通过最小化以下表达式来求最优参数w*和b*:

$\frac{1}{N}\mathop \sum \limits_{i = 1 \ldots N} {({f_{w,b}}\left( {{\boldsymbol{x}_i}} \right) - {y_i})^2}$

(2)

在数学中,我们称需要最大化或最小化的表达式为目标函数(objective function),或简称为“目标”。在式2中,(fw,b(xi)-yi)2为损失函数(loss function),用来惩罚一个错误的分类结果。具体来说,式2中用到的是一个方差损失(squared error loss)。所有基于模型的学习算法都有一个损失函数。为了找到最优模型,我们需要将整个目标函数[又称成本函数(cost function)]最小化。线性回归中的成本函数是平均损失,也称为经验风险(empirical risk)。一个模型的平均损失(经验风险)是将其应用于所有训练数据后累积的总损失的平均数。

那么,为什么线性回归的损失是一个二次函数(quadratic function)呢?为什么不用实际值yi与预测值f(xi)之差的绝对值计算惩罚呢?当然可以。我们甚至可以用立方替代损失中的平方运算。

读者可能已经发现,在设计一个机器学习算法时,我们做了许多看起来随意的决定。比如,使用特征的线性回归预测结果。我们同样可以使用平方或其他多项式组合特征。我们也可以选择其他有意义的损失函数,譬如yi与f(xi)差的绝对值和立方损失。同样,使用二元损失(binary loss)(yi和f(xi)的值不相等时为1,否则为0)不也很合理吗?

事实上,一旦我们选择了不同的模型或损失函数,或者用不同的算法来最小化平均损失从而得到最优函数,我们就创造了一个新的机器学习算法。是不是听起来很容易?不过,先别急着发明新算法,因为新的未必更好用。

通常,人们发明新的学习算法有两个目的。

新算法在解决一个特定实际问题时,效果比现有算法更好。
新算法有更好的理论基础,保证输出模型的质量。

我们选择线性模型的一个现实因素是它比较简单。当一个简单的模型满足需求的时候,何必舍近求远用一个复杂的模型呢?另外一个考虑是,使用线性模型不容易过拟合(overfitting)。一个过拟合的模型可以非常准确地预测训练样本的标签,却容易对新的样本判断错误。

图2中的回归模型是一个过拟合的例子。图中的训练数据(蓝点)与图1中见到的一样。区别在于,这里的回归模型(红线)是一个10元多项式回归(polynomial regression)。回归线对训练样本的预测结果近乎完美。不过,它却对新数据判断完全错误。我们会在第5章中继续讨论过拟合以及如何避免过拟合。

图2　过拟合示意图

现在,我们知道线性模型很有用是因为它不容易过拟合。那么方差呢?为什么我们决定在损失函数里加一个平方?1805年,法国数学家阿德利昂·玛利·勒让德(Adrien⁃Marie Legendre)首次使用平方求和的方法来评价一个模型的质量。他认为在求和之前把误差平方可使运算更方便。为什么这么说呢?绝对值之所以不方便运算的原因是,它的导数不连续,导致整个函数是不平滑的。在优化求解过程中,如果一个函数不平滑,就不能轻易地使用线性代数方法得到闭式解(closed form solution)。闭式解是代表一个函数最优解的代数表达式。相比复杂的数值优化方法[比如训练神经网络时常用到的梯度下降(gradient descent)],闭式解更简单,效果也更好。

另一方面,平方惩罚放大了实际值与目标值之间的误差。我们也可以用3次或4次幂运算达到同一效果,只不过它们的导数更复杂。

最后,为什么我们要在意平均损失的导数呢?我们以式2为例,如果可以计算函数的梯度,我们便能令梯度为0[2]并通过直接求解方程组得到最优参数w*和b*。

2　对数几率回归

对数几率回归(logistic regression)[3]并不是一个回归模型,而是分类学习模型。它的命名来自于统计学,因为其数学表达式与线性回归很类似。

本章中我们只解释对数几率回归在二分类问题上的应用。它也可以直接应用于多类别分类。

2.1　问题陈述

在对数几率回归中,我们还是想用xi的线性函数对yi建模。只不过当yi是二元时,问题就没有那么简单了。特征的线性组合wxi+b是一个从负无穷到正无穷的函数,而yi只有两个可能值。

在计算机被发明之前,科学家需要进行大量手动运算,急需一个线性分类模型。他们发现,如果把负标签定义为0、正标签定义为1,我们只需要找到一个域值为(0,1)的简单连续函数。这样一来,当模型对x的结果接近0时,我们给x一个负标签;反之,x得到正标签。标准对数几率函数(standard logistic function),又称为sigmoid函数,便是一个具有这一特质的函数:

$f\left( x \right) = \frac{1}{{1 + {{\rm{e}}^{ - x}}}}$

{:—}其中,e是一个自然对数的底数,也称为欧拉数(Euler̓s Number)。许多编程语言使用exp(x)表示ex。sigmoid函数的曲线如图3所示。

图3　标准对数几率回归

对率回归模型的具体表示式为:

${f_{\boldsymbol{w},b}}\left( \boldsymbol{x} \right)\mathop = \limits^{{\rm{def}}} \frac{1}{{1 + {{\rm{e}}^{ - \left( {\boldsymbol{wx} + b} \right)}}}}$

(3)

其中包含我们在线性回归中见过的wx+b。

通过观察标准对数几率函数的曲线,我们可以理解它如何满足我们的分类去求:如果我们正确地优化得出w和b值,便可以将f(x)的结果理解为yi为正值的概率。举个例子,如果结果大于或等于一个阈值0.5,我们认为x的类型为正;反之为负。在实际操作中,阈值的选择可以因具体问题的不同而调整。我们会在第5章介绍模型效果评估时继续讨论阈值。

接下来,我们要如何找出最优参数w*和b*呢?回顾一下,在线性回归中,我们最小化平均误差损失,也称为均方误差(Mean Squared Error,MSE)。

2.2　解决方案

在对数几率回归中,我们根据模型最大化训练集的似然(likelihood)度。在统计学中,似然函数是指在模型已知的情况下观测到一个样本的可能性。

举个例子,令一个训练集中的有标签数据为(xi,yi)。同时,假设我们已经找到(或猜到)一些具体参数值 $\hat w$ 和 $\hat b$ 。现在,利用式3计算输入为xi时模型 ${f_{\hat w,\hat b}}$ 的结果,我们会得到一个0<p<1的值。如果yi为正类,根据我们的模型,yi是正类的似然度为p。同样的,如果yi为负类,则yi是负类的似然度为1-p。

对率回归的优化标准(optimization criterion)是最极似然数(maximum likelihood)。在线性回归中,我们将平均损失最小化。现在,我们根据模型将训练数据的似然度最大化:

${L_{\boldsymbol{w},b}}\mathop = \limits^{{\rm{def}}} \mathop \prod \limits_{i = 1 \ldots N} {f_{\boldsymbol{w},b}}{({\boldsymbol{x}_i})^{{y_i}}}{(1 - {f_{\boldsymbol{w},b}}({\boldsymbol{x}_i}))^{\left( {1 - {y_i}} \right)}}$

(4)

表达式fw,b(xi)yi(1-fw,b(xi))(1-yi)看似复杂,实际的意义只不过是:当y1=1时取fw,b(xi)的值,否则取(1-fw,b(xi))的值。进一步解释,如果y1=1,则(1-y1)=0。因为任意一个数的0次方都是1,所以(1-fw,b(xi))(1-yi)等于1。同理,如果y1=0,fw,b(xi)yi等于1。

有的读者可能发现,我们在目标函数中用了求积运算Π而不是线性回归中的求和运算∑。这是因为,观察到N个样本的标签的释然度是每个观测样本似然的乘积(假设所有观测样本都相互独立,事实上也如此)。我们可以定义对数似然(log⁃likelihood)为:

${\rm{log}}{L_{\boldsymbol{w},b}}\mathop = \limits^{{\rm{def}}} {\rm{ln}}\left( {{L_{\boldsymbol{w},b}}\left( \boldsymbol{x} \right)} \right) = \mathop {\mathop \sum \limits_{i = 1} }\limits^N {y_i}{\rm{ln}}{f_{\boldsymbol{w},b}}\left( \boldsymbol{x} \right) + \left( {1 - {y_i}} \right){\rm{ln}}\left( {1 - {f_{\boldsymbol{w},b}}\left( \boldsymbol{x} \right)} \right)$

因为ln是一个严格递增函数(strictly increasing function),它的优化问题等价于其变量的优化问题。两个问题的最优解是一致的。

有别于线性回归,上面的优化问题没有闭式解。为求解,我们常用数值优化方法,如梯度下降(gradient descent)。在下一章中,我们会具体解释它。

3　决策树学习

决策树(decision tree)是一个可用于决策的非循环图(graph)。在每个分支节点上,一个特征j会被测试。如果该特征的值小于一个既定阈值,我们只考虑左边的分支;否则,只考虑右边的分支。当决策过程到达一个叶节点(leaf node)时,我们可以用该叶节点的标签决定一个样本标签。

正如本章的标题所说,一个决策树可以从数据中学习得到。

1　问题陈述

已知一组标记样本:标签属于集{0,1}。我们想要构建一个决策树,并用它对一个特征向量进行分类。

2　解决方案

解决决策树有很多种方法。在本书中,我们重点介绍一种名为ID3的方法。

该方法的优化标准是平均对数似然:

$\frac{1}{N}\mathop {\mathop \sum \limits_{i = 1} }\limits^N {y_i}{\rm{ln}}{f_{{\rm{ID}}3}}\left( {{\boldsymbol{x}_i}} \right) + \left( {1 - {y_i}} \right){\rm{ln}}\left( {1 - {f_{{\rm{ID}}3}}\left( {{\boldsymbol{x}_i}} \right)} \right)$

(5)

其中,fID3是一个决策树。

到这一步为止,看起来它和对数几率回归很相似。差别在于,对率回归模型试图通过求最优解构建一个参数化模型(parametric model),即 ${f_{{w^{\rm{*}}},{b^{\rm{*}}}}}$ ;而ID3算法则通过近似优化构建一个非参数化模型(nonparametric model),即 $f_\text{ID3}(\boldsymbol{x})\mathop = \limits^{\rm{def}}\Pr(y=1|\boldsymbol{x})$ 。

ID3学习算法的原理如下。令S为一个有标签样本的集合,刚开始决策树只有一个起始节点,包含所有样本, $S\mathop = \limits^{\rm{def}}\{(\boldsymbol{x}_i,y_i\}^N_{i=1}$ 。起始恒定模型可定义为:

$f_{{\rm{ID}}3}^S\mathop = \limits^{{\rm{def}}} \frac{1}{{\left| S \right|}}\mathop \sum \limits_{\left( {\boldsymbol{x},y} \right) \in S} y$

(6)

以上模型对所有输入x的预测, $f^S_\text{ID3}(\boldsymbol{x})$ ,都是相同的。在图4(a)中,一个此类的决策树由12个标签样本构建。

图4　一个决策树构建算法的示意图

注:样本集合S包含12个标签样本。(a)起初,决策树只有一个起始节点,对所有输入的预测都一样。(b)经过第一次划分之后的同一个决策树,测试特征3是否小于18.3,并根据结果选择两个叶节点中的一个做预测。

接着,我们搜索所有特征j=1,…,D和所有阈值t,并将S划分为两个子集: $S\_\mathop=\limits^\text{def}\{(\boldsymbol{x},y)|(\boldsymbol{x},y)\in S,x^{(j)}<t\}$ 和 $S_+\mathop=\limits^\text{def}\{(\boldsymbol{x},y)|(\boldsymbol{x},y)\in S,x^{(j)}\geqslant t\}$ 。两个新的子集会直达两个新的叶节点。同时,我们评估所有可能的数组(j,t)对S+和S-的划分效果。最后,我们选择最优的划分方案构成新的叶节点,并继续递归划分S+和S-(直到没有任何一个划分后的模型明显优于现有模型)。图4(b)中的决策树由图4(a)中的原型经过一次划分后得到。

那么,该如何评估一次划分效果呢?在ID3中,我们用熵(entropy)估计一次划分的好坏。熵是衡量一个随机变量不确定性的值。当随机变量中的所有概率相等时,熵最大。计算一个样本集合S熵的公式如下:

$H\left( S \right)\mathop = \limits^{{\rm{def}}} - f{\rm{\;}}_{{\rm{ID}}3}^S{\rm{ln}}f{\rm{\;}}_{{\rm{ID}}3}^S - \left( {1 - f{\rm{\;}}_{{\rm{ID}}3}^S} \right){\rm{ln}}\left( {1 - f{\rm{\;}}_{{\rm{ID}}3}^S} \right)$

当我们使用一个特征j和一个阈值t划分一个样本集合时,该划分的熵H(S-,S+)是两个子集的熵的加权求和。

$H\left( {{S_ - },{S_ + }} \right)\mathop = \limits^{{\rm{def}}} \frac{{\left| {{S_ - }} \right|}}{{\left| S \right|}}H\left( {{S_ - }} \right) + \frac{{\left| {{S_ + }} \right|}}{{\left| S \right|}}H\left( {{S_ + }} \right)$

(7)

在ID3的每个步骤中,在每一个叶节点,我们根据式7计算熵,并根据最小熵来划分或停止划分样本。

当以下任何一种情况得到满足时,算法终止于一个叶节点:

叶节点中的所有样本被单个模型(式3.6)正确分类。
找不到任何可以划分的特征。
划分后的熵减幅小于一个ε值(具体值由实验决定[4])。
决策树已达到某最大深度(同样由实验决定)。

在每一次迭代中,因为划分数据集的决定是局部的(不依赖于之后的划分),ID3无法保证得到最优解。我们可以通过使用诸如回溯(backtracking)等方法搜索最优解,不过需要更长的时间构建一个模型。

最广泛使用的一种决策树学习算法叫作C4.5。相比ID3,它有以下特点:

同时兼容连续和离散的特征。
可以处理不完整样本。
使用一种自底向上(bottom⁃up)的“剪枝”(pruning)方法解决过拟合问题。

剪枝的具体方法是:决策树构建完成后,重新检查每个分支,去除对降低误差影响不大的分支,并用其叶节点取代。

基于熵的划分标准其实很合理:当S中的所有样本标签都一样的时候,熵达到最低值0;刚好一半的样本被标注为正时,熵为最高值1,该分支也失去了有效分类的能力。至于决策树如何最大化平均对数似然标准,我们把这个问题留给读者自学。

4　支持向量机

在第1章中我们已经介绍了支持向量机,这里只做补充说明。两个需要回答的关键问题是:

1．如果数据中存在噪声,造成没有超平面可以完全分隔正负样本,怎么办?

2．如果数据不能被一个平面分隔,却可以被一个更高阶的多项式(higher⁃order polynomial)分隔,怎么办?

以上两种情况如图5所示。在左图中,如果不考虑噪声(异常的或标注错误的样本),那么数据可以被直线分隔。在图5(b)中,决策边界呈椭圆形,而不是一条直线。

图5　线性不可分隔的情况

回顾一下SVM,我们需要满足以下两个约束:

(8)

同时,我们试图将 $\| \boldsymbol{w} \|$ 最小化,从而使超平面与最近的两类样本的距离相等。最小化 $\| \boldsymbol{w} \|$ 等价于最小化 $\frac{1}{2}{\| \boldsymbol{w} \|^2}$ 。使用后者的好处是,在后面的运算中方便使用二次规划(quadratic programming)求解。这样一来,SVM的优化问题可写为:

${\rm{min}}\frac{1}{2}{\left\| \boldsymbol{w} \right\|^2}$ ,　因此, ${y_i}\left( {{\boldsymbol{x}_i}\boldsymbol{w} - b} \right) - 1 \geqslant 0,i = 1, \ldots ,N$

(9)

4.1　处理噪声

为了扩展SVM可应用于分隔非线性数据,我们需要介绍合页损失(hinge loss)函数:max(0,1-yi(wxi-b))。

当式8中的约束被满足时,合页损失为0。换句话说,如果wxi的位置在决策边界的正确一侧,合页损失为0。当数据位于错误的一侧时,函数的值与距决策边界的距离成正比。

接下来,我们希望最小化以下成本函数:

$C{\left\| \boldsymbol{w} \right\|^2} + \frac{1}{N}\mathop {\mathop \sum \limits_{i = 1} }\limits^N {\rm{max}}\left( {0,1 - {y_i}\left( {\boldsymbol{w}{\boldsymbol{x}_i} - b} \right)} \right)$

我们既想要决策边界尽量大,也希望每一个样本xi都位于正确的一侧。超参数C的作用是将二者折中。如同ID3中的超参数ϵ和d,C的值需要实验前预设。优化合页损失的SVM称为软间隔(soft⁃margin)SVM。

正如读者所见,当C的值够大时,成本函数中第二个项可被忽略。这时的SVM会试图找到最大的间隔,而完全不顾分类对错。减小C的值使分类错误的成本增加。为了减少犯错的机会,SVM不惜牺牲间隔的大小。正如之前讨论过的,间隔大的模型具有更好的泛化性。因此,C的作用是折中模型在训练样本(经验风险最小化)与未来数据(泛化性)上的分类效果。

4.2　处理固有非线性

SVM的变体可用于分类在原空间内无法被超平面分隔的数据。实际上,如果我们能将原空间变换成另一个高维空间,即有可能在新空间内线性分隔样本。在优化SVM的成本函数时,使用一个函数隐式地(implicitly)变换原空间到一个更高维空间的方法称为核技巧(kernel trick)。

核技巧的应用效果如图6所示,我们可以使用特定映射(mapping)ϕ:xaϕ(x)将原本线性不可分的二维数据变换成线性可分的三维数据。其中,ϕ(x)是一个比x维度高的向量。以图5(右)中的二维数据为例,将一个二维样本x=[q,p]映射到一个三维空间(见图6)中, $\phi([q,p])\mathop=\limits^\text{def}(q^2,\sqrt2qp,p^2)$ 。其中,·2表示平方运算。现在,数据在变换后的空间中可以被线性分隔了。

图6　在变换到一个三维空间后,图5(b)中的数据变成线性可分隔

不过,我们预先并不知道哪一个映射ϕ适用于我们的数据。我们可以先用某种映射将所有样本变换成维度很高的向量,再用SVM进行分类,并尝试所有可能实现的映射函数。这样做非常低效,我们的分类问题可能永远也解决不了。

幸运的是,科学家们找到了一个不需要明确地变换即可在高维度空间进行高效运算的核函数[kernel function,或简称核(kernel)]。要了解核的工作原理,我们首先需要理解SVM的优化算法是如何找到w和b最优值的。

用于优化式9的传统方法是拉格朗日乘子法(method of Lagrange multiplier)。与直接优化式9相比,以下形式的等价问题更方便求解:

$\mathop {{\rm{max}}}\limits_{{\alpha _1} \ldots {\alpha _N}} \mathop {\mathop \sum \limits_{i = 1} }\limits^N {\alpha _i} - \frac{1}{2}\mathop {\mathop \sum \limits_{i = 1} }\limits^N \mathop {\mathop \sum \limits_{k = 1} }\limits^N {y_i}{\alpha _i}({\boldsymbol{x}_i}{\boldsymbol{x}_k}){y_k}{\alpha _k}$

受制于 $\mathop {\mathop \sum \limits_{i = 1} }\limits^N {\alpha _i}{y_i} = 0$ 以及αi≥0,i=1,…,N

其中,α是拉格朗日乘子。这样一来,该优化问题就变成了一个凸二次优化问题(convex quadratic optimization problem),可以利用二次规划算法高效求解。

在以上算式中我们可以发现,特征向量只出现在一项中,即xixk。如果我们想要变化向量空间到更高维度的空间,需要将xi和xk分别变成ϕ(xi)和ϕ(xk)并相乘求积。这样计算成本很高。

另外,我们只关心xixk的点积结果,而且知道它是一个实数。只要其结果正确,我们甚至不在乎它的计算过程。使用核技巧,可以避免从原特征空间到更高维度空间的复杂转换,也不需要计算它们的点积。我们将它们替换成一个简单运算。该运算应用于原特征向量的结果与之前相同。举个例子,与其将(q1,p1)、(q2,p2)转换成(, $\sqrt 2$ q1p1,)、(, $\sqrt 2$ q2p2,)并计算点积得到(+2q1q2p1p2+),不如直接计算(q1,p1)和(q2,p2)的点积(q1q2,p1p2),然后平方得到完全一样的结果(+2q1q2p1p2+)。

这也正使用到了核技巧的一种,即二次核k(xi,xk) $\mathop = \limits^{{\rm{def}}}$ (xixk)2。核函数有多种,最常用的是径向基函数(Radial Basis Function,RBF)核:

$k\left( {\boldsymbol{x},\boldsymbol{x}'} \right) = {\rm{exp}}\left( { - \frac{{{{\left\| {\boldsymbol{x} - \boldsymbol{x}'} \right\|}^2}}}{{2{\sigma ^2}}}} \right)$

其中, ${\| {x - x'} \|^2}$ 是欧氏距离(Euclideandistance)的平方。欧氏距离的计算公式为:

$\begin{align*}d\left( {{\boldsymbol{x}_i},{\boldsymbol{x}_k}} \right)&\mathop = \limits^{{\rm{def}}} \sqrt {{{(x_i^{\left( 1 \right)} - x_k^{\left( 1 \right)})}^2} + {{(x_i^{\left( 2 \right)} - x_k^{\left( 2 \right)})}^2} + \ldots + {{(x_i^{\left( D \right)} - x_k^{\left( D \right)})}^2}} \\\& = \sqrt {\mathop {\mathop \sum \limits_{j = 1} }\limits^D {{(x_i^{\left( j \right)} - x_k^{\left( j \right)})}^2}} \end{align*}$

RBF核的特征空间的维度是无穷的。通过调整超参数σ,数据科学家可以在原空间选择一个平滑或者弯曲的决策边界。

5　k近邻

k近邻(k⁃Nearest Neighbor,kNN)是一个非参数化的学习算法。其他学习算法在建模完成后可以将训练数据丢弃,而kNN却需要将训练数据保存在内存中。当一个新的、未见过的样本x被输入时,kNN可找出与x最相似的k个训练样本。当解决分类问题时,模型输出的多数标签为预测,处理回归问题时则返回标签的均值。

两个样本的相似度由一个距离函数决定,比如前面提到的欧氏距离就在现实应用中很常见。另一个很流行的距离函数是负余弦相似度(consine similarity)。余弦相似度定义为:

$s\left( {{\boldsymbol{x}_i},{\boldsymbol{x}_k}} \right)\mathop = \limits^{{\rm{def}}} {\rm{cos}}\left( {\angle \left( {{\boldsymbol{x}_i},{\boldsymbol{x}_k}} \right)} \right) = \frac{{\mathop {\mathop \sum \limits_{j = 1} }\limits^D x_i^{\left( j \right)}x_k^{\left( j \right)}}}{{\sqrt {\mathop {\mathop \sum \limits_{j = 1} }\limits^D {{(x_i^{\left( j \right)})}^2}} \sqrt {\mathop {\mathop \sum \limits_{j = 1} }\limits^D {{(x_k^{\left( j \right)})}^2}} }}$

它衡量两个向量的方向间的相似度。当两个向量间的夹角为0度时,两个向量指向同一方向,且余弦相似度等于1。当两个向量互相垂直时,余弦相似度等于0。当两个向量指向相反的方向时,余弦相似度为-1。如果我们想用它作为距离度量,就需要乘以-1。其他常用的距离度量包括切比雪夫距离(Chebychev distance)、马式距离(Mahalanobis distance)和汉明距离(Hamming distance)等。距离度量和k值都是超参数,需要数据科学家预先设定。我们也可以通过数据学习(相对于预先猜想)距离度量。具体过程我们会在第10章讨论。

[1]　我们用yi∈来表示yi的值是一个实数。其中,代表所有实数的集合,是一个从负无穷到正无穷的无限集。

[2]　为找到函数的最大或最小值,我们将梯度设为0的原因是,函数的极值的梯度总是0。在二维表示中,位于极值的梯度是一条水平线。

[3]　译者注:简称对率回归,这里使用周志华《机器学习》中的翻译。又译作“逻辑回归”或“逻辑斯谛回归”。

[4]　在第5章,我们会介绍微调超参数。

本文摘自：《机器学习精讲》，安德烈·布可夫（Andriy Burkov）著，韩江雷译京东现在五折优惠，过期恢复原价。

机器学习原理算法与应用教程，精简机器学习入门手册
美亚机器学习深度学习畅销书，全彩印刷
扫描书中二维码可阅读补充内容，人工智能和机器学习领域众多知名专家推荐

本书用简短的篇幅、精炼的语言，讲授机器学习领域必备的知识和技能。全书共11章和一个术语表，依次介绍了机器学习的基本概念、符号和定义、算法、基本实践方法、神经网络和深度学习、问题与解决方案、进阶操作、非监督学习以及其他学习方式等，涵盖了监督学习和非监督学习、支持向量机、神经网络、集成学习、梯度下降、聚类分析、维度降低、自编码器、迁移学习、强化学习、特征工程、超参数调试等众多核心概念和方法。全书最后给出了一个较为详尽的术语表。

本书能够帮助读者了解机器学习是如何工作的，为进一步理解该领域的复杂问题和进行深入研究打好基础。本书适合想要学习和掌握机器学习的软件从业人员、想要运用机器学习技术的数据科学家阅读，也适合想要了解机器学习的一般读者参考。

你可能感兴趣的:(5种常见的机器学习算法)

斤斤计较的婚姻到底有多难？白心之岂必有为
很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
情绪觉察日记第37天露露_e800
今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
芦花鞋一四许叶晗
又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
关于沟通这件事，项目经理不需要每次都面对面进行流程大师兄
很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
铭刻于星（四十二）随风至
69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说造命者说
底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
2020-01-25 晴岚85
郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
随笔 | 仙一般的灵气海思沧海
仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
想家爆米花机
也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
【iOS】MVC设计模式 Magnetic_h ios mvc 设计模式 objective-c 学习 ui
MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
OC语言多界面传值五大方式 Magnetic_h ios ui 学习 objective-c 开发语言
前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
一百九十四章. 自相矛盾巨木擎天
唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
UI学习——cell的复用和自定义cell Magnetic_h ui 学习
目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
element实现动态路由+面包屑软件技术NINI vue案例 vue.js 前端
el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
地推话术，如何应对地推过程中家长的拒绝校师学
相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
谢谢你们，爱你们！鹿游儿
昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务 java 架构
在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
小丽成长记（四十三）玲玲54321
小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
学点心理知识，呵护孩子健康静候花开_7090
昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
2021年12月19日，春蕾教育集团团建活动感受——黄晓丹黄错错加油
感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断尐尐呅
结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
瑶池防线谜影梦蝶
冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
爬山后遗症璃绛
爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
多线程编程之卫生间周凡杨 java 并发卫生间线程厕所
如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
How to Install GUI to Centos Minimal sunjing linux Install Desktop GUI
http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
Shell 函数 daizj shell 函数
Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
Linux服务器新手操作之一周凡杨 Linux 简单操作
1.whoami 当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。此时可以使用whoami命令。 [ecuser@HA5-DZ05 ~]$ whoami e
浅谈Socket通信（一）朱辉辉33 socket
在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包 ServerSock
关于框架的简单认识西蜀石兰框架
入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。都说学前端的要知道三大框架，目前node.
You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids ) values('0ac91f167f754c8cbac00e9e3dc372
MySQL5.6的my.ini配置 aigo mysql
注意：以下配置的服务器硬件是：8核16G内存 [client] port=3306 [mysql] default-character-set=utf8 [mysqld] port=3306 basedir=D:/mysql-5.6.21-win
mysql 全文模糊查找便捷解决方案 alxw4616 mysql
mysql 全文模糊查找便捷解决方案 2013/6/14 by 半仙 [email protected] 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
自定义数据结构链表(单项 ,双向,环形) 百合不是茶单项链表双向链表
链表与动态数组的实现方式差不多, 数组适合快速删除某个元素链表则可以快速的保存数组并且可以是不连续的单项链表;数据从第一个指向最后一个实现代码: //定义动态链表 clas
threadLocal实例 bijian1013 java thread java多线程 threadLocal
实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
activemq安全设置—设置admin的用户名和密码 bijian1013 java activemq
ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。范型内容范型集合类范型类
【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证 1. 建立一个有两个列族的表 create 'members','colfam1','colfam2' 2. 在members表中的colfam1中插入50*5
Nginx 官方一个配置实例 ronin47 nginx 配置实例
user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
java-15.输入一颗二元查找树，将该树转换为它的镜像，即在转换后的二元查找树中，左子树的结点都大于右子树的结点。用递归和循环 bylijinnan java
//use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
返回null还是empty bylijinnan java apache spring 编程
第一个问题，函数是应当返回null还是长度为0的数组（或集合）？第二个问题，函数输入参数不当时，是异常还是返回null？先看第一个问题有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》）理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
[科技与项目]工作流厂商的战略机遇期 comsci 工作流
在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。在微软，甲骨文，谷歌，IBM,SONY
过度设计-举例 cuityang 过度设计
过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。未来的事情，比如访问量，比如数据库的容量，比如是否需要改成分布式都是无法预料的再举一个例子，对闰年的判断逻辑：　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if ( ($Year%4==0 &am
java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。　　两类服务：　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
mac中用命令行运行mysql dcj3sjt126com mysql linux mac
参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html 感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
MongDB查询（1）——基本查询[五] eksliang mongodb mongodb 查询 mongodb find
MongDB查询转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....} 参数含义： query:查询参数 fie
base64，加密解密经融加密，对接 y806839048 经融加密对接
String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
JavaWeb之JSP概述 ihuning javaweb
什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。 JSP起源在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。如果使用Servl
apple watch 指南啸笑天 apple
1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina）译文译者原文概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
java经典的基础题目 macroli java 编程
1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象 regex
var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hive hive分析表 hive统计信息 hive Statistics
关键字：Hive统计信息、分析Hive表、Hive Statistics 类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息对于一个新创建
Spring Boot 1.2.5 发布 wiselyman spring boot
Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。官方建议所有的Spring Boot用户升级这个版本。项目首页 | 源

5种常见的机器学习算法

1 线性回归

1.1 问题陈述

1.2 解决方案

2 对数几率回归

2.1 问题陈述

2.2 解决方案

3 决策树学习

1 问题陈述

2 解决方案

4 支持向量机

4.1 处理噪声

4.2 处理固有非线性

5 k近邻