糖醋排骨盐酥鸡
糖醋排骨盐酥鸡

《神经网络与机器学习》笔记（五）

第七章 网络优化与正则化

虽然神经网络具有非常强的表达能力，但是当应用神经网络模型到机器学习时依然存在一些难点问题。主要分为两大类：
（1）优化问题：神经网络模型是一个非凸函数，再加上在深度网络中的梯度消失问题，很难进行优化；另外，深度神经网络模型一般参数比较多，训练数据也比较大，会导致训练的效率比较低。
（2）泛化问题：因为神经网络的拟合能力强，反而容易在训练集上产生过拟合。因此在训练深度神经网络时，同时也需要通过一定的正则化方法来改进网络的泛化能力。

网络优化

深度神经网络是一个高度非线性的模型，其风险函数是一个非凸函数，因此风险最小化是一个非凸优化问题，会存在很多局部最优点。

网络优化的难点
网络结构多样性
  1. 没有通用的优化方法
  2. 网络的超参数太多
高维变量的非凸优化

低维空间的非凸优化问题主要是存在一些局部最优点。基于梯度下降的优化方法会陷入局部最优点，因此低维空间的非凸优化问题的主要难点是如何选择初始参数和逃离局部最优点。

在高维空间中，非凸优化的难点主要是两个：

  1. 如何逃离鞍点（鞍点的梯度是0，但是在一些维度上是最高点，在另一些维度上是最低点）。在高维空间中，局部最优点要求在每一维度上都是最低点，这种概率非常低。也就是说高维空间中，大部分梯度为0 的点都是鞍点。基于梯度下降的优化方法会在鞍点附近接近于停滞，同样很难从这些鞍点中逃离。

    鞍点示例
  1. 如何避免陷入平坦底部，因为深度神经网络的参数非常多，并且有一定的冗余性，这使得每单个参数对最终损失的影响都比较小，这导致了损失函数在局部最优点附近是一个平坦的区域，称为平坦最小值（Flat Minima）。并且在非常大的神经网络中，大部分的局部最小值是相等的。虽然神经网络有一定概率收敛于比较差的局部最小值，但随着网络规模增加，网络陷入局部最小值的概率大大降低。
神经网络中的平坦底部示例

目前，深度神经网络的参数学习主要是通过梯度下降法来寻找一组可以最小化结构风险的参数。在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式。根据不同的数据量和参数量，可以选择一种具体的实现形式。除了在收敛效果和效率上的差异，这三种方法都存在一些共同的问题，比如1）如何改进优化算法；2）如何初始化参数；3）如何预处理数据等。

优化算法

小批量梯度下降

令f(x; θ) 表示一个深度神经网络，θ 为网络参数，在使用小批量梯度下降进行优化时，每次选取K个训练样本。第t次迭代时损失函数关于参数θ的偏导数为：\mathfrak{g}_{t}(\theta)=\frac{1}{K} \sum_{\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right) \in \mathcal{I}_{t}} \frac{\partial \mathcal{L}\left(\boldsymbol{y}^{(k)}, f\left(\boldsymbol{x}^{(k)} ; \theta\right)\right)}{\partial \theta}，其中为可微分的损失函数，K称为批量大小。

第t次更新的梯度gt定义为：

使用梯度下降来更新参数，，其中α>0为学习率。

每次迭代时参数更新的差值Δθt 定义为：

Δθt 和梯度gt 并不需要完全一致。Δθt 为每次迭代时参数的实际更新方向，即θt = θt−1 + Δθt。在标准的小批量梯度下降中，Δθt = −αgt。

从上面公式可以看出，影响小批量梯度下降法的因素有：1）批量大小K；2）学习率α以及3）梯度估计。

批量大小选择

批量大小不影响随机梯度的期望，但是会影响随机梯度的方差。

批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率。而批量大小较小时，需要设置较小的学习率，否则模型会不收敛。学习率通常要随着批量大小的增大而相应地增大。

一个简单有效的方法是线性缩放规则（Linear Scaling Rule）：当批量大小增加m倍时，学习率也增加m倍。线性缩放规则往往在批量大小比较小时适用，当批量大小非常大时，线性缩放会使得训练不稳定。

学习率调整

常用的学习率调整方法包括学习率衰减、学习率预热、周期性学习率调整以及一些自适应调整学习率的方法，比如AdaGrad、RMSprop、AdaDelta 等。自适应学习率方法可以针对每个参数设置不同的学习率。

学习率衰减

从经验上看，学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回震荡。比较简单的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现，也称为学习率退火。

不失一般性，这里的衰减方式设置为按迭代次数进行衰减。假设初始化学习率为α0，在第t 次迭代时的学习率αt。常见的衰减方法有以下几种：

  1. 分段常数衰减：即每经过T1, T2, · · · , Tm 次迭代将学习率衰减为原来的β1, β2, · · · , βm 倍，其中Tm 和βm < 1 为根据经验设置的超参数。分段常数衰减也称为阶梯衰减（Step Decay）
  2. 逆时衰减：，其中β为衰减率。
  3. 指数衰减：，其中β<1为衰减率。
  4. 自然指数衰减：，其中β为衰减率。
  5. 余弦衰减：，其中T为总的迭代次数。
学习率预热

为了提高训练稳定性，我们可以在最初几轮迭代时，采用比较小的学习率，等梯度下降到一定程度后再恢复到初始的学习率，这种方法称为学习率预热。

一个常用的学习率预热方法是逐渐预热。假设预热的迭代次数为T′，初始学习率为α0，在预热过程中，每次更新的学习率为：，当预热过程结束，再选择一种学习率衰减方法来逐渐降低学习率。

周期性学习率调整

周期性学习率调整可以使得梯度下降法在优化过程中跳出尖锐的局部极小值，虽然会短期内会损害优化过程，但最终会收敛到更加理想的局部极小值。

周期性学习率调整

循环学习率：即让学习率在一个区间内周期性地增大和缩小。通常可以使用线性缩放来调整学习率，称为三角循环学习率。假设每个循环周期的长度相等都为2ΔT，其中前ΔT 步为学习率线性增大阶段，后ΔT 步为学习率线性缩小阶段。在第t 次迭代时，其所在的循环周期数m为：，第t 次迭代的学习率为，其中分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；b ∈ [0, 1] 的计算为：

带热重启的随机梯度下降：用热重启方式来替代学习率衰减的方法。学习率每间隔一定周期后重新初始化为某个预先设定值，然后逐渐衰减。每次重启后模型参数不是从头开始优化，而是从重启前的参数基础上继续优化。

假设在梯度下降过程中重启M 次，第m次重启在上次重启开始第Tm 个回合后进行，Tm 称为重启周期。在第m次重启之前，采用余弦衰减来降低学习率。第t 次迭代的学习率为：，其中分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；Tcur 为从上次重启之后的回合（Epoch）数。Tcur 可以取小数，比如0.1、0.2 等，这样可以在一个回合内部进行学习率衰减。重启周期Tm 可以随着重启次数逐渐增加，比如Tm = Tm−1 × κ，其中κ ≥ 1 为放大因子。

AdaGrad 算法

在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率。由于每个参数的维度上收敛速度都不相同，因此根据不同参数的收敛情况分别设置学习率。

AdaGrad（Adaptive Gradient）算法是借鉴ℓ2 正则化的思想，每次迭代时自适应地调整每个参数的学习率。在第t 次迭代时，先计算每个参数梯度平方的累计值：，其中为按元素乘积。迭代时的梯度。

AdaGrad 算法的参数更新差值为：，其中α 是初始的学习率，ϵ 是为了保持数值稳定性而设置的非常小的常数，一般取值e−7 到e−10。此外，这里的开平方、除、加运算都是按元素进行的操作。

在AdaGrad 算法中，如果某个参数的偏导数累积比较大，其学习率相对较小；相反，如果其偏导数累积较小，其学习率相对较大。但整体是随着迭代次数的增加，学习率逐渐缩小。

AdaGrad 算法的缺点是在经过一定次数的迭代依然没有找到最优点时，由于这时的学习率已经非常小，很难再继续找到最优点。

RMSprop算法

是一种自适应学习率的方法，可以在有些情况下避免AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点。

RMSprop算法首先计算每次迭代梯度gt 平方的指数衰减移动平均，

其中β 为衰减率，一般取值为0.9。

RMSprop算法的参数更新差值为：，其中α 是初始的学习率。

从上式可以看出，RMSprop 算法和AdaGrad 算法的区别在于Gt 的计算由累积方式变成了指数衰减移动平均。在迭代过程中，每个参数的学习率并不是呈衰减趋势，既可以变小也可以变大。

AdaDelta 算法

也是AdaGrad算法的一个改进。和RMSprop算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率。此外，AdaDelta 算法还引入了每次参数更新差Δθ 的平方的指数衰减权移动平均。

第t 次迭代时，每次参数更新差的平方的指数衰减权移动平均为：

​

其中β1 为衰减率。此时Δθt 还未知，因此只能计算到ΔXt−1。

AdaDelta 算法的参数更新差值为：，其中Gt 的计算方式和RMSprop 算法一样，为参数更新差Δθ 的指数衰减权移动平均。在一定程度上平抑了学习率的波动。

梯度估计修正
动量法

动量（Momentum）是模拟物理中的概念，是用之前积累动量来替代真正的梯度。每次迭代的梯度可以看作是加速度。

在第t 次迭代时，计算负梯度的“加权移动平均”作为参数的更新方向，，其中为动量因子，通常设为0.9，α为学习率。

根据梯度方向是否一致，可以保证在初始时加速度快，在迭代后期加速度小。

Nesterov 加速梯度

是一种对动量法的改进。在动量法中，实际的参数更新方向Δθt 为上一步的参数更新方向Δθt−1 和当前梯度的反方向−gt 的叠加。这样，Δθt 可以被拆分为两步进行，先根据Δθt−1更新一次得到参数，再用−gt 进行更新。

其中梯度gt 为点θt−1 上的梯度，因此在第二步更新中有些不太合理。更合理的更新方向应该为上的梯度。

这样，合并后的更新方向为：，其中表示损失函数在点上的偏导数。

动量法和Nesterov 加速梯度的比较
Adam算法

自适应动量估计（Adam）算法可以看作是动量法和RMSprop 算法的结合，不但使用动量作为参数更
新方向，而且可以自适应调整学习率。

Adam 算法一方面计算梯度平方 的指数加权平均（和RMSprop 算法类似），另一方面计算梯度的指数加权平均（和动量法类似）。
\begin{aligned} M_t&=\beta_1M_{t-1}+(1-\beta_1)g_t,\\ G_t&=\beta_2G_{t-1}+(1-\beta_2)g_t\odot g_t\\ 其中\beta_1和\beta_2分别&为两个移动平均的衰减率，通常取值为\beta_1 = 0.9, \beta_2 = 0.99。 \end{aligned}
Mt 可以看作是梯度的均值（一阶矩），Gt 可以看作是梯度的未减去均值的方差（二阶矩）。

假设M0 = 0,G0 = 0，那么在迭代初期Mt 和Gt 的值会比真实的均值和方差要小。特别是当β1 和β2 都接近于1 时，偏差会很大。因此，需要对偏差进行修正。
\begin{aligned} \hat{M}_{t} &=\frac{M_{t}}{1-\beta_{1}^{t}} \\ \hat{G}_{t} &=\frac{G_{t}}{1-\beta_{2}^{t}} \\ Adam算法的参数更新差值为&\Delta \theta_{t} =-\frac{\alpha}{\sqrt{G_{t}+\epsilon}} \hat{M}_{t} \end{aligned}
Adam 算法是RMSProp 算法与动量法的结合，因此一种自然的Adam 算法的改进方法是引入Nesterov 加速梯度，称为Nadam算法。

梯度截断

当梯度的模大于一定阈值时，就对梯度进行截断，称为梯度截断。为了把梯度的模限定在一个区间。

按值截断：大于或小于边界值，就设为边界值。

按模截断：是将梯度的模截断到一个给定的截断阈值b。如果∥gt∥2 ≤ b，保持gt 不变。如果∥gt∥2 > b，令

优化算法小结

几种优化方法大体上可以分为两类：一是调整学习率，使得优化更稳定；二是梯度估计修正，优化训练速度。

这些优化算法可以使用下面公式来统一描述概括：
\begin{aligned} \Delta \theta_{t} &=-\frac{\alpha_{t}}{\sqrt{G_{t}+ \epsilon}} M_{t} \\ G_{t} &=\psi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ M_{t} &=\phi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ 其中g_t 是第t 步的梯度；\alpha _t 是第t &步的学习率，可以进行衰减，也可以不变；\\ψ(·) 是学习率缩放函数，可以取1& 或历史梯度的模的移动平均；\\ϕ(·) 是优化后的参数 更新方向，可&以取当前的梯度g_t 或历史梯度的移动平均。\end{aligned}

神经网络常用优化方法的汇总

参数初始化

在感知器和logistic 回归的训练中，参数可以全部初始化为0。

但在神经网络的训练中不可以。因为如果参数都为0，在第一遍前向计算时，所有的隐层神经元的激活值都相同。这样会导致深层神经元没有区分性。这种现象也称为对称权重现象。为了打破这个平衡，比较好的方式是对每个参数都随机初始化。同时，为了高效地训练神经网络，给参数选取一个合适的随机初始化区间是非常重要的。

经常使用的初始化方法有两种：高斯分布初始化、均匀分布初始化。

Xavier 初始化

当网络使用Logistic 激活函数时，Xavier 初始化可以根据每层的神经元数量来自动计算初始化参数的方差。

假设第l 层神经元的激活函数为Logistic 函数，对于第l − 1 到l 层的权重参数区间r 可以设置为：

对于Tanh 函数，r 可以设置为：

假设第l 层的一个隐藏层神经元zl，其接收前一层的nl−1 个神经元的输出ai(l-1)，1 ≤ i ≤ n(l-1)，则：，为了避免初始化参数使得激活值变得饱和，就需要让zl处于激活函数的线性区间，也就是其绝对值比较小。这时该神经元的激活值。

假设的均值都为0，并且相互独立，则的均值为：

​ \begin{align*} \mathbb{E}\left[a^{l}\right]\approx \mathbb{E}[z^l]=\mathbb{E}\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} \mathbb{E}\left[\boldsymbol{w}_{i}\right] \mathbb{E}\left[a_{i}^{(l-1)}\right]=0 \end{align*}

的方差为：var[a^l]=var\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]=n^{(l-1)}var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]
也就是说，输入信号的方差在经过该神经元后被放大或缩小了倍。为了使得在经过多层网络后，信号不被过分放大或过分减弱，需要尽可能保持每个神经元的输入和输出的方差一致。也就是让倍数=1。即：，同理，为了使得在反向传播中，误差信号也不被放大或缩小，也需要让的方差保持为，作为折中，同时考虑信号在前向和反向传播中都不被放大或缩小，可以设置。

在计算出参数的理想方差后，可以通过高斯分布或均匀分布来随机初始化参数。

高斯分布初始化：连接权重可以按的高斯分布进行初始化。

均匀分布初始化：方差计算公式为：，若采用区间为的均匀分布来初始化，并满足，则。

He 初始化

相当于Xavier 初始化中只考虑前向传播的情况。

数据预处理

对于基于相似度比较的机器学习方法，必须先对样本进行预处理，将各个维度的特征归一化到同
一个取值区间，并且消除不同特征之间的相关性，才能获得比较理想的结果。

数据归一化对梯度的影响

以下是几种在神经网络中经常使用的归一化方法。

缩放归一化：是一种非常简单的归一化方法，通过缩放将每一个特征
的取值范围归一到[0, 1] 或[−1, 1] 之间。假设有N 个样本，对于每一维特征x，，其中min(x) 和max(x) 分别是特征x 在所有样本上的最小值和最大值。

标准归一化：也叫z-score 归一化，来源于统计上的标准分数。将每一个维特征都调整为均值为0，方差为1。假设有N 个样本，对于每一维特征x，我们先计算它的均值和方差，然后，将特征x(n) 减去均值，并除以标准差，得到新的特征值。这里σ 不能为0。如果方差为0，说明这一维特征没有任务区分性，可以直接删掉。

白化：是一种重要的预处理方法，用来降低输入数据特征之间的冗余性。输入数据经过白化处理后，特征之间相关性较低，并且所有特征具有相同的方差。白化的一个主要实现方式是使用主成分分析。

标准归一化和PCA白化

逐层归一化

浅层发生的小偏移，会导致深层发生大的偏移（蝴蝶效应）。

从机器学习角度来看，如果某个神经层的输入分布发生了改变，那么其参数需要重新学习，这种现象叫做内部协变量偏移。

协变量是一个统计学概念，是可能影响预测结果的统计变量。在机器学习中，协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上的分布是相似的。如果不满足这个假设，在训练集上学习到的模型在测试集上的表现会比较差。

为了解决内部协变量偏移问题，就要使得每一个神经层的输入的分布在训练过程中保持一致。最简单直接的方法就是对每一个神经层都进行归一化操作，使其分布保存稳定。

批量归一化（BN）

BN方法是一种有效的逐层归一化方法，可以对神经网络中任意的中间层进行归一化操作。

对于一个深度神经网络，令第l 层的净输入为z(l)，神经元的输出为a(l)，即：

​ 。

为了减少内部协变量偏移问题，就要使得净输入z(l) 的分布一致，比如都归一化到标准正态分布。虽然归一化操作可以应用在输入a(l−1) 上，但其分布性质不如z(l) 稳定。因此，在实践中归一化操作一般应用仿射变换之后，激活函数之前。

为了提高归一化效率，一般使用标准归一化，将净输入z(l) 的每一维都归一到标准正态分布。

​

因为目前主要的训练方法是基于小批量的随机梯度下降法，所以准确地计算z(l) 的期望和方差是不可行的。因此，z(l) 的期望和方差通常用当前小批量样本集的均值和方差近似估计。

给定一个包含K 个样本的小批量样本集合，第l 层神经元的净输入 的均值和方差为：
\begin{aligned} \mu_{\mathcal{B}} &=\frac{1}{K} \sum_{k=1}^{K} z^{(k, l)} \\ \sigma_{\mathcal{B}}^{2} &=\frac{1}{K} \sum_{k=1}^{K}\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \odot\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \end{aligned}
对净输入z(l) 的标准归一化会使得其取值集中到0 附近，如果使用sigmoid型激活函数时，这个取值区间刚好是接近线性变换的区间，减弱了神经网络的非线性性质。因此，为了使得归一化不对网络的表示能力造成负面影响，可以通过一个附加的缩放和平移变换改变取值区间。

其中γ 和β 分别代表缩放和平移的参数向量。从最保守的角度考虑，可以通过标准归一化的逆变换来使得归一化后的变量可以被还原为原来的值。当。

加入归一化操作后：

其中因为批量归一化本身具有平移变换，所以仿射变换不再需要偏置参数。

层归一化

批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量样本的数量不能太小，否则难以计算单个神经元的统计信息。此外，如果一个神经元的净输入的分布在神经网络中是动态变化的，比如循环神经网络，那么就无法应用批量归一化操作

层归一化是和批量归一化非常类似的方法。和批量归一化不同的是，层归一化是对一个中间层的所有神经元进行归一化。

对于一个深度神经网络，令第l 层神经元的净输入为z(l)，其均值和方差为：
\begin{align*} &\mu^{(l)}=\frac{1}{n^l}\sum^{n^l}_{i=1}z^{(l)}_i,\\ &\sigma^{(l)^2}=\frac{1}{n^l}\sum^{n^l}_{i=1}(z^{(l)}_i-\mu^{(l)})^2,\\ &其中n^l为第l层神经元的数量\\ 层归一化定义为：\hat{z}^{(l)} &=\frac{z^{(l)}-\mu^{(l)}}{\sqrt{\sigma^{(l)^2}+\epsilon}} \odot \gamma+\beta \triangleq \operatorname{LN}_{\gamma, \beta}\left(z^{(l)}\right)\\ 其中\gamma和\beta分别代表&缩放和平移的参数向量，和z^{(l)}维数相同。 \end{align*}
循环神经网络中的层归一化：

​

层归一化的循环神经网络，可以有效地缓解循环神经网络的梯度爆炸或消失。

其它归一化方法
权重归一化

是对神经网络的连接权重进行归一化，通过再参数化方法，将连接权重分解为长度和方向两种参数。假设第l 层神经元，我们将W再参数化为：，其中表示权重W 的第i 行，为神经元数量。新引入的参数为标量，和 维数相同。

由于在神经网络中权重经常是共享的，权重数量往往比神经元数量要少，因此权重归一化的开销会比较小。

局部响应归一化

是一种受生物学启发的归一化方法，通常用在基于卷积的图像处理上。

超参数优化

常见的超参数有以下三类：

  • 网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等。
  • 优化参数，包括优化方法、学习率、小批量的样本数量等。
  • 正则化系数。

超参数优化主要存在两方面的困难。（1）超参数优化是一个组合优化问题，无法像一般参数那样通过梯度下降方法来优化，也没有一种通用有效的优化方法。（2）评估一组超参数配置的时间代价非常高，从而导致一些优化方法（比如演化算法）在超参数优化中难以应用。

对于超参数的配置，比较简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配和神经架构搜索。

网格搜索

通过尝试所有超参数的组合来寻址合适一组超参数配置。对于连续的超参数，需要根据超参数自身的特点进行离散化。

随机搜索

是针对不同超参数对模型性能的影响差异性，对网格搜索的改进。随机搜索在实践中更容易实现，一般会比网格搜索更加有效。

网格搜索和随机搜索都没有利用不同超参数组合之间的相关性，即如果模型的超参数组合比较类似，其模型性能也是比较接近的。因此这两种搜索方式一般都比较低效，都不是自适应的。

贝叶斯优化

是一种自适应的超参数优化方法，根据当前已经试验的超参数组合，来预测下一个可能带来最大收益的组合。

时序模型优化：一种比较常用的贝叶斯优化方法。

贝叶斯优化过程是根据已有的N 组试验结果来建模高斯过程，并计算f(x)的后验分布。

为了使后验分布尽可能接近真实分布，就需要对样本空间进行足够多的采样，但是超参数优化中每一个样本的生成成本很高，需要用尽可能少的样本达到更好的效果，这可以通过定义一个收益函数来判断一个样本是否能够给建模提供更多的收益。收益越大，其修正的高斯过程会越接近目标函数的真实分布。

收益函数的定义有很多种方式。一个常用的是期望改善函数：假设是当前已有样本中的最优值，期望改善函数为：

除了期望改善函数之外，收益函数还有其它定义形式，比如改善概率、高斯过程置信上界等。

动态资源分配

动态资源分配的一种有效方法是逐次减半方法，将超参数优化看作是一种非随机的最优臂问题（，即在给定有限的机会次数下，如何玩这些赌博机并找到收益最大的臂）。假设要尝试N 组
超参数配置，总共可利用的资源预算（摇臂的次数）为B，我们可以通过轮逐次减半的方法来选取最优的配置。其中，尝试的超参数配置数量N 十分关键。

神经架构搜索

是一个新的比较有前景的研究方向，通过神经网络来自动实现网络架构的设计。一个神经网络的架构可以用一个变长的字符串来描述。利用元学习的思想，神经架构搜索利用一个控制器来生成另一个子网络的架构描述。控制器可以由一个循环神经网络来实现。控制器的训练可以通过强化学习来完成，其奖励信号为生成的子网络在开发集上的准确率。

网络正则化

正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。

在深度学习中，仅仅用ℓ1 和ℓ2 正则化是不够的，还会用到其他的正则化方法，比如数据增强、提前停止、丢弃法、集成法等。

ℓ1 和ℓ2 正则化

优化问题可以写为：

不同范数约束条件下的最优化问题示例

从上图可以看出，ℓ1 范数的约束通常会使得最优解位于坐标轴上，从而使得最终的参数为稀疏性向量。此外，ℓ1 范数在零点不可导，因此经常用来近似。

一种折中的正则化方法是弹性网络正则化：同时加入ℓ1 和ℓ2 正则化：

​

权重衰减

权重衰减也是一种有效的正则化方法，在每次参数更新时，引入一个衰减系数：。

提前停止

当验证集上的错误率不再下降，就停止迭代。

丢弃法

当训练一个深度神经网络时，可以随机丢弃一部分神经元（同时丢弃其对应的连接边）来避免过拟合。每次选择丢弃的神经元是随机的。最简单的方法是设置一个固定的概率p。对每一个神经元都以概率p 来判定要不要保留。

对于一个神经层，我们可以引入一个丢弃函数mask(·)，使得。丢弃函数d(·) 的定义为：
\begin{equation*} \operatorname{mask}(\boldsymbol{x})=\left \{\begin{array}{l}{\boldsymbol{m} \odot \boldsymbol{x}}\quad\qquad当训练阶段时\\ {p \boldsymbol{x}}\qquad\qquad\quad 当测试阶段时\end{array} \right.\\ \qquad 其中，m\in \{0,1\}^d是丢弃掩码,以概率为p的伯努利分布随机生成。d为输入x的维度。 \end{equation*}
丢弃法一般是针对神经元进行随机丢弃，但是也可以扩展到对神经元之间的连接进行随机丢弃，或每一层进行随机丢弃。

丢弃法示例

集成学习的解释：每做一次丢弃，相当于从原始的网络中采样得到一个子网络。如果一个神经网络有n个神经元，那么总共可以采样出2n 个子网络。每次迭代都相当于训练一个不同的子网络，这些子网络都共享原始网络的参数。那么，最终的网络可以近似看作是集成了指数级个不同网络的组合模型。

贝叶斯学习的解释：丢弃法也可以解释为一种贝叶斯学习的近似。用y = f(x; θ) 来表示要学习的神经网络，贝叶斯学习是假设参数θ 为随机向量，并且先验分布为q(θ)，贝叶斯方法的预测为：

其中为第m次应用丢弃方法后的网络，其参数θm 为对全部参数θ 的一次采样。

循环神经网络上的丢弃法

一种简单的方法是对非时间维度的连接（即非循环连接）进行随机丢失，如图所示，虚线边表示进行随机丢弃，不同的颜色表示不同的丢弃掩码。

针对非循环连接的丢弃法

对循环神经网络上使用丢弃法时，需要对参数矩阵的每个元素进行随机丢弃，并在所有时刻都使用相同的丢弃掩码。这种方法称为变分丢弃法。

变分丢弃法，相同颜色表示使用相同的丢弃掩码
数据增强

通过数据增强来增加数据量，提高模型鲁棒性，避免过拟合。目前，数据增强还主要应用在图像数据上，在文本等其它类型的数据上还没有太好的方法。

标签平滑

可以给样本的标签引入一定的噪声来避免过拟合。

一个样本x的标签一般用onehot 向量表示：，这种标签可以看作是硬目标。

如果使用softmax 分类器并使用交叉熵损失函数，最小化损失函数会使得正确类和其它类的权重差异变得很大。根据softmax 函数的性质可知，如果要使得某一类的输出概率接近于1，其未归一化的得分需要远大于其它类的得分，可能会导致其权重越来越大，并导致过拟合。此外，如果样本标签是错误的，会导致更严重的过拟合现象。为了改善这种情况，我们可以引入一个噪声对标签进行平滑，即假设样本以ϵ 的概率为其它类。平滑后的标签为：，其中K 为标签数量，这种标签可以看作是软目标。

标签平滑可以 避免模型的输出过拟合到硬目标上，并且通常不会损害其分类能力。

上面这种做法没有考虑标签之间的相关性。一种更好的做法是按照类别相关性来赋予其它标签不同的概
率。比如先训练另外一个更复杂（一般为多个网络的集成）的教师网络，并使用大网络的输出作为软目标来训练学生网络。这种方法也称为知识精炼

你可能感兴趣的:(《神经网络与机器学习》笔记（五）)

  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • 《策划经理回忆录之二》 路基雅虎
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • git常用命令笔记 咩酱-小羊 git笔记
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
  • 509. 斐波那契数(每日一题) lzyprime
    lzyprime博客(github)创建时间：2021.01.04qq及邮箱：2383518170leetcode笔记题目描述斐波那契数，通常用F(n)表示，形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给你n，请计算F(n)。示例1：输入：2输出：1解释：F(2)=F(1)+
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 《人世间》 南询yi
    今日分享十点推文，《人世间》有感苏格拉底说：“天地只有三尺，而人在五尺开外，所以人人都要懂得低头。”深以为然。懂得低头，不是认输。而是于人世间找寻温存的成熟，于困境中寻觅柳暗花明的智慧，于争执中展示屈伸自如的格局。正如仰头不是骄傲，是要看见自己的天空；低头也不是认输，而是要看清自己的路。成大事者，不仅要抬头挺胸，还得低头看路。懂得低头，进退有度，不是认输，而是竭尽全力过好这一生。宫崎骏说过：“所有
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 东南林氏之九牧林候选父系 祖缘树TheYtree
    渊源介绍东晋初年晋安林始祖林禄公入闽，传十世隋右丞林茂，由晋安迁居莆田北螺村。又五世而至林万宠，唐开元间任高平太守，生三子：韬、披、昌。韬公之孙攒，唐德宗立双阙以旌表其孝，时号"阙下林家"。昌公字茂吉，乃万宠公第三子，官兵部司马，配宋氏，生一子名萍。萍于唐贞元间明经及第，官沣洲司马(后追赠中宪大夫)。唐太和年间归隐后，迁居仙游游洋，世称“游洋林”；其后裔居游洋后迁移漳州漳浦路下，由路下林第四房平和
  • 春季养肝正当时 dxn悟
    重温快乐2023年2月4日立春。春天来了，春暖花开，小鸟欢唱，那在这样的季节我们如何养肝呢？自然界的春季对应中医五行的木，人体五脏肝属木，“木曰曲直”，是以树干曲曲直直地向上、向外伸长舒展的生发姿态，来形容具有生长、升发、条达、舒畅等特征的食物及现象。根据中医天人相应的理念，肝五行属木，喜条达，主疏泄，与春天相应，所以春天最适合养肝。养肝首先要少生气，因为肝喜条达恶抑郁。人体五志肝为怒，生气发怒最
  • Day17笔记-高阶函数 ~在杰难逃~ Python笔记python开发语言pycharm数据分析
    高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • ARM中断处理过程 落汤老狗 嵌入式linux
    一、前言本文主要以ARM体系结构下的中断处理为例，讲述整个中断处理过程中的硬件行为和软件动作。具体整个处理过程分成三个步骤来描述：1、第二章描述了中断处理的准备过程2、第三章描述了当发生中的时候，ARM硬件的行为3、第四章描述了ARM的中断进入过程4、第五章描述了ARM的中断退出过程本文涉及的代码来自3.14内核。另外，本文注意描述ARM指令集的内容，有些sourcecode为了简短一些，删除了T
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • 怎么做淘客赚钱(2022最新免费淘客盈利的方法) 高省_飞智666600
    很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【穿过丛林看见你】2015年在《诗歌报》读诗日记（一） 快快_ce70
    写完《三月的领土》和《手握一把锄头，在翻动诗歌的春天》之后，安稳的睡了个好觉，这是从2013年的五月之后，第一次睡的如此安稳和香甜。其实这对于我来说，也没有什么特别的意义和变故，就像我现在的生活在人人忙着踏青、写生、拍照的春天。在我脚下，没有领土的完整，也没有加剧的破碎。我曾经和现在都是个辛勤的“蜂农”，在这样一个角色里，尽管有人盗走了我所有的蜜，但不妨碍我对甜蜜的不懈追求和喜爱。翻开最近的阅读笔
  • 《在战“疫”中成长致敬生活》观后感 梅子刘的刀
    （作者：周晨）今天上午，我看了“我是接班人”网络大课堂《在战役中成长致敬生活》。有很多人拿出自己攒下的钱，默默地捐给了武汉，有几千块钱的、有几万块钱的，也有十几万块钱的。连小朋友也把自己的压岁钱捐给了武汉。有名环卫工人把自己五年的积蓄全部捐给了武汉。有名外卖小哥为医护人员买鞋子送吃的。还有已经治愈出院的新型肺炎病人捐了400毫升的血浆。还有位叫大树的叔叔，虽然他没有钱，但是他地里有蔬菜，捐了几大卡
  • 【Git】常见命令(仅笔记) 好想有猫猫 GitLinux学习笔记git笔记elasticsearchlinuxc++
    文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
  • 王东伟，中原焦点秦皇岛站第五期，每日分享第181天 Vivian_c8c7
    《解码青春期》让孩子懂得承担责任，学会道歉。英国诗人亚历山大•蒲柏有句名言：凡人难免犯错宽恕方显神性。学会如何请求对方宽恕对于保持健康的关系至关重要。当青少年把事情搞砸的时候，他们需要从关心他们的成年人那里获得帮助。家长的目标是要培养一个能为自己的行为承担责任的青少年，培养一个敢于诚恳的承认错误，愿意真心悔改的青少年。青少年只关注自己如何委屈，而且会竭尽全力为自己的行为辩解。所以，家长得小心地拆除
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • 不要偷走他人的声音 天天_27d6
    朱会利焦点讲师班五期洛阳坚持分享第634天《来访者才是主角》2018.08.02今天的中级班课堂上，老师再一次给我们强调了咨询目标的建立过程中，作为咨询师一定要明白，我们只是在协助来访者解决他自身的问题，所以一切以来访者为主，他想解决的问题才是咨询的目标。所以如果在谈话的过程中，出现了我们感觉不是我们想要的答案的时候，我们不是再极力去引导来访者按照我们的思路走，而是觉察自己的预设并且进行调整，谨言
  • 上班的路 毛毛虫小姑娘
    七点半起床，拉开窗帘，天公不作美今儿是个阴雨天，天灰蒙蒙的，毛毛雨细细密密洒落下来。脑海里的两个小人开始斗争了，一个说：“毛毛雨啦，穿着风衣打着伞穿行在雨中，是一道亮丽的风景，说不定能遇见帅哥呢！”一个说：“不要不要，走到公司衣服鞋子都潮呼呼的，趴在身上很不舒服，外面湿气这么重，对身体不好！”我思索片刻，慢吞吞为自己冲了杯五谷粉，悠哉悠哉喝完去坐班车了。
  • 《如不承诺天长地久，怎会相遇细水长流》文/苏暖人 北京大数据苏焕之
    《如不承诺天长地久，怎会相遇细水长流》文/苏暖人原创——莫转载粘贴有人选择昙花一现，如大理的花海，有人选择细水长流，如雨夜的浪漫。都说，五分喜欢的人恨不得将他挂在嘴边，十分喜欢的人却只舍得放在心里边了，在爱情眼里，对方说的每一句话都在乎你的感受，TA的眼里也只有你，我想也是这样！说起我的爱情，我也喜欢过一个忧郁的女孩，她喜欢的男孩不喜欢她，于是我成了她倾诉的朋友＋备胎，一年来我们互相推荐伤感的歌曲
  • 继续《时光音乐会》 湘梅子
    平安夜，与我无关。晚饭后陪孙子玩，直到他入睡。回家，看期待的周五《时光音乐会》。今天的庄主是郁可唯。出道十多年，竟然为影视唱了八十多首歌。她的歌声很温暖，有时还很空灵，声音处理很细腻，听起来很享受。原来《知否，知否》是她原唱，当时电视剧很火，歌我也学会了。我也喜欢她的《路过人间》歌友们谈笑风生，我这个观众也不时会心笑着。每次看完这个节目，总是意犹未尽。也只有这个节目，我先生有兴趣跟我一起看完，还总
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他