糖醋排骨盐酥鸡
糖醋排骨盐酥鸡

《神经网络与机器学习》笔记（五）

第七章 网络优化与正则化

虽然神经网络具有非常强的表达能力，但是当应用神经网络模型到机器学习时依然存在一些难点问题。主要分为两大类：
（1）优化问题：神经网络模型是一个非凸函数，再加上在深度网络中的梯度消失问题，很难进行优化；另外，深度神经网络模型一般参数比较多，训练数据也比较大，会导致训练的效率比较低。
（2）泛化问题：因为神经网络的拟合能力强，反而容易在训练集上产生过拟合。因此在训练深度神经网络时，同时也需要通过一定的正则化方法来改进网络的泛化能力。

网络优化

深度神经网络是一个高度非线性的模型，其风险函数是一个非凸函数，因此风险最小化是一个非凸优化问题，会存在很多局部最优点。

网络优化的难点
网络结构多样性
  1. 没有通用的优化方法
  2. 网络的超参数太多
高维变量的非凸优化

低维空间的非凸优化问题主要是存在一些局部最优点。基于梯度下降的优化方法会陷入局部最优点，因此低维空间的非凸优化问题的主要难点是如何选择初始参数和逃离局部最优点。

在高维空间中，非凸优化的难点主要是两个：

  1. 如何逃离鞍点（鞍点的梯度是0，但是在一些维度上是最高点，在另一些维度上是最低点）。在高维空间中，局部最优点要求在每一维度上都是最低点，这种概率非常低。也就是说高维空间中，大部分梯度为0 的点都是鞍点。基于梯度下降的优化方法会在鞍点附近接近于停滞，同样很难从这些鞍点中逃离。

    鞍点示例
  1. 如何避免陷入平坦底部，因为深度神经网络的参数非常多，并且有一定的冗余性，这使得每单个参数对最终损失的影响都比较小，这导致了损失函数在局部最优点附近是一个平坦的区域，称为平坦最小值（Flat Minima）。并且在非常大的神经网络中，大部分的局部最小值是相等的。虽然神经网络有一定概率收敛于比较差的局部最小值，但随着网络规模增加，网络陷入局部最小值的概率大大降低。
神经网络中的平坦底部示例

目前，深度神经网络的参数学习主要是通过梯度下降法来寻找一组可以最小化结构风险的参数。在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式。根据不同的数据量和参数量，可以选择一种具体的实现形式。除了在收敛效果和效率上的差异，这三种方法都存在一些共同的问题，比如1）如何改进优化算法；2）如何初始化参数；3）如何预处理数据等。

优化算法

小批量梯度下降

令f(x; θ) 表示一个深度神经网络，θ 为网络参数，在使用小批量梯度下降进行优化时，每次选取K个训练样本。第t次迭代时损失函数关于参数θ的偏导数为：\mathfrak{g}_{t}(\theta)=\frac{1}{K} \sum_{\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(k)}\right) \in \mathcal{I}_{t}} \frac{\partial \mathcal{L}\left(\boldsymbol{y}^{(k)}, f\left(\boldsymbol{x}^{(k)} ; \theta\right)\right)}{\partial \theta}，其中为可微分的损失函数，K称为批量大小。

第t次更新的梯度gt定义为：

使用梯度下降来更新参数，，其中α>0为学习率。

每次迭代时参数更新的差值Δθt 定义为：

Δθt 和梯度gt 并不需要完全一致。Δθt 为每次迭代时参数的实际更新方向，即θt = θt−1 + Δθt。在标准的小批量梯度下降中，Δθt = −αgt。

从上面公式可以看出，影响小批量梯度下降法的因素有：1）批量大小K；2）学习率α以及3）梯度估计。

批量大小选择

批量大小不影响随机梯度的期望，但是会影响随机梯度的方差。

批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率。而批量大小较小时，需要设置较小的学习率，否则模型会不收敛。学习率通常要随着批量大小的增大而相应地增大。

一个简单有效的方法是线性缩放规则（Linear Scaling Rule）：当批量大小增加m倍时，学习率也增加m倍。线性缩放规则往往在批量大小比较小时适用，当批量大小非常大时，线性缩放会使得训练不稳定。

学习率调整

常用的学习率调整方法包括学习率衰减、学习率预热、周期性学习率调整以及一些自适应调整学习率的方法，比如AdaGrad、RMSprop、AdaDelta 等。自适应学习率方法可以针对每个参数设置不同的学习率。

学习率衰减

从经验上看，学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回震荡。比较简单的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现，也称为学习率退火。

不失一般性，这里的衰减方式设置为按迭代次数进行衰减。假设初始化学习率为α0，在第t 次迭代时的学习率αt。常见的衰减方法有以下几种：

  1. 分段常数衰减：即每经过T1, T2, · · · , Tm 次迭代将学习率衰减为原来的β1, β2, · · · , βm 倍，其中Tm 和βm < 1 为根据经验设置的超参数。分段常数衰减也称为阶梯衰减（Step Decay）
  2. 逆时衰减：，其中β为衰减率。
  3. 指数衰减：，其中β<1为衰减率。
  4. 自然指数衰减：，其中β为衰减率。
  5. 余弦衰减：，其中T为总的迭代次数。
学习率预热

为了提高训练稳定性，我们可以在最初几轮迭代时，采用比较小的学习率，等梯度下降到一定程度后再恢复到初始的学习率，这种方法称为学习率预热。

一个常用的学习率预热方法是逐渐预热。假设预热的迭代次数为T′，初始学习率为α0，在预热过程中，每次更新的学习率为：，当预热过程结束，再选择一种学习率衰减方法来逐渐降低学习率。

周期性学习率调整

周期性学习率调整可以使得梯度下降法在优化过程中跳出尖锐的局部极小值，虽然会短期内会损害优化过程，但最终会收敛到更加理想的局部极小值。

周期性学习率调整

循环学习率：即让学习率在一个区间内周期性地增大和缩小。通常可以使用线性缩放来调整学习率，称为三角循环学习率。假设每个循环周期的长度相等都为2ΔT，其中前ΔT 步为学习率线性增大阶段，后ΔT 步为学习率线性缩小阶段。在第t 次迭代时，其所在的循环周期数m为：，第t 次迭代的学习率为，其中分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；b ∈ [0, 1] 的计算为：

带热重启的随机梯度下降：用热重启方式来替代学习率衰减的方法。学习率每间隔一定周期后重新初始化为某个预先设定值，然后逐渐衰减。每次重启后模型参数不是从头开始优化，而是从重启前的参数基础上继续优化。

假设在梯度下降过程中重启M 次，第m次重启在上次重启开始第Tm 个回合后进行，Tm 称为重启周期。在第m次重启之前，采用余弦衰减来降低学习率。第t 次迭代的学习率为：，其中分别为第m个周期中学习率的上界和下界。，可以随着m的增大而逐渐降低；Tcur 为从上次重启之后的回合（Epoch）数。Tcur 可以取小数，比如0.1、0.2 等，这样可以在一个回合内部进行学习率衰减。重启周期Tm 可以随着重启次数逐渐增加，比如Tm = Tm−1 × κ，其中κ ≥ 1 为放大因子。

AdaGrad 算法

在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率。由于每个参数的维度上收敛速度都不相同，因此根据不同参数的收敛情况分别设置学习率。

AdaGrad（Adaptive Gradient）算法是借鉴ℓ2 正则化的思想，每次迭代时自适应地调整每个参数的学习率。在第t 次迭代时，先计算每个参数梯度平方的累计值：，其中为按元素乘积。迭代时的梯度。

AdaGrad 算法的参数更新差值为：，其中α 是初始的学习率，ϵ 是为了保持数值稳定性而设置的非常小的常数，一般取值e−7 到e−10。此外，这里的开平方、除、加运算都是按元素进行的操作。

在AdaGrad 算法中，如果某个参数的偏导数累积比较大，其学习率相对较小；相反，如果其偏导数累积较小，其学习率相对较大。但整体是随着迭代次数的增加，学习率逐渐缩小。

AdaGrad 算法的缺点是在经过一定次数的迭代依然没有找到最优点时，由于这时的学习率已经非常小，很难再继续找到最优点。

RMSprop算法

是一种自适应学习率的方法，可以在有些情况下避免AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点。

RMSprop算法首先计算每次迭代梯度gt 平方的指数衰减移动平均，

其中β 为衰减率，一般取值为0.9。

RMSprop算法的参数更新差值为：，其中α 是初始的学习率。

从上式可以看出，RMSprop 算法和AdaGrad 算法的区别在于Gt 的计算由累积方式变成了指数衰减移动平均。在迭代过程中，每个参数的学习率并不是呈衰减趋势，既可以变小也可以变大。

AdaDelta 算法

也是AdaGrad算法的一个改进。和RMSprop算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率。此外，AdaDelta 算法还引入了每次参数更新差Δθ 的平方的指数衰减权移动平均。

第t 次迭代时，每次参数更新差的平方的指数衰减权移动平均为：

​

其中β1 为衰减率。此时Δθt 还未知，因此只能计算到ΔXt−1。

AdaDelta 算法的参数更新差值为：，其中Gt 的计算方式和RMSprop 算法一样，为参数更新差Δθ 的指数衰减权移动平均。在一定程度上平抑了学习率的波动。

梯度估计修正
动量法

动量（Momentum）是模拟物理中的概念，是用之前积累动量来替代真正的梯度。每次迭代的梯度可以看作是加速度。

在第t 次迭代时，计算负梯度的“加权移动平均”作为参数的更新方向，，其中为动量因子，通常设为0.9，α为学习率。

根据梯度方向是否一致，可以保证在初始时加速度快，在迭代后期加速度小。

Nesterov 加速梯度

是一种对动量法的改进。在动量法中，实际的参数更新方向Δθt 为上一步的参数更新方向Δθt−1 和当前梯度的反方向−gt 的叠加。这样，Δθt 可以被拆分为两步进行，先根据Δθt−1更新一次得到参数，再用−gt 进行更新。

其中梯度gt 为点θt−1 上的梯度，因此在第二步更新中有些不太合理。更合理的更新方向应该为上的梯度。

这样，合并后的更新方向为：，其中表示损失函数在点上的偏导数。

动量法和Nesterov 加速梯度的比较
Adam算法

自适应动量估计（Adam）算法可以看作是动量法和RMSprop 算法的结合，不但使用动量作为参数更
新方向，而且可以自适应调整学习率。

Adam 算法一方面计算梯度平方 的指数加权平均（和RMSprop 算法类似），另一方面计算梯度的指数加权平均（和动量法类似）。
\begin{aligned} M_t&=\beta_1M_{t-1}+(1-\beta_1)g_t,\\ G_t&=\beta_2G_{t-1}+(1-\beta_2)g_t\odot g_t\\ 其中\beta_1和\beta_2分别&为两个移动平均的衰减率，通常取值为\beta_1 = 0.9, \beta_2 = 0.99。 \end{aligned}
Mt 可以看作是梯度的均值（一阶矩），Gt 可以看作是梯度的未减去均值的方差（二阶矩）。

假设M0 = 0,G0 = 0，那么在迭代初期Mt 和Gt 的值会比真实的均值和方差要小。特别是当β1 和β2 都接近于1 时，偏差会很大。因此，需要对偏差进行修正。
\begin{aligned} \hat{M}_{t} &=\frac{M_{t}}{1-\beta_{1}^{t}} \\ \hat{G}_{t} &=\frac{G_{t}}{1-\beta_{2}^{t}} \\ Adam算法的参数更新差值为&\Delta \theta_{t} =-\frac{\alpha}{\sqrt{G_{t}+\epsilon}} \hat{M}_{t} \end{aligned}
Adam 算法是RMSProp 算法与动量法的结合，因此一种自然的Adam 算法的改进方法是引入Nesterov 加速梯度，称为Nadam算法。

梯度截断

当梯度的模大于一定阈值时，就对梯度进行截断，称为梯度截断。为了把梯度的模限定在一个区间。

按值截断：大于或小于边界值，就设为边界值。

按模截断：是将梯度的模截断到一个给定的截断阈值b。如果∥gt∥2 ≤ b，保持gt 不变。如果∥gt∥2 > b，令

优化算法小结

几种优化方法大体上可以分为两类：一是调整学习率，使得优化更稳定；二是梯度估计修正，优化训练速度。

这些优化算法可以使用下面公式来统一描述概括：
\begin{aligned} \Delta \theta_{t} &=-\frac{\alpha_{t}}{\sqrt{G_{t}+ \epsilon}} M_{t} \\ G_{t} &=\psi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ M_{t} &=\phi\left(\boldsymbol{g}_{1}, \cdots, \boldsymbol{g}_{t}\right) \\ 其中g_t 是第t 步的梯度；\alpha _t 是第t &步的学习率，可以进行衰减，也可以不变；\\ψ(·) 是学习率缩放函数，可以取1& 或历史梯度的模的移动平均；\\ϕ(·) 是优化后的参数 更新方向，可&以取当前的梯度g_t 或历史梯度的移动平均。\end{aligned}

神经网络常用优化方法的汇总

参数初始化

在感知器和logistic 回归的训练中，参数可以全部初始化为0。

但在神经网络的训练中不可以。因为如果参数都为0，在第一遍前向计算时，所有的隐层神经元的激活值都相同。这样会导致深层神经元没有区分性。这种现象也称为对称权重现象。为了打破这个平衡，比较好的方式是对每个参数都随机初始化。同时，为了高效地训练神经网络，给参数选取一个合适的随机初始化区间是非常重要的。

经常使用的初始化方法有两种：高斯分布初始化、均匀分布初始化。

Xavier 初始化

当网络使用Logistic 激活函数时，Xavier 初始化可以根据每层的神经元数量来自动计算初始化参数的方差。

假设第l 层神经元的激活函数为Logistic 函数，对于第l − 1 到l 层的权重参数区间r 可以设置为：

对于Tanh 函数，r 可以设置为：

假设第l 层的一个隐藏层神经元zl，其接收前一层的nl−1 个神经元的输出ai(l-1)，1 ≤ i ≤ n(l-1)，则：，为了避免初始化参数使得激活值变得饱和，就需要让zl处于激活函数的线性区间，也就是其绝对值比较小。这时该神经元的激活值。

假设的均值都为0，并且相互独立，则的均值为：

​ \begin{align*} \mathbb{E}\left[a^{l}\right]\approx \mathbb{E}[z^l]=\mathbb{E}\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} \mathbb{E}\left[\boldsymbol{w}_{i}\right] \mathbb{E}\left[a_{i}^{(l-1)}\right]=0 \end{align*}

的方差为：var[a^l]=var\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]=n^{(l-1)}var\left[\boldsymbol{w}_{i}^l\right] var\left[a_{i}^{(l-1)}\right]
也就是说，输入信号的方差在经过该神经元后被放大或缩小了倍。为了使得在经过多层网络后，信号不被过分放大或过分减弱，需要尽可能保持每个神经元的输入和输出的方差一致。也就是让倍数=1。即：，同理，为了使得在反向传播中，误差信号也不被放大或缩小，也需要让的方差保持为，作为折中，同时考虑信号在前向和反向传播中都不被放大或缩小，可以设置。

在计算出参数的理想方差后，可以通过高斯分布或均匀分布来随机初始化参数。

高斯分布初始化：连接权重可以按的高斯分布进行初始化。

均匀分布初始化：方差计算公式为：，若采用区间为的均匀分布来初始化，并满足，则。

He 初始化

相当于Xavier 初始化中只考虑前向传播的情况。

数据预处理

对于基于相似度比较的机器学习方法，必须先对样本进行预处理，将各个维度的特征归一化到同
一个取值区间，并且消除不同特征之间的相关性，才能获得比较理想的结果。

数据归一化对梯度的影响

以下是几种在神经网络中经常使用的归一化方法。

缩放归一化：是一种非常简单的归一化方法，通过缩放将每一个特征
的取值范围归一到[0, 1] 或[−1, 1] 之间。假设有N 个样本，对于每一维特征x，，其中min(x) 和max(x) 分别是特征x 在所有样本上的最小值和最大值。

标准归一化：也叫z-score 归一化，来源于统计上的标准分数。将每一个维特征都调整为均值为0，方差为1。假设有N 个样本，对于每一维特征x，我们先计算它的均值和方差，然后，将特征x(n) 减去均值，并除以标准差，得到新的特征值。这里σ 不能为0。如果方差为0，说明这一维特征没有任务区分性，可以直接删掉。

白化：是一种重要的预处理方法，用来降低输入数据特征之间的冗余性。输入数据经过白化处理后，特征之间相关性较低，并且所有特征具有相同的方差。白化的一个主要实现方式是使用主成分分析。

标准归一化和PCA白化

逐层归一化

浅层发生的小偏移，会导致深层发生大的偏移（蝴蝶效应）。

从机器学习角度来看，如果某个神经层的输入分布发生了改变，那么其参数需要重新学习，这种现象叫做内部协变量偏移。

协变量是一个统计学概念，是可能影响预测结果的统计变量。在机器学习中，协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上的分布是相似的。如果不满足这个假设，在训练集上学习到的模型在测试集上的表现会比较差。

为了解决内部协变量偏移问题，就要使得每一个神经层的输入的分布在训练过程中保持一致。最简单直接的方法就是对每一个神经层都进行归一化操作，使其分布保存稳定。

批量归一化（BN）

BN方法是一种有效的逐层归一化方法，可以对神经网络中任意的中间层进行归一化操作。

对于一个深度神经网络，令第l 层的净输入为z(l)，神经元的输出为a(l)，即：

​ 。

为了减少内部协变量偏移问题，就要使得净输入z(l) 的分布一致，比如都归一化到标准正态分布。虽然归一化操作可以应用在输入a(l−1) 上，但其分布性质不如z(l) 稳定。因此，在实践中归一化操作一般应用仿射变换之后，激活函数之前。

为了提高归一化效率，一般使用标准归一化，将净输入z(l) 的每一维都归一到标准正态分布。

​

因为目前主要的训练方法是基于小批量的随机梯度下降法，所以准确地计算z(l) 的期望和方差是不可行的。因此，z(l) 的期望和方差通常用当前小批量样本集的均值和方差近似估计。

给定一个包含K 个样本的小批量样本集合，第l 层神经元的净输入 的均值和方差为：
\begin{aligned} \mu_{\mathcal{B}} &=\frac{1}{K} \sum_{k=1}^{K} z^{(k, l)} \\ \sigma_{\mathcal{B}}^{2} &=\frac{1}{K} \sum_{k=1}^{K}\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \odot\left(z^{(k, l)}-\mu_{\mathcal{B}}\right) \end{aligned}
对净输入z(l) 的标准归一化会使得其取值集中到0 附近，如果使用sigmoid型激活函数时，这个取值区间刚好是接近线性变换的区间，减弱了神经网络的非线性性质。因此，为了使得归一化不对网络的表示能力造成负面影响，可以通过一个附加的缩放和平移变换改变取值区间。

其中γ 和β 分别代表缩放和平移的参数向量。从最保守的角度考虑，可以通过标准归一化的逆变换来使得归一化后的变量可以被还原为原来的值。当。

加入归一化操作后：

其中因为批量归一化本身具有平移变换，所以仿射变换不再需要偏置参数。

层归一化

批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量样本的数量不能太小，否则难以计算单个神经元的统计信息。此外，如果一个神经元的净输入的分布在神经网络中是动态变化的，比如循环神经网络，那么就无法应用批量归一化操作

层归一化是和批量归一化非常类似的方法。和批量归一化不同的是，层归一化是对一个中间层的所有神经元进行归一化。

对于一个深度神经网络，令第l 层神经元的净输入为z(l)，其均值和方差为：
\begin{align*} &\mu^{(l)}=\frac{1}{n^l}\sum^{n^l}_{i=1}z^{(l)}_i,\\ &\sigma^{(l)^2}=\frac{1}{n^l}\sum^{n^l}_{i=1}(z^{(l)}_i-\mu^{(l)})^2,\\ &其中n^l为第l层神经元的数量\\ 层归一化定义为：\hat{z}^{(l)} &=\frac{z^{(l)}-\mu^{(l)}}{\sqrt{\sigma^{(l)^2}+\epsilon}} \odot \gamma+\beta \triangleq \operatorname{LN}_{\gamma, \beta}\left(z^{(l)}\right)\\ 其中\gamma和\beta分别代表&缩放和平移的参数向量，和z^{(l)}维数相同。 \end{align*}
循环神经网络中的层归一化：

​

层归一化的循环神经网络，可以有效地缓解循环神经网络的梯度爆炸或消失。

其它归一化方法
权重归一化

是对神经网络的连接权重进行归一化，通过再参数化方法，将连接权重分解为长度和方向两种参数。假设第l 层神经元，我们将W再参数化为：，其中表示权重W 的第i 行，为神经元数量。新引入的参数为标量，和 维数相同。

由于在神经网络中权重经常是共享的，权重数量往往比神经元数量要少，因此权重归一化的开销会比较小。

局部响应归一化

是一种受生物学启发的归一化方法，通常用在基于卷积的图像处理上。

超参数优化

常见的超参数有以下三类：

  • 网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等。
  • 优化参数，包括优化方法、学习率、小批量的样本数量等。
  • 正则化系数。

超参数优化主要存在两方面的困难。（1）超参数优化是一个组合优化问题，无法像一般参数那样通过梯度下降方法来优化，也没有一种通用有效的优化方法。（2）评估一组超参数配置的时间代价非常高，从而导致一些优化方法（比如演化算法）在超参数优化中难以应用。

对于超参数的配置，比较简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配和神经架构搜索。

网格搜索

通过尝试所有超参数的组合来寻址合适一组超参数配置。对于连续的超参数，需要根据超参数自身的特点进行离散化。

随机搜索

是针对不同超参数对模型性能的影响差异性，对网格搜索的改进。随机搜索在实践中更容易实现，一般会比网格搜索更加有效。

网格搜索和随机搜索都没有利用不同超参数组合之间的相关性，即如果模型的超参数组合比较类似，其模型性能也是比较接近的。因此这两种搜索方式一般都比较低效，都不是自适应的。

贝叶斯优化

是一种自适应的超参数优化方法，根据当前已经试验的超参数组合，来预测下一个可能带来最大收益的组合。

时序模型优化：一种比较常用的贝叶斯优化方法。

贝叶斯优化过程是根据已有的N 组试验结果来建模高斯过程，并计算f(x)的后验分布。

为了使后验分布尽可能接近真实分布，就需要对样本空间进行足够多的采样，但是超参数优化中每一个样本的生成成本很高，需要用尽可能少的样本达到更好的效果，这可以通过定义一个收益函数来判断一个样本是否能够给建模提供更多的收益。收益越大，其修正的高斯过程会越接近目标函数的真实分布。

收益函数的定义有很多种方式。一个常用的是期望改善函数：假设是当前已有样本中的最优值，期望改善函数为：

除了期望改善函数之外，收益函数还有其它定义形式，比如改善概率、高斯过程置信上界等。

动态资源分配

动态资源分配的一种有效方法是逐次减半方法，将超参数优化看作是一种非随机的最优臂问题（，即在给定有限的机会次数下，如何玩这些赌博机并找到收益最大的臂）。假设要尝试N 组
超参数配置，总共可利用的资源预算（摇臂的次数）为B，我们可以通过轮逐次减半的方法来选取最优的配置。其中，尝试的超参数配置数量N 十分关键。

神经架构搜索

是一个新的比较有前景的研究方向，通过神经网络来自动实现网络架构的设计。一个神经网络的架构可以用一个变长的字符串来描述。利用元学习的思想，神经架构搜索利用一个控制器来生成另一个子网络的架构描述。控制器可以由一个循环神经网络来实现。控制器的训练可以通过强化学习来完成，其奖励信号为生成的子网络在开发集上的准确率。

网络正则化

正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。

在深度学习中，仅仅用ℓ1 和ℓ2 正则化是不够的，还会用到其他的正则化方法，比如数据增强、提前停止、丢弃法、集成法等。

ℓ1 和ℓ2 正则化

优化问题可以写为：

不同范数约束条件下的最优化问题示例

从上图可以看出，ℓ1 范数的约束通常会使得最优解位于坐标轴上，从而使得最终的参数为稀疏性向量。此外，ℓ1 范数在零点不可导，因此经常用来近似。

一种折中的正则化方法是弹性网络正则化：同时加入ℓ1 和ℓ2 正则化：

​

权重衰减

权重衰减也是一种有效的正则化方法，在每次参数更新时，引入一个衰减系数：。

提前停止

当验证集上的错误率不再下降，就停止迭代。

丢弃法

当训练一个深度神经网络时，可以随机丢弃一部分神经元（同时丢弃其对应的连接边）来避免过拟合。每次选择丢弃的神经元是随机的。最简单的方法是设置一个固定的概率p。对每一个神经元都以概率p 来判定要不要保留。

对于一个神经层，我们可以引入一个丢弃函数mask(·)，使得。丢弃函数d(·) 的定义为：
\begin{equation*} \operatorname{mask}(\boldsymbol{x})=\left \{\begin{array}{l}{\boldsymbol{m} \odot \boldsymbol{x}}\quad\qquad当训练阶段时\\ {p \boldsymbol{x}}\qquad\qquad\quad 当测试阶段时\end{array} \right.\\ \qquad 其中，m\in \{0,1\}^d是丢弃掩码,以概率为p的伯努利分布随机生成。d为输入x的维度。 \end{equation*}
丢弃法一般是针对神经元进行随机丢弃，但是也可以扩展到对神经元之间的连接进行随机丢弃，或每一层进行随机丢弃。

丢弃法示例

集成学习的解释：每做一次丢弃，相当于从原始的网络中采样得到一个子网络。如果一个神经网络有n个神经元，那么总共可以采样出2n 个子网络。每次迭代都相当于训练一个不同的子网络，这些子网络都共享原始网络的参数。那么，最终的网络可以近似看作是集成了指数级个不同网络的组合模型。

贝叶斯学习的解释：丢弃法也可以解释为一种贝叶斯学习的近似。用y = f(x; θ) 来表示要学习的神经网络，贝叶斯学习是假设参数θ 为随机向量，并且先验分布为q(θ)，贝叶斯方法的预测为：

其中为第m次应用丢弃方法后的网络，其参数θm 为对全部参数θ 的一次采样。

循环神经网络上的丢弃法

一种简单的方法是对非时间维度的连接（即非循环连接）进行随机丢失，如图所示，虚线边表示进行随机丢弃，不同的颜色表示不同的丢弃掩码。

针对非循环连接的丢弃法

对循环神经网络上使用丢弃法时，需要对参数矩阵的每个元素进行随机丢弃，并在所有时刻都使用相同的丢弃掩码。这种方法称为变分丢弃法。

变分丢弃法，相同颜色表示使用相同的丢弃掩码
数据增强

通过数据增强来增加数据量，提高模型鲁棒性，避免过拟合。目前，数据增强还主要应用在图像数据上，在文本等其它类型的数据上还没有太好的方法。

标签平滑

可以给样本的标签引入一定的噪声来避免过拟合。

一个样本x的标签一般用onehot 向量表示：，这种标签可以看作是硬目标。

如果使用softmax 分类器并使用交叉熵损失函数，最小化损失函数会使得正确类和其它类的权重差异变得很大。根据softmax 函数的性质可知，如果要使得某一类的输出概率接近于1，其未归一化的得分需要远大于其它类的得分，可能会导致其权重越来越大，并导致过拟合。此外，如果样本标签是错误的，会导致更严重的过拟合现象。为了改善这种情况，我们可以引入一个噪声对标签进行平滑，即假设样本以ϵ 的概率为其它类。平滑后的标签为：，其中K 为标签数量，这种标签可以看作是软目标。

标签平滑可以 避免模型的输出过拟合到硬目标上，并且通常不会损害其分类能力。

上面这种做法没有考虑标签之间的相关性。一种更好的做法是按照类别相关性来赋予其它标签不同的概
率。比如先训练另外一个更复杂（一般为多个网络的集成）的教师网络，并使用大网络的输出作为软目标来训练学生网络。这种方法也称为知识精炼

你可能感兴趣的:(《神经网络与机器学习》笔记（五）)

  • 迎接2019 唯有杜康1994
    告别2018这一年是机遇与挑战，痛苦与喜悦，失去与收获的一年一月:收获了第一份爱情，开始真正想去了解一个人三月:对工作有了更深入的认识，靠自己的力量完成晋升五月:搬家，住进了自己理想的公寓，一间属于自己的屋子。满地的书六月:外调广州，升经理，有了自己的第一个团队。七月:怀着自我否定，第一次完成了部门任务八月:第一个员工流失，痛哭不已明白无不散之筵席九月:员工陆续离开，经济是一切的根本。十月:陪员工
  • 被隔离的日子（五）@三七会写作营 三七会萍海临风
    从隔离的初期，我们三人都不适应，彼此说话都还火药味十足。后随着时间的推移，到现在，我们仨人能够心平气和，幽默地对待彼此。看来，时间可真是个好东西，不仅能见证一个人的心性，还能看清自己的需求、他人的本质。今天晚上，孩子跑到厨房，告诉我她给人捐款了。我纳闷，不是给河南捐过款了么。当时，我还落后于她捐的呢。这次又捐给谁？看到我一脸狐疑，孩子说，还记得初四给她补课的那个男老师么？当让记得，当时，就因为是男
  • word字号和mathtype磅值关系及批量修改 小铁匠-Ma office小技巧经验分享
    word字号和mathtype磅值关系及批量修改1.字号与磅值关系字号「八号」对应磅值5字号「七号」对应磅值5.5字号「小六」对应磅值6.5字号「六号」对应磅值7.5字号「小五」对应磅值9字号「五号」对应磅值10.5字号「小四」对应磅值12字号「四号」对应磅值14字号「小三」对应磅值15字号「三号」对应磅值16字号「小二」对应磅值18字号「二号」对应磅值22字号「小一」对应磅值24字号「一号」对应
  • 新网师的精神肤色（幕布笔记） 悦读书香
    王子老师的《极简100小妙招》收到已经几天了，之前大概的浏览了全书，今天起给自己定了一个计划，必须每天学习极简小妙招里面的一个妙招，并加以运用。一、今天要打卡什么内容因有完成每天学习极简小妙招的计划，所以今天晚饭吃的比较简单，草草吃完以后带着小宝到广场溜达一圈，急忙赶回来学习极简小妙招。再重看的时候不知道自己要学点什么，打卡哪一招，感觉哪个都简单，就看这一环节像王子老师说的“一看就会”，但做这一环
  • 细水长流的日子之二百五十二（一点一点慢慢长大） 独一无二的小茶叶
    2021-10-22今天小妹妹刚来，见到放在桌篓子里晾着的薰青豆，想要吃，给她拿个小碗装了点，我正在厨房收拾，嘱咐她自己去坐在小椅子上吃，她却一屁股坐在厨房门口的地板上吃起来不小心打翻了，就直接趴在地板上一粒一粒地捡拾。口渴了，自己去把奶瓶里剩下的奶喝掉，然后到厨房门口将奶瓶提给我让我洗干净，把手伸的很长，边小嘴巴里说哇哇，我不让她的小脚跨进厨房半步，怕自己有时没看好出现意外，她牢牢记着，脚绝对不
  • 【算法分析与设计】去除重复字母 五敷有你 算法分析与设计javajavascript开发语言算法数据结构
    个人主页：五敷有你系列专栏：算法分析与设计⛺️稳中求进，晒太阳题目给你一个字符串s，请你去除字符串中重复的字母，使得每个字母只出现一次。需保证返回结果的字典序最小（要求不能打乱其他字符的相对位置）。示例示例1：输入：s="bcabc"输出："abc"示例2：输入：s="cbacdcbc"输出："acdb"思路贪心+单调栈实现【字符串删除一个字符使其字典序最小的贪心策略】：对于两个长度相同的字符串，
  • 12-25 yummy0632
    72.4kg早饭：一碗面条，俩鸡蛋，三个砂糖桔。五天过去了，这本书我听完了。哈哈简直了。真兴奋，我准备好了，迎接新的自己。午饭：一个花卷，一碗汤，一份油菜，一份冬瓜粉条，一份红烧肉。晚饭：一个花卷，一份芹菜，一份土豆，一份鸭子。很咸。
  • 没有如释重负 君远近
    虽然只有短短的一个多月的努力复习时间，但今天的整个考试经过，还是发现了效果的，题目做的比较自如，没有慌里慌张，而且提前五分钟完成。至于考试成绩，没有实足的把握，60分都不敢保证。但绝对相信自己，比去年肯定要好！今天早早的赶到考场，见到了刘老师，谈起来学习情况，坦率的说，真的是自己不够重视。总以为会很难，没有信心。其实不是的，只要认真对待，树立足够的信心，绝对可以通过考试的。还向老师询问了，后续再报
  • C++学习笔记（lambda函数） __TAT__ C&C++c++学习笔记
    C++learningnote1、lambda函数的语法2、lambda函数的几种用法1、lambda函数的语法lambda函数的一般语法如下：[capture_clause](parameters)->return_type{function_body}capture_clause：需要捕获的变量，但要求该变量必须在这个作用域中。通常的捕获方式有以下几种：[]：不捕获任何变量[&]：按引用捕获变
  • 入伏（五） 喜马ma
    图片发自App入伏13今天我看见很多蜻蜓在飞飞得很低想起小学时学的那点知识在这闷热的午后真能来一场暴雨太过瘾了入伏14有点像瓢虫的昆虫喜欢吃葡萄叶喜欢交配在炎热的夏天如果你在葡萄园看见两只昆虫它们不是在吃葡萄叶就是在交配请记住它们的名字叫葡萄十星红甲
  • 2021.12.13 自律日记 夏舒帅然a
    深感时光转瞬即逝，如指缝流金！自律、习惯养成、执行力提高迫在眉睫！今天是什么日子：平日艳阳天起床：7：50任务清单（明日）1.起床：7:302.就寝：10：103.读书30分钟4.打两套太极5.两次静坐（每次15分钟）昨日完成的任务情况，最重要的三件事一.读书30分。未完成二.就寝10：00完成三.起床7：30未完成四.打两套太极未完成五.两次静坐（每次15分钟）未完成习惯养成：早睡早起、每日读书
  • 标定系列——基于OpenCV实现普通相机、鱼眼相机不同标定板下的标定（五） JANGHIGH 标定opencv
    标定系列——基于OpenCV实现相机标定（五）说明代码解析VID5.xmlin_VID5.xmlcamera_calibration.cpp说明该程序可以实现多种标定板的相机标定工作代码解析VID5.xmlimages/CameraCalibration/VID5/xx1.jpgimages/CameraCalibration/VID5/xx2.jpgimages/CameraCalibratio
  • 读书笔记《穿越寒冬》 如雪般飞舞
    各位好，我们今天来讲一本书，名字叫作《穿越寒冬》。看起来特别应景，大家觉得现在创业的状况不景气，大家都在忍受着寒冬的煎熬。但实际上，这本书的英文名字并不是这个意思，它的英文名叫作“如何创立一家新公司，并且能够活下来”。我在整个读完了以后，我发现这本书真正要翻译得好，它的名字应该叫作《创业生存手册》。这个书的作者，来自硅谷的霍夫曼船长。霍夫曼船长写过一本让创业者觉得特别贴心的书，叫作《让大象飞》它和
  • 机会是争取来的 正版小强强
    结束了这周，这周就可以一门心思的在找工作工作上了。时隔好久，再回到职场，虽然现在还没回去，但心里面也是五味翻腾，而且是有点急不可耐的想回去了。本周重点是三管齐下，既海投、定投、已投相结合策略，大量海投，有针对性定投，重点已投并取得联系的那几份，各方面都要下功夫，花心思，多做功课，又备才能无患。
  • 傲娇||这几年我追过五月天的那几场演唱会 进击的嘉欣大小姐
    一直想要认真的去思考这件事情，码字说一下这几年我追过的那几场五月天演唱会，作为入坑手帐的我，做过美食手帐、旅行手帐、电影手帐、日常手帐，唯独一直没有写过我的追星手帐，票根就一直存留着，周边不断买买买，但是依旧没有狠下心去写自己的一路追演唱会的感觉。2012.5.26–南宁自出娘胎的二十多年来第一场演唱会就是五月天诺亚方舟巡回南宁场，最惊心动魄的一场，从此进入五月天的神坑无法自拔，那是毕业出来的工作
  • 倒贴服传奇在什么平台下载 2024最火的倒贴服传奇平台排行榜 诸葛村夫一游戏频道
    2024游戏盒子网站排行榜大全随着数位科技的发展，2024年手游市场持续火爆，各种新开手游持续涌现。本文为广大手游爱好者带来巅峰推荐，总结五个最具实力的手游新服发布网站，为您提供最全面的游戏资讯以及专业的游戏攻略。▶2024最火的倒贴服传奇平台排行榜TOP1：游戏豹官网特点：内部特权游戏类型：多类型推荐日活跃人数：15万网址链接：www.ystt88.cn游戏介绍：游戏豹官网以快速获取新开手游的特
  • 2018-11-18成长小组学习笔记 实验中学45
    因为嗓子“罢工”，我面对众人只能借“微笑”代言。在开始授课前，绣霞老师先反馈上次作业的情况，提到“接纳”需是真正发自内心的完全接纳，而不是口头上的接纳，内心却是排斥的。提到一个“问题”孩子恰恰对家爱的更加“深沉”，夫妻间的问题不能影响到孩子，对孩子更好的爱不是你为他做的更多，而是给他自由、健康成长的空间。图片发自App一、孩子：家庭的一面镜子夫妻成了彼此的“投射”，婚姻便“吵的不可开交”，婚姻便成
  • “播下种子，亲近梦想”北京研学营日记Day2 贝壳Bella
    到目前为止，没有收到同学们想家的反馈，应该没有孩子哭，从门外听到的也是一片安静，估计一个个都进入了梦想。从6:30至9:00回到酒店，的确有些辛苦。有些孩子坚持得很好，有些在下午五点离开科技馆时已经疲惫不堪，嚷嚷着回酒店。于是，餐后在车上立了一个规矩，明天在长城上喊累不能超过三次，因为这也是会传染的。图片发自App从科技馆步行至鸟巢，在等红绿灯时居然就有同学蹲下了。有些孩子一上车睡觉，养好精神，路
  • 【鸿蒙HarmonyOS开发笔记】ArkUI常用组件介绍汇总（更新中） 温、 鸿蒙HarmonyOS开发笔记学习记录harmonyos笔记华为
    概述此文总结开发中用到的一些常用组件，便于查阅，此文持续更新，闲的没事就更线性布局（Row/Column）不多介绍了，最常用的布局组件，两者除了方向不一样，别的都一样方便起见下面只写Column常用属性排列方向上的间距：spaceColumn({space:20}){Row().width('90%').height(50).backgroundColor(0xF5DEB3)Row().width
  • “姜子牙”回归神位，告别老艺术家蓝天野 喵十一呀
    根据央视新闻报道，今天下午，2022年6月8日，著名的人民艺术家，“七一勋章”获得者蓝天野，因病在北京离世，享年95岁。蓝老先生，原名王润森，出生于河北省。从上个世纪四十年代就投身于话剧事业，曾在经典话剧《北京人》《茶馆》《蔡文姬》中扮演重要角色。对于我们父母那一辈人来说，这段记忆比较深刻。而对于七八零后的朋友来说，蓝老先生最让人熟悉的角色便是《封神榜》中的姜子牙。在那个年代，剧组人员硬是用五毛钱
  • 上班族适合兼职的副业有哪些？分享五个适合上班族做的副业 高省张导师
    对于许多上班族来说，除了日常工作外，还有大量的空闲时间，因此兼职成为了一项非常普遍的选择。下面将向您介绍五个不错的兼职副业，每个兼职都可以很容易地从家中启动，同时也是一个短期见效的方式，可以让您很快增加收入。大家好，我是高省APP最大团队，【高省】是一个可省钱佣金高，能赚钱有收益的平台，百度有几百万篇报道，也期待你的加入。高省邀请码520888，注册送2皇冠会员，送万元推广大礼包。1、社交导购电商
  • 安卓笔记本 - Handler Message MessageQueue Looper SocialException
    不爱写字，一张图解决。Handler,Message,MessageQueue,Looper工作原理
  • 枚举使用笔记 万变不离其宗_8 项目笔记笔记
    1.java枚举怎么放在方法上面的注释里面/***保存*@paramuserId用户id*@paramtype见枚举{@linkcom.common.enums.TypeEnum}*@return*/voidsave(LonguserId,Stringtype);
  • Everyday is Mayday | 祝五月天23th成团快乐 不在摇滚区
    997年3月29日，“SoBand”乐队正式改名为“MayDay”。1999年，刘冠佑正式加入五月天。发行了第首张录音室专辑《五月天第一张创作专辑》。深受英国摇滚乐队披头士的影响，五月天相信摇滚乐拥有可以改变世界的力量，通过摇滚可以将爱与希望传递到每一个角落。五月天的五个人，都不算多有天资。阿信小时候很喜欢唱歌，但是没有很好的天赋。（快来看陈信宏）他说，在小学的时候，他想加入合唱队，但是只唱了两个
  • ruoyi使用笔记 万变不离其宗_8 项目笔记代码参考笔记笔记java前端
    1.限流处理@RateLimiter@PostMapping("/createOrder")@ApiOperation("创建充值订单")@RateLimiter(key=CacheConstants.REPEAT_SUBMIT_KEY,time=10,count=1,limitType=LimitType.IP)publicRcreateOrder(@RequestBodyFormform){/
  • 数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记 键盘上的五花肉 数据治理数据库数据仓库数据治理
    目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
  • 我明白，并不是时间狠心 弋小九
    时间就是这样，会强迫你尝尽所有成熟的味道，即使心痛如绞，到头来你还不得不感激它。今晚给一个好友过生日，我和她不是一个专业的。今天我只有上午一节课，而她下午还有课。我知道会玩得很晚，所以一觉睡到了两点，然后下床边看电影边卷头发。电影是要写解说词赚钱用的，卷头发是为了让自己看起来很认真，很认真的对待朋友的邀请。五点十分是最后一节课的结束时间，四点四十朋友发消息告知我可以准备了。一番收拾之后，我出了宿舍
  • java实体中返回前端的double类型四舍五入（格式化） 婲落ヽ紅顏誶 java
    根据业务，需要通过后端给前端返回部分double类型的数值，一般需要保留两位小数，使用jackson转换对象packagecom.ruoyi.common.core.config;importcom.fasterxml.jackson.core.JsonGenerator;importcom.fasterxml.jackson.databind.JsonSerializer;importcom.f
  • 猪肉鸡蛋和白面 伊阳_d3ef
    昨天看一则新闻，一家待客，刚上的一份肘子瞬间就被抢完了。有人诉苦说，半年年就没吃猪肉。先是觉得好笑，那些人也太不斯文了吧，就是半年不吃猪肉也不至于疯狂到那种程度。想想可悲，猪肉一涨再涨，从十几块，二十几块，到三十几块，而老百姓的收入增长速度，远远跟不上猪肉上涨的速度。老百姓每月收入的这点钱难道只用来吃猪肉吗？早上吃早餐时和张师傅坐在了一起，我们聊起了鸡蛋上涨的事情。“早餐店的鸡蛋已经涨到一块五了”
  • 泡面 陆一飞
    今天，阳光明媚，晴空万里。妈妈让我给她泡面，我欣然应允。妈妈说了泡面的几个步骤，千叮万嘱之后，便去洗衣服了。我拿起一包老坛酸菜面，拆开放进碗中，放好调料后，便喜滋滋地端进了微波炉。按了“五分钟”后，我欣喜若狂地守在微波炉旁。可是料想不到的事发生了，一分钟、二分钟、三分钟时，微波炉里竟然飘出了一股焦臭味。我急了，可又不敢打开微波炉的门。漫长的五分钟终于过去了，微波炉“叮”的一声，我心惊胆战地打开炉门
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他