allein_STR

【九问九答】你真的会优化网络吗？

1. 神经网络有什么难点问题？

2. 训练神经网络时常用的优化算法有什么？

（1）小批量梯度下降（Mini-Batch Gradient Descent）.

为什么要使用小批量梯度下降法？

影响小批量梯度下降法的主要因素有什么？

3. 学习率详细介绍

（1）学习率衰减是什么

（2）学习率衰减方法有什么

（3）学习率预热是什么

（4）自适应调整学习率的方法有什么

AdaGrad算法

RMSprop算法

AdaDelta算法

4. 梯度估计修正方法有什么

1）动量法

2）Nesterov加速梯度

3）Adam算法

4）梯度截断

5. 优化算法汇总与比较

6. 参数初始化的方法有什么

（1）预训练初始化

（2）随机初始化

常用的随机初始化方法有什么？

（3）固定值初始化

（4）正交初始化

7. 数据归一化必要性及方法是什么

（1）为什么要进行数据预处理

（2）常用的归一化方法有什么

1）缩放归一化

2）标准归一化

3）白化

4）批量归一化

5）层归一化

6）权重归一化

8. 超参数优化

（1）常见的超参数有哪几类？

（2）超参数优化难点是什么？

（3）超参数优化方法有什么？

9. 数据增强方法有什么

1. 神经网络有什么难点问题？

（1）优化问题：神经网络模型是一个非凸函数，再加上在深度网络中的梯度消失问题，很难进行优化；另外，深度神经网络模型一般参数比较多，训练数据也比较大，会导致训练的效率比较低. （2）泛化问题：因为神经网络的拟合能力强，反而容易在训练集上产生过拟合. 因此在训练深度神经网络时，同时也需要通过一定的正则化方法来改进网络的泛化能力。

2. 训练神经网络时常用的优化算法有什么？

（1）小批量梯度下降（Mini-Batch Gradient Descent）.

为什么要使用小批量梯度下降法？

在训练深度神经网络时，训练数据的规模通常都比较大. 如果在梯度下降时，每次迭代都要计算整个训练数据上的梯度，这就需要比较多的计算资源.

另外大规模训练集中的数据通常会非常冗余，也没有必要在整个训练集上计算梯度. 因此，在训练深度神经网络时，经常使用小批量梯度下降法（Mini-Batch Gradient Descent）.

影响小批量梯度下降法的主要因素有什么？

为了更有效地训练深度神经网络，在标准的小批量梯度下降法的基础上，也经常使用一些改进方法以加快优化速度，比如如何选择批量大小、如何调整学习率以及如何修正梯度估计

1）批量大小

批量大小（Batch Size）对网络优化的影响也非常大. 一般而言，批量大小不影响随机梯度的期望，但是会影响随机梯度的方差. 批量大小越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率. 而批量大小较小时，需要设置较小的学习率，否则模型会不收敛. 学习率通常要随着批量大小的增大而相应地增大

下图为从 Epoch（回合）和 Iteration（单次更新）两个角度看，批量大小对损失下降的影响.

每一次小批量更新为一次Iteration，所有训练集的样本更新一遍为一次Epoch，两者的关系为 1个 Epoch等于( 训练样本的数量 / 批量大小 )次Iterations.

关于图的分析：

从图a可以看出，批量大小越大，下降效果越明显，并且下降曲线越平滑.

但从图b可以看出，如果按整个数据集上的回合（Epoch）数来看，则是批量样本数越小，适当小的批量大小会导致更快的收敛.

批量大小和模型的泛化能力的也有一定的关系. 研究发现：批量大小越大，越有可能收敛到陡峭最小值；批量大小越小，越有可能收敛到平坦最小值

2）学习率

学习率是神经网络优化时的重要超参数. 在梯度下降法中，学习率的取值非常关键，如果过大就不会收敛，如果过小则收敛速度太慢. 常用的学习率调整方法包括学习率衰减、学习率预热、周期性学习率调整以及一些自适应调整学习率的方法，比如 AdaGrad、RMSprop、AdaDelta 等. 自适应学习率方法可以针对每个参数设置不同的学习率.

3）梯度估计.

在随机（小批量）梯度下降法中，如果每次选取样本数量比较小，损失会呈现振荡的方式下降. 也就是说，随机梯度下降方法中每次迭代的梯度估计和整个训练集上的最优梯度并不一致，具有一定的随机性. 一种有效地缓解梯度估计随机性的方式是通过使用最近一段时间内的平均梯度来代替当前时刻的随机梯度来作为参数更新的方向，从而提高优化速度.

3. 学习率详细介绍

（1）学习率衰减是什么

经验上看，学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回振荡. 比较简单的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现，也称为学习率退火（Learning Rate Annealing）.

（2）学习率衰减方法有什么

<1>分段常数衰减（Piecewise Constant Decay）：

即每经过1 , 2 , ⋯ , 次迭代将学习率衰减为原来的1 , 2 , ⋯ , 倍，其中和 < 1为根据经验设置的超参数. 分段常数衰减也称为阶梯衰减（Step Decay）.

<2>逆时衰减（Inverse Time Decay）：

$\alpha_{t}=\alpha_{0} \frac{1}{1+\beta \times t}$

其中为衰减率

<3>指数衰减（Exponential Decay）：

$\alpha_{t}=\alpha_{0} \beta^{t}$

其中 < 1为衰减率

<4>自然指数衰减（Natural Exponential Decay）：

$\alpha_{t}=\alpha_{0} \exp (-\beta \times t)$

其中为衰减率.

<5>余弦衰减（Cosine Decay）：

$\alpha_{t}=\frac{1}{2} \alpha_{0}\left(1+\cos \left(\frac{t \pi}{T}\right)\right)$

其中为总的迭代次数

不同衰减方法的比较：

（3）学习率预热是什么

为了提高训练稳定性，我们可以在最初几轮迭代时，采用比较小的学习率，等梯度下降到一定程度后再恢复到初始的学习率，这种方法称为学习率预热（Learning Rate Warmup）.

一个常用的学习率预热方法是逐渐预热（Gradual Warmup）

假设预热的迭代次数为 ′，初始学习率为 0，在预热过程中，每次更新的学习率为

$\alpha_{t}^{\prime}=\frac{t}{T^{\prime}} \alpha_{0}, \quad 1 \leq t \leq T^{\prime}$

当预热过程结束，再选择一种学习率衰减方法来逐渐降低学习率.

（4）自适应调整学习率的方法有什么

AdaGrad算法

AdaGrad（Adaptive Gradient）算法是借鉴ℓ2 正则化的思想，每次迭代时自适应地调整每个参数的学习率. 在第次迭代时，先计算每个参数梯度平方的累计值

$G_{t}=\sum_{\tau=1}^{t} \boldsymbol{g}_{\tau} \odot \boldsymbol{g}_{\tau}$

其中⊙为按元素乘积， ∈ ℝ|| 是第次迭代时的梯度

AdaGrad算法的参数更新差值为

$\Delta \theta_{t}=-\frac{\alpha}{\sqrt{G_{t}+\epsilon}} \odot g_{t}$

其中是初始的学习率，是为了保持数值稳定性而设置的非常小的常数，一般取值 −7 到 −10 .

在 AdaGrad 算法中，如果某个参数的偏导数累积比较大，其学习率相对较小；相反，如果其偏导数累积较小，其学习率相对较大. 但整体是随着迭代次数的增加，学习率逐渐缩小.

缺点：在经过一定次数的迭代依然没有找到最优点时，由于这时的学习率已经非常小，很难再继续找到最优点.

RMSprop算法

RMSprop算法是 Geoff Hinton 提出的一种自适应学习率的方法，可以在有些情况下避免 AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点.

RMSprop算法首先计算每次迭代梯度平方的指数衰减移动平均，

$\begin{aligned} G_{t} &=\beta G_{t-1}+(1-\beta) \boldsymbol{g}_{t} \odot \boldsymbol{g}_{t} \\ &=(1-\beta) \sum_{\tau=1}^{t} \beta^{t-\tau} \boldsymbol{g}_{\tau} \odot \boldsymbol{g}_{\tau} \end{aligned}$

其中为衰减率，一般取值为0.9.

RMSprop算法的参数更新差值为

$\Delta \theta_{t}=-\frac{\alpha}{\sqrt{G_{t}+\epsilon}} \odot g_{t}$

其中是初始的学习率，比如0.001.

在迭代过程中，每个参数的学习率并不是呈衰减趋势，既可以变小也可以变大.

AdaDelta算法

AdaDelta（算）法也是 AdaGrad 算法的一个改进. 和 RMSprop 算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率. 此外，AdaDelta 算法还引入了每次参数更新差值 Δ 的平方的指数衰减权移动平均

第次迭代时，参数更新差值Δ 的平方的指数衰减权移动平均为

$\Delta X_{t-1}^{2}=\beta_{1} \Delta X_{t-2}^{2}+\left(1-\beta_{1}\right) \Delta \theta_{t-1} \odot \Delta \theta_{t-1}$

其中1 为衰减率. 此时Δ 还未知，因此只能计算到Δ−1.

AdaDelta算法的参数更新差值为

$\Delta \theta_{t}=-\frac{\sqrt{\Delta X_{t-1}^{2}+\epsilon}}{\sqrt{G_{t}+\epsilon}} \mathrm{g}_{t}$

其中的计算方式和RMSprop算法一样， $\Delta X_{t-1}^{2}$ 为参数更新差值 Δ 的指数衰减权移动平均.

从上式可以看出，AdaDelta算法将 RMSprop算法中的初始学习率改为动态计算的 $\sqrt{\Delta X_{t-1}^{2}}$ ，在一定程度上平抑了学习率的波动.

4. 梯度估计修正方法有什么

1）动量法

动量（Momentum）是模拟物理中的概念. 一般而言，一个物体的动量指的是这个物体在它运动方向上保持运动的趋势，是物体的质量和速度的乘积. 动量法（Momentum Method）是用之前积累动量来替代真正的梯度. 每次迭代的梯度可以看作是加速度。

一般而言，在迭代初期，梯度方向都比较一致，动量法会起到加速作用，可以更快地到达最优点. 在迭代后期，梯度方向会不一致，在收敛值附近振荡，动量法会起到减速作用，增加稳定性.

2）Nesterov加速梯度

Nesterov 加速梯度（Nesterov Accelerated Gradient，NAG），也叫Nesterov 动量法（Nesterov Momentum）是一种对动量法的改进

动量法和Nesterov加速梯度在参数更新时的比较如图所示

3）Adam算法

自适应动量估计（Adaptive Moment Estimation，Adam）算法可以看作是动量法和 RMSprop 算法的结合，不但使用动量作为参数更新方向，而且可以自适应调整学习率.

Adam 算法一方面计算梯度平方 $\mathrm{g}_{t}^{2}$ 的指数加权平均（和 RMSprop 算法类似），另一方面计算梯度g 的指数加权平均（和动量法类似）

$\begin{array}{c} M_{t}=\beta_{1} M_{t-1}+\left(1-\beta_{1}\right) g_{t}, \\ G_{t}=\beta_{2} G_{t-1}+\left(1-\beta_{2}\right) g_{t_{0}} \odot g_{f t}, \end{array}$

其中1 和2 分别为两个移动平均的衰减率，通常取值为1 = 0.9, 2 = 0.99.

可以看作是梯度的均值（一阶矩），可以看作是梯度的未减去均值的方差（二阶矩）.

Adam算法的参数更新差值为

其中学习率通常设为0.001，并且也可以进行衰减，比如 $\alpha_{t}=\alpha_{0} / \sqrt{t}$

Adam 算法是 RMSProp 算法与动量法的结合，因此一种自然的 Adam 算法的改进方法是引入Nesterov加速梯度，称为Nadam算法

4）梯度截断

在深度神经网络或循环神经网络中，除了梯度消失之外，梯度爆炸也是影响学习效率的主要因素. 在基于梯度下降的优化过程中，如果梯度突然增大，用大的梯度更新参数反而会导致其远离最优点. 为了避免这种情况，当梯度的模大于一定阈值时，就对梯度进行截断，称为梯度截断（Gradient Clipping）

梯度截断是一种比较简单的启发式方法，把梯度的模限定在一个区间，当梯度的模小于或大于这个区间时就进行截断. 一般截断的方式有以下几种：

按值截断： 在第次迭代时，梯度为，给定一个区间[, ]，如果一个参数的梯度小于时，就将其设为；如果大于时，就将其设为.

$g_{t}=\max \left(\min \left(g_{t}, b\right), a\right)$

按模截断： 按模截断是将梯度的模截断到一个给定的截断阈值.

如果 $\|g_t\|^{2} \leq b$ ，保持不变. 如果 $\|g_t\|^{2} \geqslant b$ ，令

$\bar{g}_{t}=\frac{b}{\left\|\boldsymbol{g}_{t}\right\|} \bar{g}_{t}$

截断阈值是一个超参数，也可以根据一段时间内的平均梯度来自动调整. 实验中发现，训练过程对阈值并不十分敏感，通常一个小的阈值就可以得到很好的结果

5. 优化算法汇总与比较

该图为再MINIST数据集上的比较（学习率为 0.001，批量大小为128）.

6. 参数初始化的方法有什么

（1）预训练初始化

不同的参数初始值会收敛到不同的局部最优解. 虽然这些局部最优解在训练集上的损失比较接近，但是它们的泛化能力差异很大. 一个好的初始值会使得网络收敛到一个泛化能力高的局部最优解. 预训练初始化通常会提升模型泛化能力的一种解释是预训练任务起到一定的正则化作用. 通常情况下，一个已经在大规模数据上训练过的模型可以提供一个好的参数初始值，这种初始化方法称为预训练初始化（Pretrained Initialization）. 预训练任务可以为监督学习或无监督学习任务. 由于无监督学习任务更容易获取大规模的训练数据，因此被广泛采用. 预训练模型在目标任务上的学习过程也称为精调（Fine-tuning）.

（2）随机初始化

在线性模型的训练（比如感知器和 Logistic 回归）中，我们一般将参数全部初始化为0. 但是这在神经网络的训练中会存在一些问题. 因为如果参数都为0，在第一遍前向计算时，所有的隐层神经元的激活值都相同. 在反向传播时，所有权重的更新也都相同. 这样会导致隐层神经元没有区分性. 这种现象也称为对称权重现象. 为了打破这个平衡，比较好的方式是对每个参数都随机初始化（Random Initialization），这样使得不同神经元之间的区分性更好

常用的随机初始化方法有什么？

基于固定方差的参数初始化

一种最简单的随机初始化方法是从一个固定均值（通常为 0）和方差 2 的分布中采样来生成参数的初始值主要有以下两种：

（1）高斯分布初始化：使用一个高斯分布(0, 2 )对每个参数进行随机初始化.

（2）均匀分布初始化：在一个给定的区间[−, ]内采用均匀分布来初始化参数. 假设随机变量在区间[, ]内均匀分布，则其方差为

$\operatorname{var}(x)=\frac{(b-a)^{2}}{12}$

因此，若使用区间为 [−, ] 的均分分布来采样，并满足 var() = 2 时，则的取值为 $r=\sqrt{3\sigma ^2}$

在基于固定方差的随机初始化方法中，比较关键的是如何设置方差 2 . 如果参数范围取的太小，一是会导致神经元的输出过小，经过多层之后信号就慢慢消失了；二是还会使得 Sigmoid 型激活函数丢失非线性的能力

基于方差缩放的参数初始化

要高效地训练神经网络，给参数选取一个合适的随机初始化区间是非常重要的. 一般而言，参数初始化的区间应该根据神经元的性质进行差异化的设置. 如果一个神经元的输入连接很多，它的每个输入连接上的权重就应该小一些，以避免神经元的输出过大（当激活函数为 ReLU 时）或过饱和（当激活函数为 Sigmoid函数时）.

初始化一个深度网络时，为了缓解梯度消失或爆炸问题，我们尽可能保持每个神经元的输入和输出的方差一致，根据神经元的连接数量进行自适应的调整初始化分布的方差，这类方法称为方差缩放（Variance Scaling）

<1>Xavier初始化: Xavier初始化激活函数适用于恒等函数、 Logistic 函数和 Tanh 函数

<2> He初始化：适用于ReLU 激活函数

（3）固定值初始化

对于一些特殊的参数，我们可以根据经验用一个特殊的固定值来进行初始化. 比如偏置（Bias）通常用0来初始化，但是有时可以设置某些经验值以提高优化效率. 在 LSTM 网络的遗忘门中，偏置通常初始化为1或2，使得时序上的梯度变大. 对于使用ReLU的神经元，有时也可以将偏置设为0.01，使得ReLU神经元在训练初期更容易激活，从而获得一定的梯度来进行误差反向传播.

（4）正交初始化

上面介绍的两种基于方差的初始化方法都是对权重矩阵中的每个参数进行独立采样. 由于采样的随机性，采样出来的权重矩阵依然可能存在梯度消失或梯度爆炸问题.

因此，一种更加直接的方式是将 () 初始化为正交矩阵，即 ()(()) T = ，这种方法称为正交初始化（Orthogonal Initialization）

正交初始化的具体实现过程可以分为两步：首先，用均值为 0、方差为 1的高斯分布初始化一个矩阵；其次，将这个矩阵用奇异值分解得到两个正交矩阵，并使用其中之一作为权重矩阵.

7. 数据归一化必要性及方法是什么

（1）为什么要进行数据预处理

一般而言，样本的原始特征中的每一维特征由于来源以及度量单位不同，其特征取值的分布范围往往差异很大. 当我们计算不同样本之间的欧氏距离时，取值范围大的特征会起到主导作用. 这样，对于基于相似度比较的机器学习方法（比如最近邻分类器），必须先对样本进行预处理，将各个维度的特征归一化到同一个取值区间，并且消除不同特征之间的相关性，才能获得比较理想的结果.
除了参数初始化之外，不同输入特征的取值范围差异比较大时，梯度下降法的效率也会受到影响. 下图给出了数据归一化对梯度的影响. 其中，图a为未归一化数据的等高线图. 取值范围不同会造成在大多数位置上的梯度方向并不是最优的搜索方向. 当使用梯度下降法寻求最优解时，会导致需要很多次迭代才能收敛. 如果我们把数据归一化为取值范围相同，如图b所示，大部分位置的梯度方向近似于最优搜索方向. 这样，在梯度下降求解时，每一步梯度的方向都基本指向最小值，训练效率会大大提高

（2）常用的归一化方法有什么

1）缩放归一化

缩放归一化是一种非常简单的归一化方法，通过缩放将每一个特征的取值范围归一到 [0, 1] 或 [−1, 1] 之间. 假设有个样本 ${\left \{x^{n}\right \}_{n=1}^{N}}$ 对于每一维特征，

$\hat{x}^{(n)}=\frac{x^{(n)}-min_{n}(x^{(n)})}{max_n(x^{(n)}))-min_n(x^{(n)})}$

其中min()和max()分别是特征在所有样本上的最小值和最大值

2）标准归一化

标准归一化也叫 z-score 归一化，来源于统计上的标准分数. 将每一个维特征都调整为均值为0，方差为1. 假设有个样本 ${\left \{x^{n}\right \}_{n=1}^{N}}$ ，对于每一维特征，我们先计算它的均值和方差：

$\mu =\frac{1}{N}\sum_{n=1}^{N}x^{(n)}$

$\sigma ^{2} =\frac{1}{N}\sum_{n=1}^{N}(x^{(n)}-\mu )^{2}$

然后，将特征 () 减去均值，并除以标准差，得到新的特征值 $\hat{x}$

$\hat{x}^{(n)}=\frac{x^{(n)}-\mu }{\sigma }$

这里不能为0. 如果方差为0，说明这一维特征没有任务区分性，可以直接删掉

3）白化

白化（Whitening）是一种重要的预处理方法，用来降低输入数据特征之间的冗余性. 输入数据经过白化处理后，特征之间相关性较低，并且所有特征具有相同的方差

白化的一个主要实现方式是使用主成分分析（Principal Component Analysis，PCA）方法去除掉各个成分之间的相关性

标准归一化和PCA白化的比较如下图所示

4）批量归一化

批量归一化（Batch Normalization，BN）方法是一种有效的逐层归一化方法，可以对神经网络中任意的中间层进行归一化操作

对于一个深度神经网络，令第层的净输入为 ()，神经元的输出为 ()，即

$\alpha ^{l}=f(z^{(l)})=f(W\alpha^{(l-1)}+b)$

其中(⋅)是激活函数，和是可学习的参数.

为了减少内部协变量偏移问题，就要使得净输入 () 的分布一致，比如都归一化到标准正态分布. 虽然归一化操作可以应用在输入 $\alpha^{(l-1)}$ 上，但其分布性质不如 () 稳定. 因此，在实践中归一化操作一般应用在仿射变换之后，激活函数之前.

为了提高归一化效率，一般使用标准归一化，将净输入 () 的每一维都归一到标准正态分布.

$\hat{z}^{(l)}=\frac{z^{(l)}-E[z^{(l)}]}{\sqrt{var(z^{(l)})+\varepsilon }}$

其中 $E[z^{(l)}]$ 和 $var(z^{(l)})$ 是指当前参数下， () 的每一维在整个训练集上的期望和方差

批量归一化操作可以看作是一个特殊的神经层，加在每一层非线性激活函数之前，即

$\alpha ^{(l)}=f(BN_{\gamma ,\beta }(z^{(l)}))=f(BN_{\gamma ,\beta }(W\alpha^{(l-1)}))$

其中因为批量归一化本身具有平移变换，所以仿射变换 $W\alpha^{(l-1)}$ 不再需要偏置参数.

批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量样本的数量不能太小，否则难以计算单个神经元的统计信息. 此外，如果一个神经元的净输入的分布在神经网络中是动态变化的，比如循环神经网络，那么就无法应用批量归一化操作.

5）层归一化

层归一化（Layer Normalization）是和批量归一化非常类似的方法. 和批量归一化不同的是，层归一化是对一个中间层的所有神经元进行归一化.

层归一化定义为

$\hat{z}^{(l)}=\frac{z^{(l)}-\mu ^{(l)}}{\sqrt{\sigma^{(l)^{2}}+\varepsilon }}\odot \gamma+\beta$

其中和分别代表缩放和平移的参数向量，和 () 维数相同

层归一化和批量归一化整体上是十分类似的，差别在于归一化的方法不同. 对于个样本的一个小批量集合 $Z^{(l)}=[z^{(1,l)};...;z^{(K,l)}]$ ，层归一化是对矩阵 () 的每一列进行归一化，而批量归一化是对每一行进行归一化. 一般而言，批量归一化是一种更好的选择. 当小批量样本数量比较小时，可以选择层归一化

6）权重归一化

权重归一化（Weight Normalization）是对神经网络的连接权重进行归一化，通过再参数化（Reparameterization）方法，将连接权重分解为长度和方向两种参数

由于在神经网络中权重经常是共享的，权重数量往往比神经元数量要少，因此权重归一化的开销会比较小.

8. 超参数优化

（1）常见的超参数有哪几类？

1）网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等.

2）优化参数，包括优化方法、学习率、小批量的样本数量等.

3）正则化系数

（2）超参数优化难点是什么？

超参数优化（Hyperparameter Optimization）主要存在两方面的困难:

1）超参数优化是一个组合优化问题，无法像一般参数那样通过梯度下降方法来优化，也没有一种通用有效的优化方法.

2）评估一组超参数配置（Configuration）的时间代价非常高，从而导致一些优化方法（比如演化算法（Evolution Algorithm））在超参数优化中难以应用

（3）超参数优化方法有什么？

网格搜索

网格搜索（Grid Search）是一种通过尝试所有超参数的组合来寻址合适一组超参数配置的方法. 假设总共有个超参数，第个超参数的可以取个值. 那么总共的配置组合数量为1 × 2 × ⋯ × . 如果超参数是连续的，可以将超参数离散化

一般而言，对于连续的超参数，我们不能按等间隔的方式进行离散化，需要根据超参数自身的特点进行离散化.

网格搜索根据这些超参数的不同组合分别训练一个模型，然后测试这些模型在开发集上的性能，选取一组性能最好的配置

随机搜索

不同超参数对模型性能的影响有很大差异. 有些超参数（比如正则化系数）对模型性能的影响有限，而另一些超参数（比如学习率）对模型性能影响比较大. 在这种情况下，采用网格搜索会在不重要的超参数上进行不必要的尝试.

比较有效的改进方法是对超参数进行随机组合，然后选取一个性能最好的配置，这就是随机搜索（Random Search）随机搜索在实践中更容易实现，一般会比网格搜索更加有效

网格搜索和随机搜索都没有利用不同超参数组合之间的相关性，即如果模型的超参数组合比较类似，其模型性能也是比较接近的. 因此这两种搜索方式一般都比较低效.

贝叶斯优化

贝叶斯优化（Bayesian optimization）是一种自适应的超参数优化方法，根据当前已经试验的超参数组合，来预测下一个可能带来最大收益的组合

一种比较常用的贝叶斯优化方法为时序模型优化（Sequential Model-Based Optimization，SMBO）

时序模型优化方法如算法所示

贝叶斯优化的一个缺点是高斯过程建模需要计算协方差矩阵的逆，时间复杂度是(3 )，因此不能很好地处理高维情况. 深度神经网络的超参数一般比较多，为了使用贝叶斯优化来搜索神经网络的超参数，需要一些更高效的高斯过程建模. 也有一些方法可以将时间复杂度从(3 )降低到()

动态资源分配

动态资源分配的关键是将有限的资源分配给更有可能带来收益的超参数组合. 一种有效方法是逐次减半（Successive Halving）方法

9. 数据增强方法有什么

在数据量有限的情况下，可以通过数据增强（Data Augmentation）来增加数据量，提高模型鲁棒性，避免过拟合. 目前，数据增强还主要应用在图像数据上，在文本等其他类型的数据上还没有太好的方法

图像数据的增强主要是通过算法对图像进行转变，引入噪声等方法来增加数据的多样性. 增强的方法主要有几种：

（1）旋转（Rotation）：将图像按顺时针或逆时针方向随机旋转一定角度.

（2）翻转（Flip）：将图像沿水平或垂直方法随机翻转一定角度.

（3）缩放（Zoom In/Out）：将图像放大或缩小一定比例.

（4）平移（Shift）：将图像沿水平或垂直方法平移一定步长.

（5）加噪声（Noise）：加入随机噪声.

你可能感兴趣的:(Deep,learning,python,深度学习,网络优化)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
iOS http封装 374016526 ios 服务器交互 http 网络请求
程序开发避免不了与服务器的交互，这里打包了一个自己写的http交互库。希望可以帮到大家。内置一个basehttp，当我们创建自己的service可以继承实现。 KuroAppBaseHttp *baseHttp = [[KuroAppBaseHttp alloc] init]; [baseHttp setDelegate:self]; [baseHttp
lolcat ：一个在 Linux 终端中输出彩虹特效的命令行工具 brotherlamp linux linux教程 linux视频 linux自学 linux资料
那些相信 Linux 命令行是单调无聊且没有任何乐趣的人们，你们错了，这里有一些有关 Linux 的文章，它们展示着 Linux 是如何的有趣和“淘气” 。在本文中，我将讨论一个名为“lolcat”的小工具 – 它可以在终端中生成彩虹般的颜色。何为 lolcat ? Lolcat 是一个针对 Linux，BSD 和 OSX 平台的工具，它类似于 cat 命令，并为 cat
MongoDB索引管理（1）——[九] eksliang mongodb MongoDB管理索引
转载请出自出处：http://eksliang.iteye.com/blog/2178427 一、概述数据库的索引与书籍的索引类似，有了索引就不需要翻转整本书。数据库的索引跟这个原理一样，首先在索引中找，在索引中找到条目以后，就可以直接跳转到目标文档的位置，从而使查询速度提高几个数据量级。不使用索引的查询称
Informatica参数及变量 18289753290 Informatica 参数变量
下面是本人通俗的理解，如有不对之处，希望指正 info参数的设置：在info中用到的参数都在server的专门的配置文件中（最好以parma）结尾下面的GLOBAl就是全局的，$开头的是系统级变量，$$开头的变量是自定义变量。如果是在session中或者mapping中用到的变量就是局部变量，那就把global换成对应的session或者mapping名字。 [GLOBAL] $Par
python 解析unicode字符串为utf8编码字符串酷的飞上天空 unicode
php返回的json字符串如果包含中文，则会被转换成\uxx格式的unicode编码字符串返回。在浏览器中能正常识别这种编码，但是后台程序却不能识别，直接输出显示的是\uxx的字符，并未进行转码。转换方式如下 >>> import json >>> q = '{"text":"\u4
Hibernate的总结永夜-极光 Hibernate
1.hibernate的作用,简化对数据库的编码,使开发人员不必再与复杂的sql语句打交道做项目大部分都需要用JAVA来链接数据库，比如你要做一个会员注册的页面，那么获取到用户填写的基本信后，你要把这些基本信息存入数据库对应的表中，不用hibernate还有mybatis之类的框架，都不用的话就得用JDBC，也就是JAVA自己的，用这个东西你要写很多的代码，比如保存注册信
SyntaxError: Non-UTF-8 code starting with '\xc4' 随便小屋 python
刚开始看一下Python语言，传说听强大的，但我感觉还是没Java强吧！写Hello World的时候就遇到一个问题，在Eclipse中写的，代码如下 ''' Created on 2014年10月27日 @author: Logic ''' print("Hello World!"); 运行结果 SyntaxError: Non-UTF-8
学会敬酒礼仪不做酒席菜鸟 aijuans 菜鸟
俗话说，酒是越喝越厚，但在酒桌上也有很多学问讲究，以下总结了一些酒桌上的你不得不注意的小细节。细节一：领导相互喝完才轮到自己敬酒。敬酒一定要站起来，双手举杯。细节二：可以多人敬一人，决不可一人敬多人，除非你是领导。细节三：自己敬别人，如果不碰杯，自己喝多少可视乎情况而定，比如对方酒量，对方喝酒态度，切不可比对方喝得少，要知道是自己敬人。细节四：自己敬别人，如果碰杯，一
《创新者的基因》读书笔记 aoyouzi 读书笔记《创新者的基因》
创新者的基因创新者的“基因”，即最具创意的企业家具备的五种“发现技能”：联想，观察，实验，发问，建立人脉。第一部分破坏性创新，从你开始第一章破坏性创新者的基因如何获得启示：发现以下的因素起到了催化剂的作用：(1) -个挑战现状的问题；(2)对某项技术、某个公司或顾客的观察；(3) -次尝试新鲜事物的经验或实验；(4)与某人进行了一次交谈，为他点醒
表单验证技术百合不是茶 JavaScript DOM对象 String对象事件
js最主要的功能就是验证表单,下面是我对表单验证的一些理解,贴出来与大家交流交流 ,数显我们要知道表单验证需要的技术点, String对象,事件,函数一:String对象;通常是对字符串的操作; 1,String的属性; 字符串.length;表示该字符串的长度; var str= "java"
web.xml配置详解之context-param bijian1013 java servlet web.xml context-param
一.格式定义： <context-param> <param-name>contextConfigLocation</param-name> <param-value>contextConfigLocationValue></param-value> </context-param> 作用：该元
Web系统常见编码漏洞（开发工程师知晓） Bill_chen sql PHP Web fckeditor 脚本
1.头号大敌：SQL Injection 原因：程序中对用户输入检查不严格，用户可以提交一段数据库查询代码，根据程序返回的结果，获得某些他想得知的数据，这就是所谓的SQL Injection，即SQL注入。本质: 对于输入检查不充分，导致SQL语句将用户提交的非法数据当作语句的一部分来执行。示例： String query = "SELECT id FROM users
【MongoDB学习笔记六】MongoDB修改器 bit1129 mongodb
本文首先介绍下MongoDB的基本的增删改查操作，然后，详细介绍MongoDB提供的修改器，以完成各种各样的文档更新操作 MongoDB的主要操作 show dbs 显示当前用户能看到哪些数据库 use foobar 将数据库切换到foobar show collections 显示当前数据库有哪些集合 db.people.update，update不带参数，可
提高职业素养，做好人生规划白糖_ 人生
培训讲师是成都著名的企业培训讲师，他在讲课中提出的一些观点很新颖，在此我收录了一些分享一下。注：讲师的观点不代表本人的观点，这些东西大家自己揣摩。 1、什么是职业规划：职业规划并不完全代表你到什么阶段要当什么官要拿多少钱，这些都只是梦想。职业规划是清楚的认识自己现在缺什么，这个阶段该学习什么，下个阶段缺什么，又应该怎么去规划学习，这样才算是规划。
国外的网站你都到哪边看？ bozch 技术网站国外
学习软件开发技术，如果没有什么英文基础，最好还是看国内的一些技术网站，例如：开源OSchina，csdn，iteye,51cto等等。个人感觉如果英语基础能力不错的话，可以浏览国外的网站来进行软件技术基础的学习，例如java开发中常用的到的网站有apache.org 里面有apache的很多Projects,springframework.org是spring相关的项目网站,还有几个感觉不错的
编程之美-光影切割问题 bylijinnan 编程之美
package a; public class DisorderCount { /**《编程之美》“光影切割问题” * 主要是两个问题： * 1.数学公式（设定没有三条以上的直线交于同一点）： * 两条直线最多一个交点，将平面分成了4个区域； * 三条直线最多三个交点，将平面分成了7个区域； * 可以推出：N条直线 M个交点，区域数为N+M+1。
关于Web跨站执行脚本概念 chenbowen00 Web 安全跨站执行脚本
跨站脚本攻击(XSS)是web应用程序中最危险和最常见的安全漏洞之一。安全研究人员发现这个漏洞在最受欢迎的网站,包括谷歌、Facebook、亚马逊、PayPal,和许多其他网站。如果你看看bug赏金计划,大多数报告的问题属于 XSS。为了防止跨站脚本攻击,浏览器也有自己的过滤器,但安全研究人员总是想方设法绕过这些过滤器。这个漏洞是通常用于执行cookie窃取、恶意软件传播,会话劫持,恶意重定向。在
[开源项目与投资]投资开源项目之前需要统计该项目已有的用户数 comsci 开源项目
现在国内和国外,特别是美国那边,突然出现很多开源项目,但是这些项目的用户有多少,有多少忠诚的粉丝,对于投资者来讲,完全是一个未知数,那么要投资开源项目,我们投资者必须准确无误的知道该项目的全部情况,包括项目发起人的情况,项目的维持时间..项目的技术水平,项目的参与者的势力,项目投入产出的效益.....
oracle alert log file（告警日志文件） daizj oracle 告警日志文件 alert log file
The alert log is a chronological log of messages and errors, and includes the following items: All internal errors (ORA-00600), block corruption errors (ORA-01578), and deadlock errors (ORA-00060)
关于 CAS SSO 文章声明 denger SSO
由于几年前写了几篇 CAS 系列的文章，之后陆续有人参照文章去实现，可都遇到了各种问题，同时经常或多或少的收到不少人的求助。现在这时特此说明几点： 1. 那些文章发表于好几年前了，CAS 已经更新几个很多版本了，由于近年已经没有做该领域方面的事情，所有文章也没有持续更新。 2. 文章只是提供思路，尽管 CAS 版本已经发生变化，但原理和流程仍然一致。最重要的是明白原理，然后
初二上学期难记单词 dcj3sjt126com english word
lesson 课 traffic 交通 matter 要紧；事物 happy 快乐的，幸福的 second 第二的 idea 主意；想法；意见 mean 意味着 important 重要的，重大的 never 从来，决不 afraid 害怕的 fifth 第五的 hometown 故乡，家乡 discuss 讨论；议论 east 东方的 agree 同意；赞成 bo
uicollectionview 纯代码布局, 添加头部视图 dcj3sjt126com Collection
#import <UIKit/UIKit.h> @interface myHeadView : UICollectionReusableView { UILabel *TitleLable; } -(void)setTextTitle; @end #import "myHeadView.h" @implementation m
N 位随机数字串的 JAVA 生成实现 FX夜归人 java Math 随机数 Random
/** * 功能描述随机数工具类<br /> * @author FengXueYeGuiRen * 创建时间 2014-7-25<br /> */ public class RandomUtil { // 随机数生成器 private static java.util.Random random = new java.util.R
Ehcache（09）——缓存Web页面 234390216 ehcache 页面缓存
页面缓存目录 1 SimplePageCachingFilter 1.1 calculateKey 1.2 可配置的初始化参数 1.2.1 cach
spring中少用的注解@primary解析 jackyrong primary
这次看下spring中少见的注解@primary注解，例子 @Component public class MetalSinger implements Singer{ @Override public String sing(String lyrics) { return "I am singing with DIO voice
Java几款性能分析工具的对比 lbwahoo java
Java几款性能分析工具的对比摘自：http://my.oschina.net/liux/blog/51800 在给客户的应用程序维护的过程中，我注意到在高负载下的一些性能问题。理论上，增加对应用程序的负载会使性能等比率的下降。然而，我认为性能下降的比率远远高于负载的增加。我也发现，性能可以通过改变应用程序的逻辑来提升，甚至达到极限。为了更详细的了解这一点，我们需要做一些性能
JVM参数配置大全 nickys jvm 应用服务器
JVM参数配置大全 /usr/local/jdk/bin/java -Dresin.home=/usr/local/resin -server -Xms1800M -Xmx1800M -Xmn300M -Xss512K -XX:PermSize=300M -XX:MaxPermSize=300M -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=5 -
搭建 CentOS 6 服务器(14) - squid、Varnish rensanning varnish
（一）squid 安装 # yum install httpd-tools -y # htpasswd -c -b /etc/squid/passwords squiduser 123456 # yum install squid -y 设置 # cp /etc/squid/squid.conf /etc/squid/squid.conf.bak # vi /etc/
Spring缓存注解@Cache使用 tom_seed spring
参考资料 http://www.ibm.com/developerworks/cn/opensource/os-cn-spring-cache/ http://swiftlet.net/archives/774 缓存注解有以下三个： @Cacheable @CacheEvict @CachePut
dom4j解析XML时出现"java.lang.noclassdeffounderror: org/jaxen/jaxenexception"错误 xp9802
java.lang.NoClassDefFoundError: org/jaxen/JaxenExc 关键字: java.lang.noclassdeffounderror: org/jaxen/jaxenexception 使用dom4j解析XML时，要快速获取某个节点的数据，使用XPath是个不错的方法，dom4j的快速手册里也建议使用这种方式执行时却抛出以下异常： Exceptio

【九问九答】你真的会优化网络吗？

1. 神经网络有什么难点问题？

2. 训练神经网络时常用的优化算法有什么？

（1）小批量梯度下降（Mini-Batch Gradient Descent）.

为什么要使用小批量梯度下降法？

影响小批量梯度下降法的主要因素有什么？

3. 学习率详细介绍

（1）学习率衰减是什么

（2）学习率衰减方法有什么

（3）学习率预热是什么

（4）自适应调整学习率的方法有什么

AdaGrad算法

RMSprop算法

AdaDelta算法

4. 梯度估计修正方法有什么

1）动量法

2）Nesterov加速梯度

3）Adam算法

4）梯度截断

5. 优化算法汇总与比较

6. 参数初始化的方法有什么

（1） 预训练初始化

（2） 随机初始化

常用的随机初始化方法有什么？

（3） 固定值初始化

（4）正交初始化

7. 数据归一化必要性及方法是什么

（1）为什么要进行数据预处理

（2）常用的归一化方法有什么

1）缩放归一化

2）标准归一化

3）白化

4）批量归一化

5）层归一化

6）权重归一化

8. 超参数优化

（1）常见的超参数有哪几类？

（2）超参数优化难点是什么？

（3）超参数优化方法有什么？

9. 数据增强方法有什么

你可能感兴趣的:(Deep,learning,python,深度学习,网络优化)

（1）预训练初始化

（2）随机初始化

（3）固定值初始化