ZhikangFu
ZhikangFu

Caffe学习：Solver

目录：

  • 原文
  • Solver
  • Methods
    • SGD
    • AdaGrad
    • NAG
  • Scaffolding
  • Updating Parameters
  • Snapshotting and Resuming

原文

Solver

Solver通过协调Net的前向loss计算和反向梯度计算（forward inference and backward gradients），对参数进行更新，以减小loss。Caffe模型的学习被分为两个部分：由Solver进行优化、更新参数，由Net计算出loss和gradient。

Caffe提供了3种Solver方法：Stochastic Gradient Descent（SGD，随机梯度下降），Adaptive Gradient（ADAGRAD，自适应梯度下降）和Nesterov’s Accelerated Gradient（NESTEROV，Nesterov提出的加速梯度下降）。

Solve步骤：

  1. 设计优化对象、训练网络（用于学习）和测试网络（用于评估）
  2. 通过forward和backward迭代以优化和更新参数
  3. 周期性地评估测试网络
  4. 在优化过程中显示（snapshot）模型和solver的状态

每一次迭代中：

  1. 调用Net的forward pass计算出output 和loss
  2. 调用Net的backward pass计算出gradients
  3. 根据Solver方法，利用gradients更新参数
  4. 根据learning rate，history和method更新solver的状态

Caffe solvers有CPU / GPU两种模式。

Methods

Solver Methods用于最小化loss值。给定一个数据集D，优化的目标是D中所有数据的平均loss，即使平均loss取最小值。

计算公式

其中 fW(X(i))是data中X(i)项的loss，r(W)是正则项，权重为λ。当数据量很大时（直接采用普通的梯度下降方法计算量很大），在每一次迭代中，我们采用数据集的一个子集（mini-batch）来近似代替，其数据量远小于整个数据集：

计算公式

在forward pass中计算fW（即loss），在backward pass中计算∇fW（即gradient）。

SGD

  • 类型：SGD

随机梯度下降（Stochastic gradient）利用（负的）gradient ∇L(W) 和上一次权重的更新值Vt的线性组合来更新权重W。学习速率（learning rate）α是（负的）gradient的权重。动量（momentum ）μ是上一次更新值得权重。

有如下公式，根据上一次计算的更新值Vt和当前权重来计算本次的更新值Vt+1和权重 Wt+1：

计算公式

学习的参数（α和μ）需要一定的调整才能达到最好的效果。如果你不是很清楚该怎样做的话，请看下面的“经验”，更多的细节请参考Leon Bottou的Stochastic Gradient Descent Tricks

设置学习速率（ learning rate α）和动量（momentum μ）的经验：

一个比较好的建议是，将学习速率（ learning rate α）初始化为α≈0.01，然后在训练（training）中当loss达到稳定时，将α除以一个常数（例如，10）。对于，动量（momentum μ）一般设置为μ=0.9，μ使weight的更新更为平缓，是学习过程更为稳定、快速。

这是Krizhevsky提出的技巧【文献1】，Caffe实现了SolverParameter让这个技巧易于实现。详见：./examples/imagenet/alexnet_solver.prototxt

要使用上述技巧，可以将下面的代码添加到自定义的solver prototxt文件中：

<code class="hljs avrasm has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-label" style="box-sizing: border-box;">base_lr:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.01</span>     <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 开始学习速率为：α = 0.01</span>
<span class="hljs-label" style="box-sizing: border-box;">lr_policy:</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"step"</span> <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 学习策略: 每stepsize次迭代之后，将α乘以gamma</span>
<span class="hljs-label" style="box-sizing: border-box;">gamma:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.1</span>        <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 学习速率变化因子</span>
<span class="hljs-label" style="box-sizing: border-box;">stepsize:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">100000</span>  <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 每100K次迭代，下降学习速率</span>
<span class="hljs-label" style="box-sizing: border-box;">max_iter:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">350000</span>  <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 训练的最大迭代次数</span>
<span class="hljs-label" style="box-sizing: border-box;">momentum:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.9</span>     <span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># momentum为：μ = 0.01</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li></ul>

上面的例子中，我们将动量μ设为常数0.9。刚开始前100K次迭代时学习速率α设置为0.01，然后第100K~200K次迭代时将学习速率α乘以gamma (γ)，即为α′=αγ=(0.01)*(0.1)=0.001，之后第200K~300K次迭代时学习速率为α′′=0.00001，最后第301K~350K次迭代时学习速率为α′′=0.000001.

上述例子中，当训练次数达到一定量后，计算量会扩大到1/（1-μ）倍，所以如果增加μ的话，最好是减少α值（反之相反）。举个例子， 设μ=0.9，则计算量会扩大1/（1-μ）=10倍。如果将μ扩大为0.99，那么计算量会扩大100倍，所以α应该除以10.

上述技巧也只是经验之谈，不保证绝对有用，甚至有副作用。如果训练过程中出现了发散现象（例如，loss或者output值非常大），试着减小开始学习速率（base_lr）再训练，重复这个过程，直到找到一个比较合适的学习速率。

【文献1】：A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 2012.

AdaGrad

  • 类型：ADAGRAD

自适应梯度下降方法（ Adaptive gradient）【文献1】跟随机梯度下降（Stochastic gradient）一样是基于梯度的优化方法。给定之前更新的信息：之前的更新信息，按照下面的公式更新参数： 
计算公式

实际操作中，对于权重权重，自适应梯度（AdaGrad ）只需要存储空间额外空间存储历史信息，而不是存储空间的存储空间来存储所有的历史纪录。

【文献1】： Duchi, E. Hazan, and Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. The Journal of Machine Learning Research, 2011.

NAG

  • 类型：NESTEROV

Nesterov提出的加速梯度下降（Nesterov’s accelerated gradient）是Nesterov提出的凸优化的最佳方法【文献1】，其收敛速度可以达到收敛速度，而不是收敛速度。尽管在Caffe中并不是一定能够满足收敛于收敛速度的条件（例如，由于非平滑non-smoothness和non-convexity非凸）实际中NAG对于某类特定结构的深度学习模型是一个非常有效的方法【文献2】。

权重weight更新参数与随机梯度下降（Stochastic gradient）非常相似：

Caffe学习：Solver_第1张图片

与SGD的不同之处在于梯度∇L(W)项中取值不同：在NAG中，对于权重W梯度的计算要机上动量=>∇L(Wt+μVt)；在SGD中，只是简单的计算当前权重的动量=>∇L(Wt)。

【文献1】：Y. Nesterov. A Method of Solving a Convex Programming Problem with Convergence Rate O(1/k√). Soviet Mathematics Doklady, 1983. 
【文献2】：I. Sutskever, J. Martens, G. Dahl, and G. Hinton. On the Importance of Initialization and Momentum in Deep Learning. Proceedings of the 30th International Conference on Machine Learning, 2013.

Scaffolding

Solver::Presolve()方法：准备用于优化的方法及初始化模型。

<code class="hljs avrasm has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">> caffe train -solver examples/mnist/lenet_solver<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;">.prototxt</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56.474978</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> caffe<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;">.cpp</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">90</span>] Starting Optimization
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56.475190</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> solver<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;">.cpp</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">32</span>] Initializing solver from parameters:
<span class="hljs-label" style="box-sizing: border-box;">test_iter:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">100</span>
<span class="hljs-label" style="box-sizing: border-box;">test_interval:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">500</span>
<span class="hljs-label" style="box-sizing: border-box;">base_lr:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.01</span>
<span class="hljs-label" style="box-sizing: border-box;">display:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">100</span>
<span class="hljs-label" style="box-sizing: border-box;">max_iter:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">10000</span>
<span class="hljs-label" style="box-sizing: border-box;">lr_policy:</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"inv"</span>
<span class="hljs-label" style="box-sizing: border-box;">gamma:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.0001</span>
<span class="hljs-label" style="box-sizing: border-box;">power:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.75</span>
<span class="hljs-label" style="box-sizing: border-box;">momentum:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.9</span>
<span class="hljs-label" style="box-sizing: border-box;">weight_decay:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.0005</span>
<span class="hljs-label" style="box-sizing: border-box;">snapshot:</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5000</span>
<span class="hljs-label" style="box-sizing: border-box;">snapshot_prefix:</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"examples/mnist/lenet"</span>
<span class="hljs-label" style="box-sizing: border-box;">solver_mode:</span> GPU
<span class="hljs-label" style="box-sizing: border-box;">net:</span> <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"examples/mnist/lenet_train_test.prototxt"</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li></ul>

Net initialization（网络初始化）

<code class="hljs dos has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">655681</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> solver.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">72</span>] Creating training <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span> from <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span> file: examples/mnist/lenet_train_test.prototxt
[...]
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">656740</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">656791</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">67</span>] Creating Layer mnist
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">656811</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">356</span>] mnist -> data
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">656846</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">356</span>] mnist -> label
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">656874</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">96</span>] Setting up mnist
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">694052</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> data_layer.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">135</span>] Opening lmdb examples/mnist/mnist_train_lmdb
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">701062</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> data_layer.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">195</span>] output data size: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span>,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">28</span>,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">28</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">701146</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> data_layer.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">236</span>] Initializing prefetch
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">701196</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> data_layer.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">238</span>] Prefetch initialized.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">701212</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">28</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">28</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">50176</span>)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">701230</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span>)
[...]
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">703737</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">67</span>] Creating Layer ip1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">703753</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">394</span>] ip1 <- pool2
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">703778</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">356</span>] ip1 -> ip1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">703797</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">96</span>] Setting up ip1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728127</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">500</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">32000</span>)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728142</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">113</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5039360</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728175</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">67</span>] Creating Layer relu1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728194</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">394</span>] relu1 <- ip1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728219</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">345</span>] relu1 -> ip1 (<span class="hljs-flow" style="box-sizing: border-box;">in</span>-place)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728240</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">96</span>] Setting up relu1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728256</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">500</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">32000</span>)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728270</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">113</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5167360</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728287</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">67</span>] Creating Layer ip2
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728304</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">394</span>] ip2 <- ip1
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728333</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">356</span>] ip2 -> ip2
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728356</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">96</span>] Setting up ip2
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728690</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">64</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">10</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">640</span>)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728705</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">113</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5169920</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728734</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">67</span>] Creating Layer loss
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728747</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">394</span>] loss <- ip2
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728767</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">394</span>] loss <- label
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728786</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">356</span>] loss -> loss
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728811</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">96</span>] Setting up loss
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728837</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">103</span>] Top shape: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> (<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>)
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728849</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">109</span>]     with loss weight <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728878</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">113</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5169924</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li><li style="box-sizing: border-box; padding: 0px 5px;">29</li><li style="box-sizing: border-box; padding: 0px 5px;">30</li><li style="box-sizing: border-box; padding: 0px 5px;">31</li><li style="box-sizing: border-box; padding: 0px 5px;">32</li><li style="box-sizing: border-box; padding: 0px 5px;">33</li><li style="box-sizing: border-box; padding: 0px 5px;">34</li><li style="box-sizing: border-box; padding: 0px 5px;">35</li><li style="box-sizing: border-box; padding: 0px 5px;">36</li><li style="box-sizing: border-box; padding: 0px 5px;">37</li><li style="box-sizing: border-box; padding: 0px 5px;">38</li><li style="box-sizing: border-box; padding: 0px 5px;">39</li><li style="box-sizing: border-box; padding: 0px 5px;">40</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li><li style="box-sizing: border-box; padding: 0px 5px;">29</li><li style="box-sizing: border-box; padding: 0px 5px;">30</li><li style="box-sizing: border-box; padding: 0px 5px;">31</li><li style="box-sizing: border-box; padding: 0px 5px;">32</li><li style="box-sizing: border-box; padding: 0px 5px;">33</li><li style="box-sizing: border-box; padding: 0px 5px;">34</li><li style="box-sizing: border-box; padding: 0px 5px;">35</li><li style="box-sizing: border-box; padding: 0px 5px;">36</li><li style="box-sizing: border-box; padding: 0px 5px;">37</li><li style="box-sizing: border-box; padding: 0px 5px;">38</li><li style="box-sizing: border-box; padding: 0px 5px;">39</li><li style="box-sizing: border-box; padding: 0px 5px;">40</li></ul>

Loss（损失）

<code class="hljs dos has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728893</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] loss needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728909</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] ip2 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728924</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] relu1 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728938</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] ip1 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728953</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] pool2 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728970</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] conv2 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728984</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] pool1 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">728998</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">170</span>] conv1 needs backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729014</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">172</span>] mnist does <span class="hljs-flow" style="box-sizing: border-box;">not</span> need backward computation.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729027</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">208</span>] This network produces output loss
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729053</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">467</span>] Collecting Learning Rate and Weight Decay.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729071</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">219</span>] Network initialization done.
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729085</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span>.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">220</span>] Memory required <span class="hljs-flow" style="box-sizing: border-box;">for</span> data: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5169924</span>
I0902 <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">13</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">35</span>:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">56</span>.<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">729277</span> <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">16020</span> solver.cpp:<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">156</span>] Creating test <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span> (#<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0</span>) specified by <span class="hljs-winutils" style="color: rgb(0, 0, 136); box-sizing: border-box;">net</span> file: examples/mnist/lenet_train_test.prototxt</code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li></ul>

Completion（完成）

<code class="hljs css has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">I0902</span> 13<span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:35</span><span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:56</span><span class="hljs-class" style="box-sizing: border-box; color: rgb(155, 112, 63);">.806970</span> 16020 <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">solver</span><span class="hljs-class" style="box-sizing: border-box; color: rgb(155, 112, 63);">.cpp</span><span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:46</span>] <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">Solver</span> <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">scaffolding</span> <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">done</span>.
<span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">I0902</span> 13<span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:35</span><span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:56</span><span class="hljs-class" style="box-sizing: border-box; color: rgb(155, 112, 63);">.806984</span> 16020 <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">solver</span><span class="hljs-class" style="box-sizing: border-box; color: rgb(155, 112, 63);">.cpp</span><span class="hljs-pseudo" style="color: rgb(0, 0, 0); box-sizing: border-box;">:165</span>] <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">Solving</span> <span class="hljs-tag" style="color: rgb(0, 0, 0); box-sizing: border-box;">LeNet</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li></ul>

Updating Parameters

权重更新是在Solver::ComputeUpdateValue()中完成的。ComputeUpdateValue方法利用权重衰减项（weight decay）计算出权重梯度（weight gradients）（现阶段还只有误差梯度），进而计算出每个权重最后的梯度。然后经过与学习速率α相乘后，该值被存储于每一个参数（Blob的diff域）中。最后，调用每个参数的Blob::Update()方法进行最后的参数更新（Blob的data值减去diff值）。

Snapshotting and Resuming

Solver使用Solver::Snapshot()方法保存权重的值，使用Solver::SnapshotSolverState()保存状态。保存的权重表示当前学习到的模型，并且允许从该状态继续进行学习。训练可以通过Solver::Restore()方法和Solver::RestoreSolverState()方法继续进行。

权重保存文件没有拓展名，状态保存文件的拓展名是.solverstate extension，每种文件都有一个_iter_N后缀，表明保存时的迭代次数。

在Solver定义文件（*_solver.prototxt）中，保存方法是如下定义：

<code class="hljs vala has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 保存间隔（单位：迭代次数）</span>
snapshot: <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">5000</span>
<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 保存文件的前缀，注意：是相对于caffe根目录，而不是具体Solver定义文件目录</span>
snapshot_prefix: <span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"/path/to/model"</span>
<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 是否保存Blob的diff域（存储梯度值），有助于debug，但是耗费更多存储空间</span>
snapshot_diff: <span class="hljs-literal" style="color: rgb(0, 102, 102); box-sizing: border-box;">false</span>
<span class="hljs-preprocessor" style="color: rgb(68, 68, 68); box-sizing: border-box;"># 训练完成后是否保存最后的状态，默认是True</span>
snapshot_after_train: <span class="hljs-literal" style="color: rgb(0, 102, 102); box-sizing: border-box;">true</span></code>

你可能感兴趣的:(Caffe学习：Solver)

  • Excel数据分析工具安装步骤 孤独终老的魔鬼 excel数据分析
    使用工具：Microsoftofficeexcel2007step1:点击文件菜单下的Excel选项step2：点击Excel选项中的加载项，点击转到(G)-英文版为go标签。step3：勾选"查阅向导"、"分析工具库"、"规划求解加载项"、"条件求和向导"四项，点击"确定"按钮。step4：执行完前三步后，数据栏会显示"分析"选项栏，包含数据分析和规划求解(solver)的选项。
  • caffe搭建深度神经网络 A异乡人_7a44
    利用Caffe进行深度神经网络训练第一步需要搞懂几个重要文件：solver.prototxttrain_val.prototxttrain.shsolver.prototxtsolver这个文件主要存放模型训练所用到的一些超参数：net:=指定待训练模型结构文件，即train_val.prototxttest_interval:=测试间隔，即每隔多少次迭代进行一次测试test_initializa
  • OR-Tools的CP-SAT求解器常用参数设置与说明 Lins号丹 优化求解器ortools求解器
    在OR-Tools当中，可以对模型及求解器的常用参数进行设置。这里我们介绍CP-SAT求解器的参数设置，参数设置放在求解对象创建后，如下：solver=cp_model.CpSolver()solver.parameters.max_time_in_seconds=10solver.parameters.absolute_gap_limit=0.05...在solver.parameters当中指
  • isctf---re 木… java开发语言
    crackme解压得到crackme.exe运行得到flagbabyRe先猜e=65537的rsa先用Z3强行求出p、q，算出常规rsa中的phi，然后套用公式求出mexp#babyrewpfromz3import*importlibnumfromCrypto.Util.numberimport*p,q,c=Ints('pqc')S=Solver()S.add(p+q==2928840187821
  • 错误使用 gurobiGurobi error 10008: Unable to set parameter TuneTimeLimit to value -1 (minimum is 0) BC锌 前端linux数据库
    solve:Ops=sdpsettings('solver','Gurobi+','verbose',2,'debug',1,'gurobi.NonConvex',2);Ops.gurobi.TuneTimeLimit=0;result=optimize(C,obj,Ops);
  • R语言【taxlist】——id_generator()，id_solver()：构建标识符 ALittleHigh taxlistr语言开发语言
    Packagetaxlistversion0.2.4Description为数据库中的新元素创建标识符。id_solver()方法将比较一组标识符并修改第二个标识符以避免重复的id。Usageid_generator(len,minvalue=1,nchar=10,mode=c("numeric","character"),...)id_solver(insert,to,suffix=c("num
  • 37.解数独（C++） sparks__fly leetcodec++算法数据结构
    题干：https://leetcode.cn/problems/sudoku-solver/使用“有效的数独”中的函数，代码如下：classSolution{private:boolanswer{false};//用来递归时，判断是否找到了答案public://自己写的检验数独合法的代码效率似乎有点低，频繁调用影响有点大//isValidSudoku(),这是借用官方的代码boolisValidS
  • ceres之LM算法 xiechaoyi123 优化算法算法
    Ceres作为一个优化算法库，在许多领域中有着至关重要的作用，比如slam系统中的优化问题-集束调整BA，就可以通过Ceres去实现，官方文档地址：http://ceres-solver.org/nnls_tutorial.html#bundle-adjustment本文主要是解析ceres中的LM算法过程，参考代码地址：https://github.com/ceres-solver/ceres-
  • MATLAB 之 Simulink系统的仿真与分析 虚心求知的熊 MATLABmatlab数据库开发语言
    这里写目录标题一、Simulink系统的仿真与分析1.设置仿真参数1.1Solver参数设置1.2Datalmport/Export参数设置2.运行仿真与仿真结果分析2.1运行仿真2.2仿真结果分析一、Simulink系统的仿真与分析系统的模型建立之后，选择仿真参数和数值算法，便可以启动仿真程序对该系统进行仿真。1.设置仿真参数在系统仿真过程中，事先必须对仿真算法、输出模式等各种仿真参数进行设置。
  • (104)37. 解数独(leetcode) li_qw_er leetcode
    题目链接：https://leetcode-cn.com/problems/sudoku-solver/难度：困难37.解数独编写一个程序，通过已填充的空格来解决数独问题。一个数独的解法需遵循如下规则：数字1-9在每一行只能出现一次。数字1-9在每一列只能出现一次。数字1-9在每一个以粗实线分隔的3x3宫内只能出现一次。空白格用'.'表示。Note:给定的数独序列只包含数字1-9和字符'.'。你可
  • [0xGame 2023] liqingdi437 CTF逆向pythonc语言汇编c++算法python青少年编程开发语言
    REVERSE[Week1]赛博天尊fromz3import*flag=[BitVec("num[%d]"%i,32)foriinrange(5)]s=Solver()s.add(7*flag[2]+5*(flag[1]+flag[4])+2*(flag[3]+4*flag[0])==0x12021DE669FC2,flag[1]+2*(flag[2]+flag[3]+2*flag[3]+2*(f
  • Lumerical FDTD Setup Tips ------ Solver Region Settings 勤奋的大熊猫 LumericalTutorialsLumerical光学仿真
    LumericalFDTDSetupTips------SolverRegionSettings引言正文OverridemeshFDTDAdvancedoptionsSimulationbandwidthMeshsettingAutoshutoff引言这里给大家介绍一下FDTD中仿真区域的方法正文Overridemesh我们之前已经介绍了non-uniformmesh和meshoverride的作
  • 使用CST电磁仿真之前，如何安装硬件加速卡？【操作流程】 思茂信息 仿真知识科普电脑经验分享学习服务器运维
    如下为加速卡的安装和调试步骤：1.硬件安装将GPU卡安装在计算机主板的PCI插槽上，并连接好电源线（一般都有两根电源线），安装时注意PCI插槽旁标示的功率是否大于GPU工作的最大功率值；2.驱动安装首先至nvidia官网，下载对应的加速卡的驱动程序并安装；3.测试硬件加速卡完成驱动安装后，在Home选项卡下Macros下拉菜单中选择Solver>HighPerformanceComputing>C
  • 【unity】Obi插件架构组成（参数详细解释）——解算器四面板设置、三种更新器、参与者介绍 人工智能有点 游戏引擎unity游戏引擎
    文章目录一、架构（Architecture）1.1Obi解算器（ObiSolver）1.2ObiUpdater1.3ObiActorBlueprint1.4Obi参与者（ObiActor，如ObiRope等）二、Obi解算器（ObiSolver）2.1解算器（Solver）组件2.1.1解算器设置（Solversettings）01Backend02Mode03Interpolation2.1.2
  • （10-2-05）贷款预测模型 码农三叔 金融大模型机器学习深度学习人工智能python金融
    10.2.5制作模型（1）LogisticRegression（逻辑回归）模型训练LogisticRegression（逻辑回归）模型，并评估其性能。在模型的性能报告中包括准确率以及其他分类指标，以帮助我们了解模型在测试数据上的表现。具体实现代码如下所示。LRclassifier=LogisticRegression(solver='saga',max_iter=500,random_state=
  • LeetCode 力扣 37. 解数独 windliang
    题目描述（困难难度）给定一个数独棋盘，输出它的一个解。解法一回溯法从上到下，从左到右遍历每个空位置。在第一个位置，随便填一个可以填的数字，再在第二个位置填一个可以填的数字，一直执行下去直到最后一个位置。期间如果出现没有数字可以填的话，就回退到上一个位置，换一下数字，再向后进行下去。publicvoidsolveSudoku(char[][]board){solver(board);}private
  • 37. Sudoku Solver matrxyz
    Solution：https://leetcode.com/problems/sudoku-solver/discuss/15752/Straight-Forward-Java-Solution-Using-Backtracking思路：TimeComplexity:O(N)SpaceComplexity:O(N)SolutionCode：
  • ANSYS Fluent设置求解器及操作条件 TitaHh Fluent经验分享
    当我们建好模型划分完网格并导入Fluent之后，第一步要做的就是设置求解器。打开Fluent之后，Fluent会自动弹出“General（总体模型设定）”面板，而求解器类型设定就是在General中的“Solver”选项组中进行设定。1.Type（求解器类型）：Pressure-Based是基于压力法的求解器，使用的是压力修正算法，求解的控制方程是标量形式的，擅长求解不可压缩流体，但对于可压流体也
  • Caffe学习系列——工具篇：计算数据集的图像均值 Solomon1588 计算机视觉CVCaffe深度学习深度学习Caffe数据预处理特征标准化
    本系列文章介绍深度学习框架Caffe及其实践，本文主要介绍Caffe的实用工具——compute_image_mean计算图像均值.1.图像预处理——零均值化数据预处理在深度学习中非常重要，数据预处理中，标准的第一步是数据归一化。特征归一化常用的方法包含如下几种：简单缩放逐样本均值消减(也称为移除直流分量)特征标准化(使数据集中所有特征都具有零均值和单位方差)特征标准化指的是（独立地）使得数据的每
  • 基于混合遗传搜索算法（HGS）求解CVRP的Python库 Lins号丹 #车辆路径优化python交通物流
    文章目录问题简述基于HGS的Python库1.安装hygese遗传搜索算法库2.设置算法参数3.设置求解器Solver4.求解CVRP问题完整代码如下问题简述CVRP（CapacitatedVehicleRoutingProblem）即带能力限制的车辆路径问题（可以狭义地将容量理解为载重量）是运筹学中的一类经典NP-Hard问题。通过规划多辆车的路径，满足多个客户点需求，同时在车辆能力限制下达到最
  • 【CCF BDCI 2023】多模态多方对话场景下的发言人识别 Baseline 0.71 Slover 部分 我是小白呀 gurobi二次优化凸优化ccf发言人识别cvxpy
    【CCFBDCI2023】多模态多方对话场景下的发言人识别Baseline0.71Slover部分概述Solver在多模态发言人识别中的作用Solver在多模态发言人识别中的重要性Solver的工作原理二次规划二次规划的基本形式二次规划的特点二次规划在多模态发言中的应用(我的理解)代码详解数据转化目标函数和约束设定约束条件的设定CVXPY和Gurobi求解CVXPYGurobiCVXPY和Guro
  • ORers‘ Bling Chat | 【高光聊天记录集锦-01】：运小筹读者群里那些热烈的讨论 刘兴禄 运筹优化理论与实践运小筹推文公众号文章和代码运筹优化优化Gurobi强化学习
    ORers'BlingChat|【高光聊天记录集锦-01】：运小筹读者群里那些热烈的讨论前言1.关于置信水平如何取值的问题2.关于各类solver的讨论3.关于最小冲突集、冲突集的讨论4.关于MP论文的讨论5.关于gurobi的log（1）5.关于gurobi的log（2）6.关于双层规划的讨论7.关于特征工程方面的讨论8.关于gurobi约束写法的讨论9.关于gurobi多次求解结果不同的讨论1
  • simulink和prescan联合仿真 Error in sending command to viewer 奶盖…… simulink
    第一次simulink和prescan联合仿真遇到了问题没有找到答案，自己解决了，记录一下Errorinsendingcommandtoviewer:Timeoutoccurredafter15000ms其实就是设置仿真时间的问题，与prescan联合仿真时间较长，默认值不够在Simulink模型中ConfigurationParameters里的Solver页设置仿真时间、步长Maximumst
  • LeetCode37. Sudoku Solver 叶卡捷琳堡 算法数据结构leetcodec++回溯
    文章目录一、题目二、题解一、题目WriteaprogramtosolveaSudokupuzzlebyfillingtheemptycells.Asudokusolutionmustsatisfyallofthefollowingrules:Eachofthedigits1-9mustoccurexactlyonceineachrow.Eachofthedigits1-9mustoccurexac
  • 解决科研小问题 | Error: Unable to find solver DLL path from sim file squirrel快乐敲码 解决科研小问题matlab
    当simulink和carsim联合仿真的时候出现：Error:UnabletofindsolverDLLpathfromsimfile网上出现了很多种解决的办法，例如重新输一遍输出和输入，例如把solver添加路径……如果这些都不能解决的话可以看看下面这个：在与simulink连接的界面上，是不是误点了“specifyalternativeVSsolverfile（s）”，如果点了，取消就可以了
  • Caffe学习 （五）：SSD源码解读ssd_pascal.py QZX-light Caffe学习系列Caffe
    参考博客：https://blog.csdn.net/xunan003/article/details/79089280from__future__importprint_functionimportcaffefromcaffe.model_libsimport*fromgoogle.protobufimporttext_formatimportmathimportosimportshutilim
  • Ceres使用（一） 柚子Betty 非线性优化
    安装：1.下载源码：gitclonehttps://ceres-solver.googlesource.com/ceres-solver2.安装依赖项#CMakesudoapt-getinstallcmake#google-glog+gflagssudoapt-getinstalllibgoogle-glog-dev#BLAS&LAPACKsudoapt-getinstalllibatlas-ba
  • ceres使用心得 WOZINIYAKE 计算机视觉slam
    ceres使用心得首篇CSDN博客ceres介绍示例代码自我扩展，满足需求总结首篇CSDN博客转战CSDN的首篇博客，主要原因是有道云笔记在ubuntu系统下，太难受了！ceres介绍一、用途：曲线拟合、计算机视觉中的三维模型构建，优化转换参数。二、构成模块：文件数据读取与存储构建残差方程计算模型main{构建problem问题;构建solver计算拟合参数；}示例代码以官网示例代码simple_
  • Ceres使用 读书健身敲代码 SLAM
    之前用过Ceres，但是只是跑例程，现在来着重学习一下使用流程。1.解决的问题主要解决非线性优化问题。Ceres是一个较为通用的库。参考链接2.如何使用这个是求解的函数，主要关注这三个参数CERES_EXPORTvoidSolve(constSolver::Options&options,Problem*problem,Solver::Summary*summary);1.options与优化相关
  • 从SDE出发推导DPM-Solver TianwenZhou stablediffusion深度学习人工智能
    我们知道，传统的DDPM或SMLD等模型的反向过程需要多次迭代，生成一张图片就需要几千次迭代，速度远比GANs要慢。而拖慢整个模型进度的，正是模型的采样过程，无论是DDPM的祖先采样(AncestralSampling)，还是SMLD的退火Langevin采样，每生成一张图片时，都需要1000～2000步的反复迭代。因此，为了加速DDPM，我们需要加速其采样过程。现有的加速采样的方法层出不穷，有依
  • java类加载顺序 3213213333332132 java
    package com.demo; /** * @Description 类加载顺序 * @author FuJianyong * 2015-2-6上午11:21:37 */ public class ClassLoaderSequence { String s1 = "成员属性"; static String s2 = "
  • Hibernate与mybitas的比较 BlueSkator sqlHibernate框架ibatisorm
    第一章     Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架，它出身于sf.net，现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 MyBatis 参考资料官网：http:
  • php多维数组排序以及实际工作中的应用 dcj3sjt126com PHPusortuasort
    自定义排序函数返回false或负数意味着第一个参数应该排在第二个参数的前面, 正数或true反之, 0相等usort不保存键名uasort 键名会保存下来uksort 排序是对键名进行的 <!doctype html> <html lang="en"> <head> <meta charset="utf-8&q
  • DOM改变字体大小 周华华 前端
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • c3p0的配置 g21121 c3p0
    c3p0是一个开源的JDBC连接池，它实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。c3p0的下载地址是：http://sourceforge.net/projects/c3p0/这里可以下载到c3p0最新版本。 以在spring中配置dataSource为例： <!-- spring加载资源文件 --> <bean name="prope
  • Java获取工程路径的几种方法 510888780 java
    第一种： File f = new File(this.getClass().getResource("/").getPath()); System.out.println(f); 结果: C:\Documents%20and%20Settings\Administrator\workspace\projectName\bin 获取当前类的所在工程路径; 如果不加“
  • 在类Unix系统下实现SSH免密码登录服务器 Harry642 免密ssh
    1.客户机     (1)执行ssh-keygen -t rsa -C "[email protected]"生成公钥，xxx为自定义大email地址     (2)执行scp ~/.ssh/id_rsa.pub root@xxxxxxxxx:/tmp将公钥拷贝到服务器上，xxx为服务器地址     (3)执行cat
  • Java新手入门的30个基本概念一 aijuans javajava 入门新手
    在我们学习Java的过程中,掌握其中的基本概念对我们的学习无论是J2SE,J2EE,J2ME都是很重要的,J2SE是Java的基础,所以有必要对其中的基本概念做以归纳,以便大家在以后的学习过程中更好的理解java的精髓,在此我总结了30条基本的概念。　　Java概述:　　目前Java主要应用于中间件的开发(middleware)---处理客户机于服务器之间的通信技术,早期的实践证明,Java不适合
  • Memcached for windows 简单介绍 antlove javaWebwindowscachememcached
    1. 安装memcached server a. 下载memcached-1.2.6-win32-bin.zip b. 解压缩，dos 窗口切换到 memcached.exe所在目录，运行memcached.exe -d install c.启动memcached Server,直接在dos窗口键入 net start "memcached Server&quo
  • 数据库对象的视图和索引 百合不是茶 索引oeacle数据库视图
      视图     视图是从一个表或视图导出的表，也可以是从多个表或视图导出的表。视图是一个虚表，数据库不对视图所对应的数据进行实际存储，只存储视图的定义，对视图的数据进行操作时,只能将字段定义为视图,不能将具体的数据定义为视图       为什么oracle需要视图;    &
  • Mockito(一) --入门篇 bijian1013 持续集成mockito单元测试
            Mockito是一个针对Java的mocking框架，它与EasyMock和jMock很相似，但是通过在执行后校验什么已经被调用，它消除了对期望 行为（expectations）的需要。其它的mocking库需要你在执行前记录期望行为（expectations），而这导致了丑陋的初始化代码。  &nb
  • 精通Oracle10编程SQL(5)SQL函数 bijian1013 oracle数据库plsql
    /* * SQL函数 */ --数字函数 --ABS(n):返回数字n的绝对值 declare v_abs number(6,2); begin v_abs:=abs(&no); dbms_output.put_line('绝对值：'||v_abs); end; --ACOS(n):返回数字n的反余弦值，输入值的范围是-1~1，输出值的单位为弧度
  • 【Log4j一】Log4j总体介绍 bit1129 log4j
    Log4j组件：Logger、Appender、Layout   Log4j核心包含三个组件：logger、appender和layout。这三个组件协作提供日志功能： 日志的输出目标 日志的输出格式 日志的输出级别(是否抑制日志的输出)  logger继承特性 A logger is said to be an ancestor of anothe
  • Java IO笔记 白糖_ java
    public static void main(String[] args) throws IOException { //输入流 InputStream in = Test.class.getResourceAsStream("/test"); InputStreamReader isr = new InputStreamReader(in); Bu
  • Docker 监控 ronin47 docker监控
             目前项目内部署了docker，于是涉及到关于监控的事情，参考一些经典实例以及一些自己的想法，总结一下思路。 1、关于监控的内容 监控宿主机本身 监控宿主机本身还是比较简单的，同其他服务器监控类似，对cpu、network、io、disk等做通用的检查，这里不再细说。 额外的，因为是docker的
  • java-顺时针打印图形 bylijinnan java
    一个画图程序 要求打印出： 1.int i=5; 2.1 2 3 4 5 3.16 17 18 19 6 4.15 24 25 20 7 5.14 23 22 21 8 6.13 12 11 10 9 7. 8.int i=6 9.1 2 3 4 5 6 10.20 21 22 23 24 7 11.19
  • 关于iReport汉化版强制使用英文的配置方法 Kai_Ge iReport汉化英文版
    对于那些具有强迫症的工程师来说，软件汉化固然好用，但是汉化不完整却极为头疼，本方法针对iReport汉化不完整的情况，强制使用英文版，方法如下： 在 iReport 安装路径下的 etc/ireport.conf 里增加红色部分启动参数，即可变为英文版。   # ${HOME} will be replaced by user home directory accordin
  • [并行计算]论宇宙的可计算性 comsci 并行计算
          现在我们知道,一个涡旋系统具有并行计算能力.按照自然运动理论,这个系统也同时具有存储能力,同时具备计算和存储能力的系统,在某种条件下一般都会产生意识......       那么,这种概念让我们推论出一个结论     &nb
  • 用OpenGL实现无限循环的coverflow dai_lm androidcoverflow
    网上找了很久，都是用Gallery实现的，效果不是很满意，结果发现这个用OpenGL实现的，稍微修改了一下源码，实现了无限循环功能 源码地址： https://github.com/jackfengji/glcoverflow public class CoverFlowOpenGL extends GLSurfaceView implements GLSurfaceV
  • JAVA数据计算的几个解决方案1 datamachine javaHibernate计算
    老大丢过来的软件跑了10天，摸到点门道，正好跟以前攒的私房有关联，整理存档。 -----------------------------华丽的分割线-------------------------------------     数据计算层是指介于数据存储和应用程序之间，负责计算数据存储层的数据，并将计算结果返回应用程序的层次。J  &nbs
  • 简单的用户授权系统,利用给user表添加一个字段标识管理员的方式 dcj3sjt126com yii
    怎么创建一个简单的(非 RBAC)用户授权系统 通过查看论坛，我发现这是一个常见的问题，所以我决定写这篇文章。 本文只包括授权系统.假设你已经知道怎么创建身份验证系统(登录)。 数据库 首先在 user 表创建一个新的字段(integer 类型),字段名 'accessLevel',它定义了用户的访问权限 扩展 CWebUser 类 在配置文件(一般为 protecte
  • 未选之路 dcj3sjt126com 诗
    作者:罗伯特*费罗斯特   黄色的树林里分出两条路, 可惜我不能同时去涉足, 我在那路口久久伫立, 我向着一条路极目望去, 直到它消失在丛林深处.   但我却选了另外一条路, 它荒草萋萋,十分幽寂; 显得更诱人,更美丽, 虽然在这两条小路上, 都很少留下旅人的足迹.   那天清晨落叶满地, 两条路都未见脚印痕迹. 呵,留下一条路等改日再
  • Java处理15位身份证变18位 蕃薯耀 18位身份证变15位15位身份证变18位身份证转换
      15位身份证变18位，18位身份证变15位 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 201
  • SpringMVC4零配置--应用上下文配置【AppConfig】 hanqunfeng springmvc4
    从spring3.0开始，Spring将JavaConfig整合到核心模块，普通的POJO只需要标注@Configuration注解，就可以成为spring配置类，并通过在方法上标注@Bean注解的方式注入bean。   Xml配置和Java类配置对比如下： applicationContext-AppConfig.xml   <!-- 激活自动代理功能 参看：
  • Android中webview跟JAVASCRIPT中的交互 jackyrong JavaScripthtmlandroid脚本
      在android的应用程序中,可以直接调用webview中的javascript代码,而webview中的javascript代码,也可以去调用ANDROID应用程序(也就是JAVA部分的代码).下面举例说明之: 1 JAVASCRIPT脚本调用android程序    要在webview中,调用addJavascriptInterface(OBJ,int
  • 8个最佳Web开发资源推荐 lampcy 编程Web程序员
    Web开发对程序员来说是一项较为复杂的工作，程序员需要快速地满足用户需求。如今很多的在线资源可以给程序员提供帮助，比如指导手册、在线课程和一些参考资料，而且这些资源基本都是免费和适合初学者的。无论你是需要选择一门新的编程语言，或是了解最新的标准，还是需要从其他地方找到一些灵感，我们这里为你整理了一些很好的Web开发资源，帮助你更成功地进行Web开发。 这里列出10个最佳Web开发资源，它们都是受
  • 架构师之面试------jdk的hashMap实现 nannan408 HashMap
    1.前言。   如题。 2.详述。   (1)hashMap算法就是数组链表。数组存放的元素是键值对。jdk通过移位算法（其实也就是简单的加乘算法），如下代码来生成数组下标(生成后indexFor一下就成下标了）。 static int hash(int h) { h ^= (h >>> 20) ^ (h >>>
  • html禁止清除input文本输入缓存 Rainbow702 html缓存input输入框change
    多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。 如果不想让浏览器缓存input的值，有2种方法： 方法一： 在不想使用缓存的input中添加 autocomplete="off";  <input type="text" autocomplete="off" n
  • POJO和JavaBean的区别和联系 tjmljw POJOjava beans
    POJO 和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Pure Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比 POJO复杂很多， Java Bean 是可复用的组件，对 Java Bean 并没有严格的规
  • java中单例的五种写法 liuxiaoling java单例
    /** * 单例模式的五种写法： * 1、懒汉 * 2、恶汉 * 3、静态内部类 * 4、枚举 * 5、双重校验锁 */ /** * 五、 双重校验锁，在当前的内存模型中无效 */ class LockSingleton { private volatile static LockSingleton singleton; pri
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他