Torch7学习（五）——学习神经网路包的用法（3）

torch7学习（一）——Tensor
Torch7学习(二) —— Torch与Matlab的语法对比
Torch7学习（三）——学习神经网络包的用法（1）
Torch7学习（四）——学习神经网络包的用法（2）
Torch7学习（五）——学习神经网路包的用法（3）
Torch7学习（六）——学习神经网络包的用法（4）——利用optim进行训练
Torch7学习（七）——从neural-style代码中看自定义重载函数的训练方式

总说

这篇博客主要是讲对于只有简单层的神经网络，进行手动挡的训练方法。
以及卷积层模块以及criterion模块。

例子

Simple Layer的Add层。

module = nn.Add(inputDim, scalar)

y = torch.Tensor(5)
mlp = nn.Sequential()
mlp:add(nn.Add(5))

function gradUpdate(net,x,y,criterion,learningRate)
    local pred = net:forward(x)
    local err = criterion:forward(pred, y)
    local gradCriterion = criterion:backward(pred, y)

    -- 当必要的数据有了之后，进行三步法
    -- 1. 清空net中所有参数的梯度
    net:zeroGradParameters()
    -- 2. backward一下，这个会更新网络的权值以及相应的权值梯度和输入梯度。
    -- 当然这个函数只会返回输入的梯度。
    net:backward(x,gradCriterion)
    -- 3. 调用updateParameters进行更新参数
    net:updateParameters(learningRate)
    return err
end

-- 更新
for i = 1,1000 do
    x = torch.rand(5)
    y:copy(x)
    for i = 1,5 do 
        y[i] = y[i]+1
    end
    -- 此时训练数据构造完毕
    err = gradUpdate(mlp, x,y, nn.MSECriterion(), 0.01)

Convolution Layers

依据输入的Tensor的维度，可以分成3种。
Temporal Modules, Spatial Modules和Volumetric Modules，分别对应一维，二维和三维的输入。举例就是分别对应语句、图像、视频。

对于常见的Spatial Modules主要有SpatialConvolution，SpatialFullConvolution，SpatialMaxPooling，SpatialAvaragePooling和SpatialBatchNormalization。

SpatialConvolution

module = nn.SpatialConvolution(inputChannel,outputChannel,kW, kH, [dW],[dH],[padW],[padH])

kW和kH分别是width和height。
dW和dH分别是step of width/height
padW, padH默认为0.
因此，如果原图像是inputChannel*height*width, 输出图像是outputChannel* oheight* owidth
那么：
owidth = floor(width+2*padW-kW)/dW +1)
oheight = floor(height+2*padH-kH)/dH +1)

Criterions

对于分类的，一般有classNLLCriterion, classEntropyCriterion。对于回归的，有MSECriterion.
成员函数有

[loss] forward(input, target)
[dLoss_doutput] backward(output, target)

下一篇博客将会将最最关心的如何书写自定义自动挡训练网络了！