咸鱼了半个多月了，要干点正经事了。
最近在帮老师用神经网络做多变量非线性的回归问题，没有什么心得，但是也要写个博文当个日记。
该回归问题是四个输入，一个输出。自己并不清楚这几个变量有什么关系，因为是跟遥感相关的，就瞎做呗。
- 数据预处理的选择
刚开始选取了最大最小值的预处理方法，调了很久的模型但是最后模型的输出基本不变。
换了z-score的预处理方法，模型的输出才趋于正常。
- 损失函数的选择
对于回归问题，常用的损失函数有三种，一个是平方误差函数，一个是绝对值误差函数，还有一个是交叉熵函数。
在其他参数都不变的时候分别采用这三个损失函数：
1.交叉熵
2.绝对值误差函数
3.平方误差函数
结论：从上面三个图中国可以看出，相同条件下，绝对值误差函数得到的效果好一些。
- batch_size大小的选择
bach_size = 32
bach_size = 64
bach_size = 128
batch_size = 256
在两个不同的batch_size下，网络最后的loss值都差不多，但是在验证集上，当batch_size = 64/128时，loss曲线比较稳定。
结论：一定范围内，batch_size越大，其确定的下降方向就越准，引起训练震荡越小.随着batch_size增大，处理相同的数据量的速度越快。但是随着batchsize增大，达到相同精度所需要的epoch数量越来越多。过大的batch_size的结果是网络很容易收敛到一些不好的局部最优点。同样太小的batch_size会使得训练速度很慢，训练不容易收敛。
- 是否添Dropout层
不加dropout层
加了Dropout层
加了Dropout层后模型的loss值反而升高，但是测试集上的loss下降能平稳一些。
- 深层网络和浅层网络的选择
我自己觉得这样一个简单的问题其实浅层网络就能解决，但是老师想搭一下深度学习的车，没办法只能用比较一下两个模型。
含有一个隐层的全连接网络，64个神经元，最后模型的loss值为：0.1032
含有两个隐层的全连接网络，第一层32个神经元，第二层16个神经元，最后的loss值为0.0995
含有三个隐层的全连接网络，第一层32个神经元，第二层16个神经元，第三层8个神经元，最后模型的loss值为0.0986
含有四个隐层的全连接网络，第一层32个神经元，第二层16个神经元，第三层8个神经元，第四层4个神经元，最后模型的loss值为0.0993
含有五个隐层的全连接网络，第一层32个神经元，第二层16个神经元，第三层8个神经元，第四层4个神经元，第五层2个神经元，最后模型的loss值为0.0991
含有五个隐层的全连接网络，第一层32个神经元，第二层16个神经元，第三层8个神经元，第四层4个神经元，第五层2个神经元，第六层2个神经元，最后模型的loss值为0.0988
........
结论：在一定范围内，随着网络层的加深，模型的准确率升高。超过一定范围，随着网络层的加深，模型的准确率不但不升反而下降，测试集上的准确率也会下降，所以这并不是出现了过拟合。
- 模型宽度的选择
由于上一个实验中三层模型的loss值最低，所以我选择三层模型来做这个对于模型宽度选择的实验。
1、含有三个隐层的全连接网络，第一层32个神经元，第二层16个神经元，第三层8个神经元，最后模型的loss值为0.0986
2、含有三个隐层的全连接网络，第一层32个神经元，第二层32个神经元，第三层16个神经元，最后模型的loss值为0.0986
3、含有三个隐层的全连接网络，第一层32个神经元，第二层32个神经元，第三层32个神经元，最后模型的loss值为0.0960
4、含有三个隐层的全连接网络，第一层32个神经元，第二层64个神经元，第三层32个神经元，最后模型的loss值为0.0967
5、含有三个隐层的全连接网络，第一层32个神经元，第二层64个神经元，第三层64个神经元，最后模型的loss值为0.0967
结论：在一定范围内，网络模型越宽，模型的准确率越高，但是超过某一阈值后，模型的准确率不再提高，测试集上loss下降震荡越来越明显，说明模型的复杂度已经高于回归问题真是模型的复杂度。
- 尝试残差网络
第一种残差网络：
def identity_block(x):
out = Dense(32)(x)
#out = BatchNormalization()(out)
out = Activation('tanh')(out)
#out = Dropout(0.1)(out)
out = Dense(32)(x)
#out = Dropout(0.1)(out)
#out = BatchNormalization()(out)
out = Activation('tanh')(out)
out = Dense(4)(out)
#out = BatchNormalization()(out)
out = merge([out,x],mode='sum')
out = Activation('tanh')(out)
return out
结论：和全连接网络相比，残差网络loss下降很快，测试集上loss下降曲线很平滑，但是模型的准确率却不如普通三层的全连接网络，最终的loss值为0.1021。
第二种残差网络：
def fc_block(x):
out = Dense(32)(x)
out = Activation('tanh')(out)
out = Dense(32)(x)
out = Dropout(0.1)(out)
out = Activation('tanh')(out)
out = Dense(32)(out)
x = Dense(32)(x)
out = merge([out, x], mode = 'sum')
out = Activation('tanh')(out)
return out
结论：第二种残差网络的loss值为0.1016，比第一种残差网络的效果能好一点。在ResNet中，这两个模块是交替使用的。
将两个模块叠加之后，模型的准确率并没有提升，应该是模型过度复杂了，最后模型的loss值为0.1027。
- relu还是tanh
由于输出值的范围是[-1, 1]，因此模型的输出层的激活函数只能选择tanh。
在隐藏层中，可以选择relu和tanh作为隐藏层的激活函数。
模型结构为3层，神经元分别是32,32,32。就是上一个步骤中loss最低的网络结构，在上一个步骤中隐层的激活层使用的是tanh，loss值为0.0960
将tanh换成relu：
采用relu作为激活函数，模型的计算速度会加快，因为求导很简单。在这个问题只使用relu会使模型的准确率下降。一般在复杂的模型中使用relu比较多。