深度学习 ——回归预测Tips

深度学习 ——回归预测Tips

1. 预测增减偏移量或预测比值 比 直接预测数值 更容易。

2. 预测偏移量方式:
   (1) 从起始处预测，使用sigmoid(0,1)/relu(0,1)，sigmoid函数更倾向于预测0。
   (2) 从中间处预测，使用tanh(-1,1)
   总结：对比sigmoid，relu，tanh做过实验，sigmoid的效果最好

3. 校正模块
   将预测结果在激活函数(如果有）之前的向量放入一个浅层校正模快中进行校正，校正的方式可以是：

   • 乘以一个旋转矩阵，可以经过全连接层直接得到结果，效果不错。
   • 加上一个偏移量，可以通过全连接层预测一个偏移量，再与原来的预测结果相加。重点！不限于用最后一层向量，可以用前面的特征层，做过实验，用卷积之后的特征向量能进行更精准的校正。
   • 两者结合，效果更好！

4. 全连接神经元个数设置

   • 经过卷积提取特征后再flatten的特征向量（一般不会太小），后面接的全连接层神经元数量大概缩小10倍。
   • 为了缩小模型，经过卷积提取特征后的特征向量可以通过全连接层缩小特征向量，第一层也大概缩小10倍，后面大概2倍以内。
   • 层数多的优势 大于 数量多。
   • 处于中间位置并且相邻全连接层神经元数量越接近（2倍以内），效果越好。如：96->128可能优于96->1024。
   • 没有经过卷积的特征向量，后面可以接暴力的全连接层1024/2048/4096等。