深度学习 ——回归预测Tips

深度学习 ——回归预测Tips

  1. 预测增减偏移量或预测比值 比 直接预测数值 更容易。

  2. 预测偏移量方式:
    (1) 从起始处预测,使用sigmoid(0,1)/relu(0,1),sigmoid函数更倾向于预测0。
    (2) 从中间处预测,使用tanh(-1,1)
    总结:对比sigmoid,relu,tanh做过实验,sigmoid的效果最好

  3. 校正模块
    将预测结果在激活函数(如果有)之前的向量放入一个浅层校正模快中进行校正,校正的方式可以是:

    • 乘以一个旋转矩阵,可以经过全连接层直接得到结果,效果不错。
    • 加上一个偏移量,可以通过全连接层预测一个偏移量,再与原来的预测结果相加。重点!不限于用最后一层向量,可以用前面的特征层,做过实验,用卷积之后的特征向量能进行更精准的校正。
    • 两者结合,效果更好!
  4. 全连接神经元个数设置

    • 经过卷积提取特征后再flatten的特征向量(一般不会太小),后面接的全连接层神经元数量大概缩小10倍。
    • 为了缩小模型,经过卷积提取特征后的特征向量可以通过全连接层缩小特征向量,第一层也大概缩小10倍,后面大概2倍以内。
    • 层数多的优势 大于 数量多。
    • 处于中间位置并且相邻全连接层神经元数量越接近(2倍以内),效果越好。如:96->128可能优于96->1024。
    • 没有经过卷积的特征向量,后面可以接暴力的全连接层1024/2048/4096等。

你可能感兴趣的:(tensorflow,深度学习,tensorflow)