深度神经网络面临的挑战与解决方案

模型选择(structural decision)

主观性的领域知识(domain knowledge):针对图像的CNN,卷积神经网络模型。

模型复杂度(model complexity)

正则化(regularization)技术:

  • dropout:when network corrupted

    网络结构本身被破坏时

  • denoising:when input corrupted

    输入信息被污染

优化问题(optimization problem)

  • careful initialization 避免局部极小值的出现

    这一步称为预训练(pre-training

计算复杂度

  • 采用新的硬件体系结构:比如使用GPU(使用mini_batch

你可能感兴趣的:(深度神经网络面临的挑战与解决方案)