如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？-- 019

♣题目部分        如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？          A.添加正则项    B.获取更多测试数据    C.增加每个隐藏层的神经元数量    D.用更深的神经网络    E.用更多的训练数据     




♣答案部分
          AE：方差较高（high variance），表示数据过度拟合（overfitting），有两个解决方法，一个是正则化，另一个是准备更多的数据。            如果用的是L1正则化，w最终会是稀疏的，也就是说w向量中有很多0，有人说这样有利于压缩模型，因为集合中参数均为0，存储模型所占用的内存更少。实际上，虽然L1正则化使模型变得稀疏，却没有降低太多存储内存，所以我认为这并不是L1正则化的目的，至少不是为了压缩模型，人们在训练网络时，越来越倾向于使用L2正则化，L2正则化也被称为“权重衰减”。         除了L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”        在训练过程中，我们希望训练误差，代价函数J都在下降，通过early stopping，我们不但可以绘制上面这些内容，还可以绘制验证集误差，它可以是验证集上的分类误差，或验证集上的代价函数，逻辑损失和对数损失等，你会发现，验证集误差通常会先呈下降趋势，然后在某个节点处开始上升，early stopping的作用是，你会说，神经网络已经在这个迭代过程中表现得很好了，我们在此停止训练吧，得到验证集误差。
  

About Me：小婷儿

● 本文作者：小婷儿，专注于python、数据分析、数据挖掘、机器学习相关技术，也注重技术的运用

● 作者博客地址：https://blog.csdn.net/u010986753

● 本系列题目来源于作者的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解

● 版权所有，欢迎分享本文，转载请保留出处

● 微信：tinghai87605025 联系我加微信群

● QQ：87605025

● QQ交流群py_data ：483766429

● 公众号：python宝 或 DB宝

● 提供OCP、OCM和高可用最实用的技能培训

● 题目解答若有不当之处，还望各位朋友批评指正，共同进步

点击下方我的头像，赞赏我哦