P9机器学习笔记--李宏毅（鱼与熊掌兼得）为什么要更深

我们让在很少得H里面又有很好的h让LOSS很低这样我们的理想与现实差距又小又保证了质量，这样我们就做到了鱼与熊掌兼得！怎么样鱼与熊兼得呢，那就是深度学习！

一、前情回顾

前情回顾，我们要弄个function逼近这个曲线

这个绿色的线，可以由每一个neural产生的蓝色的线拼凑而成

 

最后经过sigmoid把它曲线化

 

 你可以通过设置不同weigh不同的bias制造出不同的sigmoid function，把他们统统加起来再加上常数，你可以得到任何的picewiselinear function，picewiselinear function可以逼近任何的function：

 我们可以把sigmoid换成relu，两个relu可以合成一个hard sigmoid，够多的hard sigmoid就能形成piecewiselinear function，picewiselinear function可以逼近任何的function：

 二、深度学习

当越来越深时，H就越来越大就代表你的理想越来越美好！如果你有巨大的训练资料，你的效果就会很好！这就是深度学习

三、为什么要更深而不是更胖 

当参数量相同时，矮胖和高瘦谁的效果会更好？

当参数量一样时高瘦明显比矮胖效果更好： 

 为什么呢？当要同样的funciton时，深的只需要更少的参数就能达到效果，而胖的需要更多：

用逻辑电路举例：

 

 两个neural是relu第一个x小于0.5时没有任何贡献形成了下半段，第二个x大于0.5没有任何贡献形成了上半段：

然后我们再加一层，再看x对a2的影响

 

再加一层我们看x对a3的影响：

 

当同样产生output，input 2k次方的线段时，

深的只需要2K个neurals，有更小的|H|

胖的需要2k次方个neurals ,有更大的|H|，这样就需要大量的资料才会有更好的效果

 所以DEEP learning只需要少量的资料！

最后：

深度学习适合现在的语音以及图像学习