深度学习——入门笔记(3)

此处是硬着头皮跳过得(反向传播,因为我发现我看的懂每一句话,每一个推导,但是去细想很多东西却有种轰然崩塌得感觉,所以继续进行)

改善神经网络的方式:(其实就是将结果优化的方式)

1.交叉成本熵函数

错误的定义是无意义的,因为人类是从错误中学习的,但是根据常识,人犯的错误越大,学习效果越好,可对神经网络而言却不一定。

(文章举了两个例子)

(原因也很简单:sigmod导数变化率小)

深度学习——入门笔记(3)_第1张图片

 

因而引出交叉熵。相比于二次代价函数,交叉熵代价函数的优点是:误差越大,学习速度越快。

对于交叉熵理解:(https://blog.csdn.net/zxhm001/article/details/63684323)

作者在证明过程中的连等让人有一种证明错的感觉.....(另找了一篇验证:https://blog.csdn.net/oppo62258801/article/details/73294764)

两篇综合,其实发现交叉熵的证明挺简单的。而这样做的目的,最终其实就是把cost成本函数给换了。

 

softmax函数

(依旧先看了篇博文:https://blog.csdn.net/sinat_28002567/article/details/79398328)

(个人觉得文章中有点错误,他的损失函数不像是交叉熵,更像是书中提到的:对数似然成本函数)

大致了解了softmax函数:在这个过程中,你会发现用了softmax函数之后,梯度求导过程非常非常方便!

定位:softmax和sigmod是二选一

 

正则化(用缺陷换来泛化,一叶知秋):

感觉直接去看书,有点接受不了,所以(1.http://www.iqiyi.com/w_19rvegwajh.html,爱奇艺的一个视频,全面讲解了一下正则化

(2.莫凡的一个视频:https://www.bilibili.com/video/av16009446?from=search&seid=14901592125808388484

两个视频基本上将涉及到的东西说了一遍,与书中对比,其实感觉书中对为什么要用正则化,这部分的叙述还是不够打动人....可能是我要求太高。

最后,所谓正则化也可以理解为加入惩罚项——来自众多博客中的一句话(问:为什么看视频。答:博客看不下去了)。

 

权重初始化:

额,太菜......书里面英文我没太看懂。

所以(1.     step1: https://blog.csdn.net/crazy_scott/article/details/80343312 ,大致知道权重的原因)

(2. step2:  https://blog.csdn.net/dugudaibo/article/details/77318847,和原文很像的中文版本,然而但是,我可能上了一个假大学..........看不懂他对初始化的论述)

此处-----------------------------------------------------------分割-----------------------------------------------------------------------

感觉一直再搬运一些东西,所以开始尝试去写自己的理解吧。其实博客的思路很简单,他就想说明如果我证明出 Z的正态分布的概率函数是:

深度学习——入门笔记(3)_第2张图片

那我完全可以说,我的Z值(横坐标)经过例如sigmod函数的修正后(想象一下sigmod函数图像),神经元输出就会有很大可能接近0或1(纵坐标),达到所谓的神经元饱和。

而在这个过程中,有两个东西我一直不理解:

1.文章中:

由于概率底子薄,这句话的出现我是一脸懵逼。

(1)https://wenku.baidu.com/view/0c67f2710a1c59eef8c75fbfc77da26925c5960d.html(随机变量的和的方差是每个独立随机方差的和的证明) 说实话,这个证明我又没看懂。

(2)http://open.163.com/movie/2011/6/N/P/M82IC6GQU_M83JCRBNP.html (这是一个可汗学院的视频,很可惜,他恰巧没有证明上述式子,但却让我复习了相关知识)

好了,我不清楚你是否还有这样的疑惑,X不是独立随机变量吗?为什么有方差和均值?如果是大佬的话看到这句会笑的....但是我还真就一下子懵了。(https://blog.csdn.net/vincent_hbl/article/details/79175310),简单看看这个,其实你会发现,你应该把注意力从独立,变量,这些词上移开,而应该关注随机。不同的随机对成不同的分布,当然也有离散和连续的区分,如果每当你想到X,你同时想起了一个:

深度学习——入门笔记(3)_第3张图片

你便不会疑惑了。

(3)好了,言归正传,那个证明到底是什么,其实最最关键的,是:

就是这个等式,他为什么可以写成这样?是对于这个疑惑最后的疑问。(由于网上回答不尽人意,身边有没有概率书,此处先埋个坑,其实找了半天,最大的感叹就是,有的时候还是概率教科书好啊。。。https://www.zybang.com/question/0ef08592c13e5b8ca27d4fe88022f8a4.html,网上有那么一丝意思参考价值的回答,但我看着好像错了)

最终,有了这个结论,我们又知道均值0,(其实这个我不太清楚他怎么得到的?猜测感觉是继承了初始化的),但其实对于正态分布而言,最重要的不是均值,因为均值只是决定了他的位置,而决定其高度(大小)的是标准差,用上述定义证明,我勉强相信是上述那个图。

 

那好了,如果真是上面按个图,那按照signod函数图:

深度学习——入门笔记(3)_第4张图片

Z(横坐标)很容易(等同于很大概率)就比-6或6大,那输出神经元的值很容易接近0或1。

2.隐藏神经元会饱和

额,说实话,我目前是真不知道这个名词是什么鬼,查也没查到。然后(心虚,其实我对sofmax和反向传播掌握的还不好,所以文中的论述让我大伤脑筋),但是,但是,在我纠结要不要问老师(问了可能对被怼一顿,而且可能还是让我查百度)的纠结时刻,我突然想到,神经元饱和,对于sigmod意味着什么。意味着求导他的变化率会超级超级小,这不就是我们为什么要用交叉熵的原因吗。哇塞.....一下子,醍醐灌顶。

 

 

 

(注释:无限查看百度的过程中,翻到的:http://www.365yg.com/a6437735667681624322/#mid=52457700910,闲着没事可以科普看)

 

 

 

 

 

你可能感兴趣的:(deeplearning)