二、人工神经网络(上)

                                                                      人工神经网络(上)

神经网络的思想起源

神经元的原理

神经网络结构

正向传播算法

怎样用于实际问题

反向传播算法概述

算法的历史

神经网络训练时的优化目标函数

几个重要的复合函数求导公式

算法的推导

算法的总结

工程实现问题

 

1、神经网络的思想起源

人类的大脑由大约800亿个神经元组成

这些神经元由突触与其他神经元相互谅解,交换电信号和化学信号

大脑通过神经元之间的协作完成各种功能

神经元之间的连接关系是通过进化、生长发育和后天刺激形成的

二、人工神经网络(上)_第1张图片

人工神经网络

受动物神经系统的启发,是一种仿生的方法。但只是简单的模仿

是感知器模型、Logistic回归的进一步发展

2、神经元的原理

二、人工神经网络(上)_第2张图片

先加权,再激活

3、sigmoid激活函数

定义域:负无穷->正无穷

值域:0-1

单调性:单调递增

4、神经网络结构

二、人工神经网络(上)_第3张图片

多层前馈型感知网络

二、人工神经网络(上)_第4张图片

输入层 隐含层 输出层

二、人工神经网络(上)_第5张图片

二、人工神经网络(上)_第6张图片

二、人工神经网络(上)_第7张图片

 

5、正向传播算法

二、人工神经网络(上)_第8张图片

完整的正向传播算法

二、人工神经网络(上)_第9张图片

 

神经网络本质上是一个多层复合函数

通过调整权重和偏置项实现不同的映射

权重和偏置项的值通过训练得到

 

怎样用于实际问题

分类问题-输入值为特征向量或原始数据,输出值为one-hot编码

回归问题-输出值为回归函数值

 

对于分类问题,分类结果为输出层神经元的最大值

对于回归问题,直接是输出层的值

 

分类问题-手写数字图像识别

二、人工神经网络(上)_第10张图片

回归问题-预测人脸关键点

神经网络直接为输入图像预测出关键点的坐标(x,y)

二、人工神经网络(上)_第11张图片

6、反向传播算法简介

解决神经网络参数求导问题

源自微积分中多元函数求导的链式法则

与梯度下降法配合,完成网络的训练

 

反向传播算法并不是用于学习整个神经网络的算法,而是仅用于计算梯度的算法

 

以3层网络为例:

二、人工神经网络(上)_第12张图片

 

二、人工神经网络(上)_第13张图片

二、人工神经网络(上)_第14张图片

二、人工神经网络(上)_第15张图片

二、人工神经网络(上)_第16张图片

 

神经网络的权重和偏置参数通过训练得到

训练的目标是最小化训练样本的预测误差

以均方误差为例(也叫欧氏距离):

二、人工神经网络(上)_第17张图片

也可以写为对单个样本损失的均值:

二、人工神经网络(上)_第18张图片

如果对所有参数的梯度值已经计算出来,则可以用梯度下降法更新:

现在的问题是目标函数是一个复合函数,每层都有权重矩阵和偏置向量,如何计算损失函数对他们的导数值?

欧氏距离损失函数的梯度值

二、人工神经网络(上)_第19张图片

 

多元函数求导的链式法则

二、人工神经网络(上)_第20张图片

问题1:

二、人工神经网络(上)_第21张图片

二、人工神经网络(上)_第22张图片

二、人工神经网络(上)_第23张图片

 

问题2:

二、人工神经网络(上)_第24张图片

二、人工神经网络(上)_第25张图片

 

问题3:

二、人工神经网络(上)_第26张图片

二、人工神经网络(上)_第27张图片

问题4:

二、人工神经网络(上)_第28张图片

二、人工神经网络(上)_第29张图片

问题5:

二、人工神经网络(上)_第30张图片

二、人工神经网络(上)_第31张图片

二、人工神经网络(上)_第32张图片

二、人工神经网络(上)_第33张图片

雅克比矩阵

二、人工神经网络(上)_第34张图片

又可以用下面的进行解释

二、人工神经网络(上)_第35张图片

 

二、人工神经网络(上)_第36张图片

二、人工神经网络(上)_第37张图片

二、人工神经网络(上)_第38张图片

反向传播

二、人工神经网络(上)_第39张图片

二、人工神经网络(上)_第40张图片

 

7、反向传播算法:

二、人工神经网络(上)_第41张图片

神经网络的训练算法可以总结为

         复合函数求导+梯度下降法

梯度下降法有几种不同的实现

         单样本模式

         批量模式

除梯度下降法以外,还可以采用二阶技术,如牛顿法、随机梯度下降法

 

8、工程实现问题

激活函数值,导数值,在正向传播的时候已经计算出来,存储备用

编程语言中的向量和矩阵按行存储,因此计算公式有所变化

二、人工神经网络(上)_第42张图片

 

你可能感兴趣的:(Deep,Learning)