【神经网络基础】1.神经网络与多层感知机(笔记)

目录

1.前言

1.1学习安排

​1.2学习推荐 

1.3本章学习目标​

2.人工神经元

2.1人工神经元 

​2.2人工神经网络 

​2.3第一个人工神经网络 

​2.4感知机致命缺点 

​3.多层感知机 

​3.1多层感知机的前向传播

​3.2多层感知机的激活函数

​4.激活函数 

​5.反向传播 

5.1计算图 

​5.2梯度下降法

5.3学习率

​6. 损失函数

​6.1两种常见的损失函数 

6.2交叉熵

6.3Softmax函数 

7.权值初始化

​7.1两种自适应标准差初始化方法

​8.正则化方法 

8.1过拟合与方差

8.2正则项

8.2.1 L1正则和L2正则的效果

8.2.2 L2正则:权值衰减 

​8.2.3 Dropout

8.2.4 其他正则化方法

​9.本章总结 


1.前言

1.1学习安排

【神经网络基础】1.神经网络与多层感知机(笔记)_第1张图片1.2学习推荐 

【神经网络基础】1.神经网络与多层感知机(笔记)_第2张图片吴恩达深度学习课程:https://www.deeplearning.ai

李宏毅深度学习课程:https://www.bilibili.com 搜索李宏毅

花书:https://github.com/exacity/deeplearningbook-chinese

1.3本章学习目标

【神经网络基础】1.神经网络与多层感知机(笔记)_第3张图片

2.人工神经元

2.1人工神经元 

【神经网络基础】1.神经网络与多层感知机(笔记)_第4张图片2.2人工神经网络 

【神经网络基础】1.神经网络与多层感知机(笔记)_第5张图片2.3第一个人工神经网络 

【神经网络基础】1.神经网络与多层感知机(笔记)_第6张图片2.4感知机致命缺点 

【神经网络基础】1.神经网络与多层感知机(笔记)_第7张图片3.多层感知机 

【神经网络基础】1.神经网络与多层感知机(笔记)_第8张图片3.1多层感知机的前向传播

【神经网络基础】1.神经网络与多层感知机(笔记)_第9张图片3.2多层感知机的激活函数

【神经网络基础】1.神经网络与多层感知机(笔记)_第10张图片4.激活函数 

【神经网络基础】1.神经网络与多层感知机(笔记)_第11张图片

【神经网络基础】1.神经网络与多层感知机(笔记)_第12张图片常见激活函数 

【神经网络基础】1.神经网络与多层感知机(笔记)_第13张图片5.反向传播 

【神经网络基础】1.神经网络与多层感知机(笔记)_第14张图片

5.1计算图 

【神经网络基础】1.神经网络与多层感知机(笔记)_第15张图片5.2梯度下降法

【神经网络基础】1.神经网络与多层感知机(笔记)_第16张图片

5.3学习率

【神经网络基础】1.神经网络与多层感知机(笔记)_第17张图片

【神经网络基础】1.神经网络与多层感知机(笔记)_第18张图片6. 损失函数

【神经网络基础】1.神经网络与多层感知机(笔记)_第19张图片6.1两种常见的损失函数 

【神经网络基础】1.神经网络与多层感知机(笔记)_第20张图片

6.2交叉熵

【神经网络基础】1.神经网络与多层感知机(笔记)_第21张图片

【神经网络基础】1.神经网络与多层感知机(笔记)_第22张图片举例

【神经网络基础】1.神经网络与多层感知机(笔记)_第23张图片

【神经网络基础】1.神经网络与多层感知机(笔记)_第24张图片

6.3Softmax函数 

【神经网络基础】1.神经网络与多层感知机(笔记)_第25张图片

举例 

【神经网络基础】1.神经网络与多层感知机(笔记)_第26张图片

【神经网络基础】1.神经网络与多层感知机(笔记)_第27张图片

7.权值初始化

【神经网络基础】1.神经网络与多层感知机(笔记)_第28张图片7.1两种自适应标准差初始化方法

【神经网络基础】1.神经网络与多层感知机(笔记)_第29张图片

8.正则化方法 

【神经网络基础】1.神经网络与多层感知机(笔记)_第30张图片

8.1过拟合与方差

【神经网络基础】1.神经网络与多层感知机(笔记)_第31张图片过拟合现象 

【神经网络基础】1.神经网络与多层感知机(笔记)_第32张图片

8.2正则项

【神经网络基础】1.神经网络与多层感知机(笔记)_第33张图片

8.2.1 L1正则和L2正则的效果

【神经网络基础】1.神经网络与多层感知机(笔记)_第34张图片

L1正则使得权值稀疏,去除某些权值;L2正则使得权值衰减,使得权值不至于过大。

8.2.2 L2正则:权值衰减 

【神经网络基础】1.神经网络与多层感知机(笔记)_第35张图片8.2.3 Dropout

【神经网络基础】1.神经网络与多层感知机(笔记)_第36张图片

8.2.4 其他正则化方法

【神经网络基础】1.神经网络与多层感知机(笔记)_第37张图片9.本章总结 

【神经网络基础】1.神经网络与多层感知机(笔记)_第38张图片 

你可能感兴趣的:(深度学习,神经网络)