HUAWEI人工智能训练营(二):深度学习

课程内容
描述神经网络的定义与发展
熟悉深度学习神经网络的重要“部件”
熟悉神经网络的训练与优化
描述深度学习中常见的问题

一、 深度学习简介

(一)概念

1、深度学习概念
端到端的学习,可以自动完成数据清理、特征提取、特征选择等步骤。HUAWEI人工智能训练营(二):深度学习_第1张图片
HUAWEI人工智能训练营(二):深度学习_第2张图片
2、ANN人工神经网络:
HUAWEI人工智能训练营(二):深度学习_第3张图片

(二)单层感知器

1、概念
HUAWEI人工智能训练营(二):深度学习_第4张图片
HUAWEI人工智能训练营(二):深度学习_第5张图片
2、XOR问题
HUAWEI人工智能训练营(二):深度学习_第6张图片
前馈神经网络:多层感知器
HUAWEI人工智能训练营(二):深度学习_第7张图片
解决异或问题:
HUAWEI人工智能训练营(二):深度学习_第8张图片
隐藏层数对神经网络的影响:
HUAWEI人工智能训练营(二):深度学习_第9张图片

二、训练法则

(一)梯度下降与损失函数

1、损失函数
HUAWEI人工智能训练营(二):深度学习_第10张图片
HUAWEI人工智能训练营(二):深度学习_第11张图片
最小化损失值,获得最合适的w,使真实值与预测值尽量靠近。
2、损失函数的极值
HUAWEI人工智能训练营(二):深度学习_第12张图片
3、常用的损失函数
HUAWEI人工智能训练营(二):深度学习_第13张图片
交叉熵:刻画两个概念的重叠程度。
4、反向传播算法
HUAWEI人工智能训练营(二):深度学习_第14张图片在这里插入图片描述在这里插入图片描述
HUAWEI人工智能训练营(二):深度学习_第15张图片
反向传播在数学中叫做链式法则。
HUAWEI人工智能训练营(二):深度学习_第16张图片
HUAWEI人工智能训练营(二):深度学习_第17张图片

三、激活函数

(一)概念

HUAWEI人工智能训练营(二):深度学习_第18张图片

(二)常见激活函数

1、Sigmoid函数
HUAWEI人工智能训练营(二):深度学习_第19张图片
2、tanh函数
HUAWEI人工智能训练营(二):深度学习_第20张图片
3、Softsign函数
HUAWEI人工智能训练营(二):深度学习_第21张图片
4、ReLU函数
前三种会发生梯度消失。
HUAWEI人工智能训练营(二):深度学习_第22张图片
5、Softplus函数
HUAWEI人工智能训练营(二):深度学习_第23张图片
6、Softmax函数
HUAWEI人工智能训练营(二):深度学习_第24张图片

四、正则化

目的:增强泛化能力,防止过拟合。
HUAWEI人工智能训练营(二):深度学习_第25张图片
Dropout:类似生成随机森林。
1、L1/L2正则
HUAWEI人工智能训练营(二):深度学习_第26张图片
HUAWEI人工智能训练营(二):深度学习_第27张图片
2、数据集合扩充
HUAWEI人工智能训练营(二):深度学习_第28张图片
3、Dropout
HUAWEI人工智能训练营(二):深度学习_第29张图片
4、提前停止
HUAWEI人工智能训练营(二):深度学习_第30张图片

五、优化器

HUAWEI人工智能训练营(二):深度学习_第31张图片
SGD** 用的多
(动量优化器monmtum,学习率优化器Adagrad,RMSprop)---->Adam
BGD
MBGD

(一)概念

HUAWEI人工智能训练营(二):深度学习_第32张图片

(二)几种优化器

1、动量优化器
HUAWEI人工智能训练营(二):深度学习_第33张图片
HUAWEI人工智能训练营(二):深度学习_第34张图片
2、Adagrad优化器
HUAWEI人工智能训练营(二):深度学习_第35张图片
学习率:决定跨步有多大
3、Adam优化器
动量优化器策略 + 学习率优化器策略
HUAWEI人工智能训练营(二):深度学习_第36张图片

(三)优化器性能比较

HUAWEI人工智能训练营(二):深度学习_第37张图片

六、神经网络类型

CNN:卷积神经网络
适合处理图像的信息,提取图像特征能力优异。
RNN:循环神经网络
适合处理时间序列数据,适合处理文本音频视频数据等
GAN:生成对抗神经网络
换脸、制造数据

(一)卷积神经网络

1、概念
HUAWEI人工智能训练营(二):深度学习_第38张图片
HUAWEI人工智能训练营(二):深度学习_第39张图片
卷积计算:
HUAWEI人工智能训练营(二):深度学习_第40张图片
2、卷积层
HUAWEI人工智能训练营(二):深度学习_第41张图片
3、池化层
HUAWEI人工智能训练营(二):深度学习_第42张图片
4、全连接层
HUAWEI人工智能训练营(二):深度学习_第43张图片

(二)循环神经网络

HUAWEI人工智能训练营(二):深度学习_第44张图片HUAWEI人工智能训练营(二):深度学习_第45张图片
LSTM网络:(优化了循环神经网络可能会发生梯度消失的问题)
HUAWEI人工智能训练营(二):深度学习_第46张图片

(三)生成对抗网络

HUAWEI人工智能训练营(二):深度学习_第47张图片
HUAWEI人工智能训练营(二):深度学习_第48张图片

七、常见问题

1、数据不平衡问题
HUAWEI人工智能训练营(二):深度学习_第49张图片
处理方法:
随机欠采样:删除类中多的样本。
随机过采样:拷贝样本。
合成采样:提取样本,合成样本。

2、梯度消失和梯度爆炸问题HUAWEI人工智能训练营(二):深度学习_第50张图片
思考作业:
思考深度学习与机器学习的区别与联系?
HUAWEI人工智能训练营(二):深度学习_第51张图片
深度学习是机器学习的一种形式,既可以使用监督算法,也可以使用非监督算法,或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。

你可能感兴趣的:(HUAWEI人工智能训练营,神经网络,机器学习,深度学习)