OpenMMLab课程笔记Day1

监督学习与无监督学习的区别:前者需要人的经验,后者不需要,自己学习大量数据的结构和规律。

强化学习:如何和环境交互,获得最大收益。

深度神经网络

自适应梯度算法:根据梯度的历史幅度自动调整学习率(区分”学习重点“)

优化器:动量,将上一步的移动延续到本布,帮助逃离局部极小值与鞍点,环节随机梯度下降的波动

为了避免过拟合,我们设计了early stopping

卷积神经网络

分为卷积层,激活层,池化层,全连接层,(概率输出层(softmax函数))

卷积层的变形:边缘填充(padding),步长(stride),空洞(dilation)(其中dilation见下图)

OpenMMLab课程笔记Day1_第1张图片

pytorch简介

tensor库包括:

autograd自动求导,nn神经网络构建,optim优化器,utils.data,其中nn包括nn.Module(通用模型接口)和nn.functional(函数库)

你可能感兴趣的:(pytorch,深度学习,计算机视觉)