深度学习的四个学习阶段!

点上方计算机视觉联盟获取更多干货

仅作学术分享,不代表本公众号立场,侵权联系删除

转载于:Coggle数据科学

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接

机器学习领域是巨大的,为了学习不迷路,可以从以下列表帮助学习。它概述深度学习的一些学习细节。

阶段1:入门级

入门级能够掌握以下技能:

  • 能够处理小型数据集

  • 理解经典机器学习技术的关键概念

  • 理解经典网络DNN、CNN和RNN

数据处理

在入门级使用的数据集很小,可以放入主内存中。只需几行代码即可应用此类操作。在此阶段数据包括Audio、Image、Time-series和Text等类型。

经典机器学习

在深入研究深度学习之前,学习基本机器学习技术是一个不错的选择,其包括回归、聚类、SVM和树模型。

网络

掌握常见的网络层,以及相应的神经网络;GAN、AE、VAE、DNN、CNN、RNN 等等。在入门阶段,可以优先掌握DNN、CNN和RNN。

理论

没有神经网络就没有深度学习,没有(数学)理论就没有神经网络。可以通过了解数学符号来开始学习,可以从矩阵、线性代数和概率论开始你的学习

深度学习的四个学习阶段!_第1张图片

阶段2:进阶水平

进阶和入门级之间没有真正的分界,进阶水平能够处理更大的数据集,能够使用高级网络处理自定义项模型:

  • 处理更大的数据集

  • 能够自定义模型完成任务

  • 网络模型精度变得更好

数据处理

能够处理几GB的数据集,需要自定义数据扩增方法和数据处理函数。

自己完成任务

能够根据具体任务完成代码的开发,而不是参考MNIST的教程完成编码。

自定义网络

处理自定义项目时,如何处理数据数据?如何定义自己的网络层?

模型训练

掌握迁移学习的思路,学会使用预训练权重完成新任务。并掌握冻结部分网络层的方法。

深度学习理论

掌握深度学习模型的正向传播和反向传播,特别是链式求导法则。掌握激活函数和目标函数的作用,能够选择合适的激活函数和目标函数。

深度学习的四个学习阶段!_第2张图片

阶段3:熟练水平

与进阶相比你需要掌握更加的数据集处理方法,并掌握加速模型训练的方法:

  • 大规模数据的处理和存储

  • 网络模型的调参

  • 无监督学习和强化学习

数据处理

需要掌握几百GB数据集的处理,学会Linux的操作。此阶段可能接触到多模态任务。

无监督项目

开始尝试无监督网络模型的搭建,如自编码器和GAN模型,能够掌握模型原理。

模型训练

掌握模型调参的方法和常见的日志和可视化工具,如TensorBoard的使用。掌握学习率的调节方法,如余弦退火。掌握多机和混合精度训练。

深度学习的四个学习阶段!_第3张图片

阶段4:专家级

掌握前沿的学术模型的发展,知道自己的兴趣是什么,并能提出新的模型:

  • 学会使用JAX或DALI处理数据

  • 熟悉图神经网络和Transformer模型

本文在原文基础上进行了精简,原文链接:https://towardsdatascience.com/a-guide-to-the-field-of-deep-learning-9bb9b21dae2

-------------------

END

--------------------

我是王博Kings,985AI博士,华为云专家、CSDN博客专家(人工智能领域优质作者)。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容,欢迎一起交流学习、生活各方面的问题,一起加油进步!

我们微信交流群涵盖以下方向(但并不局限于以下内容):人工智能,计算机视觉,自然语言处理,目标检测,语义分割,自动驾驶,GAN,强化学习,SLAM,人脸检测,最新算法,最新论文,OpenCV,TensorFlow,PyTorch,开源框架,学习方法...

这是我的私人微信,位置有限,一起进步!

深度学习的四个学习阶段!_第4张图片

王博的公众号,欢迎关注,干货多多

王博Kings的系列手推笔记(附高清PDF下载):

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(上)

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(下)

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看

你可能感兴趣的:(人工智能,编程语言,神经网络,机器学习,深度学习)