飞桨【李宏毅机器学习特训营】心得记录

【李宏毅机器学习特训营】心得记录

1. ​ 百度paddle训练营的机器学习课程，是由台大教授李宏毅正式授权的，全网最新最全系列AI课程视频，有中文字幕、配套专属课程作业，在线助教答疑的入门课程

   课程链接：https://aistudio.baidu.com/aistudio/course/introduce/1978

   QQ社群很活跃，工作人员和助教维护得很有秩序
   时间规划合理：
   

2. 《李宏毅机器学习特训营》的基础课程有13节，可以分为6部分：

第一部分：1、机器学习介绍； 2、回归；

实践：PM2.5预测。

第二部分：1、梯度下降； 2、分类；

实践：年收入判断。

第三部分：1、支持向量机； 2、集成学习； 3、深度学习预备；

实践：Paddle2.0基础练习。

第四部分：1、卷积神经网络；

实践1：食物图片分类；

实践2：语句分类。

第五部分：1、半监督学习；2、无监督学习；3、深度生成模型；4、迁移学习；

实践：迁移学习。

第六部分：挑战赛：中文新闻文本标题分类；

​ 百度官方比赛；直播讲解赛题。

3. 部分学习笔记

未完待续……

4. 补充

   优秀的激活函数应满足：

   非线性： 激活函数非线性时，多层神经网络可逼近所有函数

   可微性： 优化器大多用梯度下降更新参数

   单调性： 当激活函数是单调的，能保证单层网络的损失函数是凸函数

   近似恒等性：

   . 当参数初始化为随机小值时，神经网络更稳定

   激活函数输出值的范围： f(x)≈x

   激活函数输出为有限值时，基于梯度的优化方法更稳定

   激活函数输出为无限值时，建议调小学习率

   常见的激活函数有：sigmoid，tanh，ReLU，Leaky ReLU，PReLU，RReLU， ELU（Exponential Linear Units），softplus，softsign，softmax等