2021-07 李宏毅机器学习打卡Task07：总结

Task07 总结

学习地址

• 李宏毅机器学习B站视频地址
• new: 2021春课程视频地址
• 李宏毅机器学习开源笔记地址
• 论坛版块

总结

Three Steps for Deep Learning/ Machine Learning

机器学习或深度学习的框架都可以概括为3步：

• Step 1: define a set of function
  只是深度学习里定义的function set 即神经网络
• Step 2: goodness of function
  一般通过合适的loss function 来衡量
• Step 3: pick the best function
  通过转为为优化问题求解，可使用具体的方法如gradient descent
  

Neural Network Architecture

• 常见的 Fully Connected Network
• 在图像处理、语音识别等领域里流行的 Convlutional Neural Network
• 另外还有其他类型的网络，如 循环神经网络RNN，自注意力机制类的Transformer等，具体可观看文章开头视频连接

Network Design Tricks

实际上，网络在训练过程中并非想象的那么简单，还是有很多技巧在里面的，比如如何选择优化器、梯度下降具体的细节、学习率如何调整、损失函数如何选择、输入数据的范围造成的影响等等，具体见 网络设计的技巧

另附Datawhale组队学习—李宏毅机器学习任务安排