李宏毅机器学习-Task05

李宏毅机器学习

仅作为学习笔记,如有问题请指正
视频链接:

2019版
2021版

开源内容:

github
gitee
2021版
2021版

datawhale笔记
学习规划

Task01:机器学习介绍
Task02:回归
Task03:误差和梯度下降
Task04:深度学习介绍和反向传播机制
Task05:网络设计技巧
Task06:卷积神经网络
Task07:总结

机器学习介绍

  • 左边这个部分叫training,就是学习的过程;
  • 右边这个部分叫做testing,学好以后你就可以拿它做应用。
  • 所以在整个machine learning framework整个过程分成了三个步骤。第一个步骤就是找一个function,第二个步骤让machine可以衡量一个function是好还是不好,第三个步骤是让machine有一个自动的方法,有一个好演算法可以挑出最好的function。
    李宏毅机器学习-Task05_第1张图片
  • learning map
    李宏毅机器学习-Task05_第2张图片

网络设计的技巧

  • 当优化不再下降-局部最小值和鞍点
    微分为0(临界点)
    如何区分?损失函数->Hessian(H矩阵)->特征值->(局部最小值,局部最大值,鞍点)
    鞍点顺着负特征值的特征向量方向可以减小损失函数,逃离鞍点。(要计算二阶偏导,很少用此避免鞍点)
  • 批次与动量
    较小的批次数可以获得更好的训练模型-泛化性更好
    好的局部最小值&坏的局部最小值-鲁棒性
    梯度+动量
  • 自适应学习率
    震荡
    使学习率可以根据梯度大小自动调整
    Adam:RMSProp+Momentum
    Learning Rate Scheduling:Learning Rate Decay,Warm Up
  • 分类
    分类和回归的区别?
    交叉熵-分类损失
  • 批次标准化-使error surface变的不那么崎岖
    特征归一化
    batch内部每个特征关联,batch之间相互独立

你可能感兴趣的:(李宏毅机器学习笔记,机器学习,深度学习,神经网络)