《机器学习》阅读笔记 第五章

Contents

  • 神经网络的本质是回归模型
  • 反向传播算法
  • 跳出局部极小点
  • 防止过拟合
  • 其它神经网络

神经网络的本质是回归模型

  • 神经网络的本质是一个多次线性组合+非线性变换的回归模型
  • 每一层神经元构成线性组合
  • 到下一层的激活函数构成非线性变换
  • 输出层的结果与真实结果比较,得到误差函数
    • 分类常用交叉熵损失
    • 回归常用均方误差

反向传播算法

  • 反向传播算法算法的基础是一阶梯度下降算法
  • 用损失函数对每一层的参数求导,得到参数更新的方向
  • 设置学习率,作为参数更新的步长
  • 利用梯度下降公式,更新参数,构成学习过程
  • 达到停止条件,则停止更新,输出参数

跳出局部极小点

  • 多种初始化方法
  • 模拟退火算法
  • 随机梯度下降及其变种
    • 动量法
    • RMSProp
    • ADAM

防止过拟合

  • 早停(利用测试数据监督外样本精度)
  • 正则化方法

其它神经网络

  • RBF网络:使用径向基函数作为隐层神经元激活函数
  • ART网络:竞争性学习
  • SOM网络
  • 级联相关网络
  • Elman网络
  • Boltzmann 机

你可能感兴趣的:(Datawhale寒假学习,吃瓜系列,人工智能,深度学习)