8月吃瓜教程—task04-学习笔记

书中脉络大概为:
1 神经元
2 感知机 :两层神经元
3 多层前馈神经网络
训练误差为:8月吃瓜教程—task04-学习笔记_第1张图片
4 误差逆传播算法
即最小化训练集D上的累积误差
而标准BP算法每次仅针对一个训练样例更新连接权和阈值,基于单个的Ek推导而得.

5 过拟合与欠拟合的解决方法
过拟合:

  • 利用验证集达到早停
  • 正则化,减少模型的复杂程度

6 如何跳出局部极小

  • 多组不同参数值初始化
  • 模拟退火,即允许一定概率使得误差变大
  • 随机梯度下降,使得在极小值时仍能有梯度变化
  • 遗传算法

你可能感兴趣的:(神经网络,机器学习,深度学习)