【Datewhale一起吃瓜 Task5】啃瓜第六章

文章目录

  • M-P 神经元模型
  • 激活函数
  • 多层前馈网络
  • 万有逼近性
  • BP算法推导
  • 缓解过拟合
    • 早停
    • 正则化

M-P 神经元模型

神经元接受数据,根据各自权重输入进激活函数,输出值与阈值比较后,得出结果作为该神经元的输出结果
【Datewhale一起吃瓜 Task5】啃瓜第六章_第1张图片

激活函数

【Datewhale一起吃瓜 Task5】啃瓜第六章_第2张图片

多层前馈网络

多层网络:包括隐层的网络
前馈网络:神经元之间不存在同层连接也不存在跨层连接
隐层和输出层神经元亦称“功能单元”

【Datewhale一起吃瓜 Task5】啃瓜第六章_第3张图片

万有逼近性

仅需一个包含足够多神经元的隐层,多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数

但是,设置隐层神经元数是未决问题,实际常用试错法

BP算法推导

【Datewhale一起吃瓜 Task5】啃瓜第六章_第4张图片
【Datewhale一起吃瓜 Task5】啃瓜第六章_第5张图片
【Datewhale一起吃瓜 Task5】啃瓜第六章_第6张图片

缓解过拟合

早停

  • 训练误差连续a轮的变化小于b,停止训练
  • 使用验证集,若训练误差降低,验证误差升高,则停止训练

正则化

误差目标函数中增加描述网络复杂度
【Datewhale一起吃瓜 Task5】啃瓜第六章_第7张图片

你可能感兴趣的:(深度学习,人工智能)