感知机&&BP神经网络

神经网络入门

    • 0.引言
    • 1.感知机 MP 模型
    • 2.神经网络
    • 3.反馈网络(BP)

0.引言

神经网络本质类似于极大似然估计:模型已经确定,参数未知;对模型的求解就是利用观测值来求解模型的参数。

  • 极大似然知识参考

1.感知机 MP 模型

  • 参考一下几年前的文章

感知机&&BP神经网络_第1张图片

感知机&&BP神经网络_第2张图片

注意损失函数是针对误分类样本点而言的.

感知机&&BP神经网络_第3张图片

感知机&&BP神经网络_第4张图片

举例:
现有如下训练数据集,正样本点 M 1 ( 3 , 3 ) M_1(3,3) M1(3,3) M 2 ( 4 , 3 ) M_2(4,3) M2(4,3) ,负样本点 M 3 ( 1 , 1 ) M_3(1,1) M3(1,1) ,请利用感知机算法求感知机模型 f ( x ) = s i g n ( w T x + b ) f(x) = sign(w^Tx + b) f(x)=sign(wTx+b).

感知机&&BP神经网络_第5张图片

在第五步选择不同的误分类点,最后得出的模型也不相同,但都能正确的将样本进行区分开。

2.神经网络

感知机&&BP神经网络_第6张图片

  • 在线demo,普通的单层感知机,无法解决非线性问题。

感知机&&BP神经网络_第7张图片

感知机&&BP神经网络_第8张图片

感知机&&BP神经网络_第9张图片

感知机&&BP神经网络_第10张图片

Q:为什么多层神经网络可以拟合任意函数?其与浅层宽网络的区别是什么?

  • 从感知机的角度看

感知机&&BP神经网络_第11张图片
感知机&&BP神经网络_第12张图片
感知机&&BP神经网络_第13张图片
感知机&&BP神经网络_第14张图片

  • 从决策边界的角度看

感知机&&BP神经网络_第15张图片
感知机&&BP神经网络_第16张图片
感知机&&BP神经网络_第17张图片
感知机&&BP神经网络_第18张图片

3.反馈网络(BP)

感知机&&BP神经网络_第19张图片

感知机&&BP神经网络_第20张图片

感知机&&BP神经网络_第21张图片

感知机&&BP神经网络_第22张图片


其他推导类似,最后结果:

感知机&&BP神经网络_第23张图片

感知机&&BP神经网络_第24张图片

这个推导就不推导了,就是一些链式法则,和前面的推导一样的。

感知机&&BP神经网络_第25张图片
  • 此图来源.

你可能感兴趣的:(深度学习,神经网络,深度学习,感知机,BP神经网络)