吃瓜笔记---第五章 神经网络

注:本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得,可能只有自己能看懂,鉴于本人水平有限,有极大可能出现错误,欢迎读者批评指正 

1、神经元模型

        吃瓜笔记---第五章 神经网络_第1张图片

对上图单个神经元模型

输入={x_1,x_2...x_n

输出 y=f(\sum_{i=1}^{n}w_ix_i-\theta )

w为权重,\theta为阈值, f(\cdot ) 为激活函数

2、感知机与多层网络

感知机(Perceptron)二类分类的线性模型,由两层神经元组成

吃瓜笔记---第五章 神经网络_第2张图片

 感知机可以轻易的实现逻辑与、或、非运算

感知机的模型可以表示为:

y=f(w^Tx-\theta )=\left\{\begin{matrix} 1, &w^Tx-\theta\geqslant 0; \\ 0, &w^Tx-\theta \leqslant 0. \end{matrix}\right. 

其中w^Tx-\theta就是一个n维空间中的线性超平面,将n维空间分为两个部分。

吃瓜笔记---第五章 神经网络_第3张图片

单个感知机无法解决非线性可分问题,此时需要多层感知机来实现。 

3、反向传播算法

        反向传播算法基于梯度下降策略,即对于损失函数来说,沿着其梯度的方向减少可以是损失函数减少的速度最快。

        吃瓜笔记---第五章 神经网络_第4张图片 

 因为神经网络不止一层,可能有多个隐藏层,此时定义网络在某一层的均方误差:

E_k=\frac{1}{2}\sum_{j=1}^{l}(\hat{y}^k_j-y^k_j)^2

        同上述感知机的最小化损失函数的方法一样,沿着权重w的负梯度方向对其进行更新,因为神经网络包含多层,因此输入层的参数w求导会先对倒数第二层的参数求导,一层一层向前传播(链式求导法则)。

 

(后续补充。。。欢迎讨论)

        

你可能感兴趣的:(神经网络,机器学习)