深度学习理论笔记(感知机)

学习韩老师的文章,笔记如下:

深度学习的入门不得不谈感知机,何为感知机?

感知机其实就是神经元,神经网络的组成单位。如下图中,Layer 2中的神经元都可以称为感知机。

深度学习理论笔记(感知机)_第1张图片

其中,第一层称为输入层,第二层为隐含层,第三层为输出层。

一个感知机(神经元)可以详细剖析其运算过程:


深度学习理论笔记(感知机)_第2张图片
感知机(神经元)剖析

可以看到,一个神经元的状态的计算过程为:输入乘以权重矩阵然后加上偏置再通过一个激活函数,得到最终的输出值。


给定输入和输出,感知器可以拟合任何的线性函数(其定义就类似线性函数)。

重点:感知器的训练


深度学习理论笔记(感知机)_第3张图片

权重的更新=当前权重+学习率乘以误差乘以对应输入

wi=wi+rate×(distance)×xi

偏置的更新=当前偏置+学习率乘以误差

b=b+rate×(distance)

迭代次数相当于让模型重复学习多少遍,每次学习都是遍历所有训练集

你可能感兴趣的:(深度学习理论笔记(感知机))