深度学习笔记（二）——感知器·补充知识点（算法概念）

                         QQ:3020889729                                                                                 小蔡

线性可分与线性不可分问题

线性可分问题

线性不可分问题

step激活函数

对应一般表达式： 即，输入对应的输出要么是0，要么是1。

sigmoid激活函数

sigmoid激活函数
$f\left(u\right)=\frac{1}{1+{\mathrm{e}}^{-u}}$
$u=\sum w_i{x}_i$ （$\mathrm{i}=1,2,4\cdots N$）

$u$越大，$f\left(u\right)$的值越接近1。

误差修正学习法

概念：
将输入对应的实际输出$y$于期望输出$r$进行比较，计算误差，进而调整权重${\omega }_i$和阈值$h$。

方法基本表示如下：

修正参数	表达形式
权重	${\omega }_i\leftarrow {\omega }_i\text{ + }\alpha (r\text{ - }y)x_i$
阈值	$h\leftarrow h-\alpha \left(r-y\right)$
$\alpha$	确定连接权重调整值$\Delta {\omega }_i$的参数（修正率或者学习率）

运行方式讲解：（①实际输出与期望输出不相等的情况与②相等的情况两种运行方式）

1. 当$y$=$r$时，${\omega }_i$和$h$均不变。
2. 当$y$！=$r$时，${\omega }_i$和$h$发生如下变化：

未激活状态：$y$=0， $r$=1

参数	趋势
$h$	减小
$x_i$=1的连接权重${\omega }_i$	增大
$x_i$=0的连接权重${\omega }_i$	不变

激活过度状态：$y$=1， $r$=0

参数	趋势
$h$	增大
$x_i$=1的连接权重${\omega }_i$	减小
$x_i$=0的连接权重${\omega }_i$	不变

误差反向传播算法

梯度下降法（最值下降）

在误差反向传播算法中，采用梯度下降算法来实现权重的调整——即$\nabla u$。
概念：
该算法通过求解当前$u$的梯度（偏导），得到当前最大变化率（理解成曲线的最大斜率也可以）。然后根据所求的梯度值，来调整权重——$\Delta \omega =-\eta \frac{\alpha E}{\alpha w_i}$。

误差反向传播算法简提

简单讲一下，该算法的思路——具体的算法过程后期整理后补上。

误差反向传播算法起始于多层感知机，后来被用到卷积神经网络等多层网络结构中——所以在这个算法过程中，误差很重要。误差在最后的输出层计算得出（一般采用最小二乘法求误差），然后反过来往下传递，进行相关参数（${\omega }_i$，$h$）修正。

补充：
由输出层往下传递误差E时，计算的权重变化值存在以下情况：
下一层的权重计算会受到上一层权重变化值影响。