深度学习1-感知器

什么是深度学习

人工智能专业中，有一种算法叫做神经网络，如图所示：

 

 隐藏层顾名思义是对外部来说是不可见的

隐藏层大于2的神经网络叫做深度神经网络

深度学习就是使用深层架构（比如，深度神经网络）的机器学习方法。

上面的规则定义了全连接神经网络结构，事实上还有其他神经网络：卷积神经网络（CNN）、循环神经网络（RNN），他们的连接方式都不同

深度网络相较于浅层网络：

优势：使用相对少的神经元就可以拟合相同的函数；更节约资源

劣势：需要大量数据，不容易训练

感知器（也叫神经元）

1.基本组成：

• 输入与权值 一个感知器可以接收多个输入xi，每个输入值对应一个权值wi

• 偏置项  就是下面公式（1）中的b

• 激活函数 感知器的激活函数可以有很多选择，比如我们可以选择下面这个阶跃函数来作为激活函数，通过这个激活函数可以进行简单的布尔运算，如实现and函数、or函数，但不能实现异或运算：

• 输出 感知器的输出由下面这个公式来计算

2.基本用途：

可以拟合任何线性函数，即可以解决任何线性分类和线性回归问题

3.迭代训练

 （1）感知器训练算法：将wi与b初始化为0，利用感知器规则反复迭代修改wi与b，直到训练完成

（2）感知器规则：

 b是偏置项，也可以看做输入x后值永远是1的权重

t是训练样本的实际值，一般称之为label

y而是感知器的输出值

是一个称为学习速率的常数，其作用是控制每一步调整权的幅度