人工智能系列之一神经网络(感知机)

感知机(Multilayer Perceptron，MLP)

定义

• 最简单的神经网络
• 基本的前馈神经网络
• 描述了神经网络的基本过程
• 学习传统神经网络的大门

实现思路

• 模拟人脑突触当满足条件即激活，不满足条件不激活
  

基本内容

• 函数描述
  y = func(x1w1+x2w2+x3*w3…) func 即激活函数，输出0或1
• 图像展示
  

基本作用

• 解决简单的分类问题(0,1)
  因只有一层感知器，故只能解决简单的二分类问题

常见激活函数特性

• 线性
• 非线性
• 饱和性
• 阶跃性

常见激活函数

• sigmoid 函数
  • 函数特性：非线性、非阶跃性
  • 优点：平滑、易于求导
  • 缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
• ReLU 函数
  • 函数特性：线性、非阶跃性
  • 优点：更加有效率的梯度下降以及反向传播：避免了梯度爆炸和梯度消失问题;简化计算过程;活跃度的分散性使得神经网络整体计算成本下降

训练方式

• 1、初始化网络权值和神经元的阈值（最简单的办法就是随机初始化）
• 2、前向传播：按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。

多层感知器

• 多个感知器的排排坐
  • 第一层 输入层（3个输入）
  • 第二层 多个感知器（8个）
  • 第三层 多个感知器（6个）
  • 第四层 多个感知器（2个）
    

多层感知器(ANN)作用

• 能实现更加复杂的分类问题
• 参数学习效率比较低
• 具体实现怎样的复杂的分类：基于分类器的选择和神经网络的层数

多层感知器(ANN)的局限

• 参数学习的比较困难(效率低)