多层感知机

模型

多层感知机_第1张图片
多层感知机原理上等同叠加多个全连接层,只不过在两个全连接层之间,会将第一个全连接层的输出加上激活函数,没有激活函数的话,多个全连接层等同一个全连接层效果,因为全连接层等同一个矩阵,两个矩阵相乘还是矩阵,所有中间需要特殊处理

激活函数

激活函数是按元素进行操作

  • sigmoid激活函数
    多层感知机_第2张图片
    将输入投影到(0,1)区间
  • Tanh激活函数多层感知机_第3张图片
    将输入投影到(-1,1)区间
  • ReLu激活函数多层感知机_第4张图片

你可能感兴趣的:(深度学习,分类算法)