多层感知机、激活函数（pointnet算法基础知识）

一、视频资料：跟着李沐学AI

二、感知机（人工智能最早模型（六七十年代））

1、定义：给定输入x(向量），权重w(向量），偏移b（标量），感知机输出。

 实质就是二分类问题，0也可以是负数。区分：回归输出实数，softmax回归输出概率，多分类问题。

2、缺点：不能拟合XOR函数（也就是处理异或），产生线性分割面，导致第一个AI的寒冬。

三、多层感知机

1、网络模型

一步分不了，一个函数分不了，就分为两步，分两个函数。

隐藏层是超参数。输入数据改变不了，输出就看你有多少类。

2、公式推理

 ，d为x的个数，即样本的个数（列数），n为x的维度（行数）。那么由矩阵乘法性质可知，w的维度要等于x的个数（意义理解，每一个输出需要综合所有的输入，所以每一维度的所有x需要与对应的一个权重w相乘，因此一个权重的维度大小等于x的个数）。最终的输出维度为输入的维度，个数为分类的个数。输入不变，但是输出的个数可以由调节，因此联想到pointnet中使用mlp增加每一个点的维度，并且每一个维度都是综合所有输入得来的，考虑了所有输入的特征，因此有效缓解了点信息缺失的问题

注意:从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络。

四、激活函数

1、作用：由于从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络。通过引入非线性使网络逼近任意非线性函数，使感知机成为真正的多层感知机。

2、分类

1）、ReLU函数

作用： 只保留正数元素，将负数元素清零。

表达式：ReLU(x)=max(x,0) 

求导：输入为负数，导数为0；输入为正数，倒数为1

2）sigmoid函数

作用：将元素的值变换到0和1之间。

表达式：

求导： 输入为0时，导数达到最大值，输入越偏离0，sigmoid函数的导数越接近0.

3）tanh函数

作用：将元素的值变换到-1和1之间。虽然形状与sigmoid很像，但是该函数关于原点对称。

表达式：

求导：  输入为0时导数达到最大值1，输入越偏离0，导数越接近0。

所以，多层感知机就是至少含有一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。