感知器和多层感知机

一、感知器的组成部分

1、输入(inputs)：一个感知器可以接收多个输入(x1,x2,...,xn)。

2、权值(weights)：每一个输入上有个一权值wi，此外还有一个偏执项b，也就是图中的w0。

3、加权和(weights sum)：就是w*x + b的总和。

4、激活函数(step function)：感知器的激活函数：

5、输出(output)：感知器的输出由加权值通过激活函数做非线性变换，也就是公式：

y = f(w*x + b)。

举例如下：

其中激活函数为 ：

加权和：logit = 1*(-0.2) + 0.5*(-0.4)  + (-1.4)*1.3 + 2*3 = 1.98

输出值：output = f(logit) = f(1.98) = 1

        通过感知器我们可以解决一些线性问题，但不能解决非线性问题，比如下图我们无法用一条线将其划分，因此我们需要使用到多层感知机：

 

二、多层感知机

        对比于感知器，引入了隐藏层，改变了激活函数，加入了反向传播算法，优化算法，即神经网络。

对于不同的隐藏层处理不同的问题：

 

 举例如下：

        由上图可以得到h1、h2和o1，此时我们可以看到h1和h2这2条线将红色的圆形和黑色的菱形分开，单看h2只划分了右上角的菱形，单看h1只划分了左下角的菱形，o1把h1和h2结合形成一个平面从而划分了圆形和菱形，我们可以调节不同的隐藏层和激活函数从而解决不同的问题。

h1 =  f(2*x1 + 2*x2 -1)

h2 = f(-2*x1 + -2*x2 +3)

o1 = f(2h1 + 2h2 -3)