机器学习中的神经网络初认识

目录

1、单个神经元

2、激活函数

 3、一组神经元

4、example

---

 （可以先回顾一下我们初中学习过的生物课中神经元）。

1、单个神经元

•  ：特征输入向量，其中是偏置项；
• ：有的地方写成，权重向量；
• 黄色圈圈：神经元，也叫做激活函数。
• ：输出

2、激活函数

 常用的非线性激活函数有sigmoid、tanh、relu等等。简要介绍下最基础的sigmoid函数(该函数我们在逻辑回归中用到过)：

形式为：

图形为：

从图形上可以直观的看出来，sigmoid函数的功能是相当于把一个数压缩至0到1之间。当z是大的正数时（大于4），g(z)会趋近于1，而z是小的负数时（小于-4），则g(z)会趋近于0。

 3、一组神经元

•  第一层称为输入层：因为在这一层输入特征，
• 第三层是输出层：因为它是计算结果。
• 中间层为隐藏层：因为在整个体系中，可以看见输入层的值，也可以看见输出层的值，但中间那一层的值是不知道的。实际上，除了输入层、输出层，其他层都被称之为隐藏层。如果有多个隐藏层就有多个激活函数。

每一层都可能由单个或者多个神经元组成，每一层的输出将会作为下一层的输入数据。就上图而言，输入 在自身的权重影响下刺激着隐藏层的3个神经元a1、a2、a3。接着，a1、a2、a3又在自身权重的影响下成为输出层的输入，最终由输出层输出最终结果。

• ：第层第个单元的激活函数(神经元)
• ：从第层映射到第层的控制函数的权重矩阵

如果第层有个神经元，第 层有个神经元，那么 就有  。理解：前面说过，每一层的输出将会作为下一层的输入数据，又因为有偏置项的存在，所以 +1 。

4、example

1、神经网络实现逻辑与：

与前面简绍的一样 这个神经元的输出为   ，其中 ，

为sigmoid函数：

当时， ； 当时，。

重写神经网络输出为： 

真值表结果：

可以很清楚的看到，当权重矩阵选为 时，神经网络实现了逻辑与。

2、实现逻辑或

同理当时，实现了逻辑或。

3、实现逻辑同或

同或表达式：

前面已经简绍了 逻辑与，逻辑或。所以这里重点时 

首先看下图：

要想得到逻辑非的结果，一个基本思想就是在得到非结果的变量前面加一个很大的负权重，比如上图中在 变量x1 的前面加个 -20。

思考实现逻辑：

  (注意是x1+x2整体的非) ，所以当且仅当 时，其输出才为1 。所以对于权重向量来讲，偏移量的权重系数为正且大于4，x1,x2的权重系数为负且绝对值最少大约是偏移量权重系数的2倍。比如  。

下面是将要用到了三个逻辑运算。

对于 ，即 ，我们先算   、  ，然后在对他们进行逻辑或运算。现在运算循序知道了。

从神经网络中考虑：

• 输入层：，以及偏置量
• 隐藏层：两个神经元， 代表，  代表；                                                                          ；  
• 输出层：

图解如下：

真值表为：

可以看到神经网络实现了逻辑 同或。