深度学习之神经网络入门（1）——神经网络是什么

一、快速理解神经网络

1.神经网络的生物定义及其在深度学习上的延伸

在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来。向其他神经元发送化学物质。

最简单的神经元模型：M-P神经元模型

 

                图1

 

由此图可以产生多种理解，最为广泛且推荐的理解是将其理解为复合函数

例：神经元接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定其是否得到激活。

 

对牵扯到的几个定义进行解释：

a.神经元模型

神经元模型是简单单元，图1所示即为神经元模型

b.阈值

阈值，即bias，算式中可将阈值看作固定输入为-1的哑节点对应的连接权重。

c.激活函数

Sigmoid（图2），Relu（图3），Tanh（图4）函数是我们常用的激活函数，而理想中的激活函数是阶跃函数（图5）

                                           图2

                                               图3

                                                         图4

                                                    图5

在之后的文章中会对激活函数进行详细深入的介绍

 

 

2.深度学习中的神经网络

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。

 

                         图6

 

图6是一个略显复杂的神经网络，每一个圆圈都是一个神经元，每条线表示神经元之间的连接。神经网络有一个显著的特征：层与层之间的神经元有连接，而层内的神经元没有连接。最左边的叫做输入层，最右边的是输出层，两者之间的层叫做隐藏层。

给出相应层的作用：

(a).输入层：负责接收输入数据

(b).输出层：获取神经网络输出数据

(c).隐藏层： 隐藏层比较多（大于2）的神经网络叫做深度神经网络。而深度学习，就是使用深层架构（比如，深度神经网络）的机器学习方法。

 

3.神经元的深层次定义

神经网络的组成单元——神经元，也叫做感知器（如图7）

                                图7

可以发现，感知器与M-P神经元模型（图1）十分相似

一个感知器有如下组成部分：

（a）.输入权值：一个感知器可以接收多个输入，每个输入上有一个权值，此外还有一个偏置项（如上图中的w0）

（b）.激活函数：最简易的选取为阶跃函数

（c）.输出：感知器的输出由相应的公式进行计算   y=f（w*x+b）

 

感知器还有更为深入的应用，在此后的文章中会深入分析

 

4.优化算法与最优解

神经网络学习的过程，其实就是根据训练数据，来调整神经元之间的连接权w以及每个功能神经元阈值b的过程。 而神经网络的训练过程即是一个参数寻优过程，基于梯度下降求得的可能是局部最优但不一定是全局最优解。只有通过多次的模型试验，才能得到更好的模型。

 

此部分为神经网络的主要部分，在这只做一个简介，详见后续文章。