深度学习基础系列1——神经网络

因为下周要讲课，老师让我主讲深度学习的前期基础部分，索性要备课，所以索性就开个学习深度学习基础系列。师范出生的我发现，只有讲课才能帮助自己真正的思考，互相讨论才能让自己的学术走的更远，所以我打算以后一会学些什么东西就当做备课写下来，以此和大家共勉。看了这么多关于深度学习的书，我个人还是推荐邱老师的《神经网络与深度学习》，我的整个系列基本可以看成是这个书学习的总结，也感谢各位同学的反馈和错误指正，我会及时更改，接受一切批评。

前言

一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的回答。如果在相当长的时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。 ————阿兰 图灵

图灵为人工智能做了如上定义。简单的将，人工智能就是让机器具有人类的智能，这也是人们长期追求的目标。人工智能是计算机科学的一个分支，主要领域答题分为以下几个方面：感知、学习和认知。最近几年，得益于数据的增多、计算能力的增强、硬件能力的提高，越来越多的人开始关注新的领域——深度学习。深度学习作为解决人工智能问题的重点研究方法，在学术界和工业界都取得了广泛的成功，掀起了新一轮人工智能热潮。

目前，深度学习由于其强大的自动提取数据的特点，迅速在学术界和工业界获得了广泛成果，解决了许多人工智能问题。但就好比ALphaGo可以战胜围棋届的世界冠军，但是却不擅长其他领域，比如图像识别、语音识别等。因此想要真正的达到通用人工智能依然是困难重重。

深度学习主要是以神经网络为主，但是也可以采用其他模型，比如深度信念网络这种概率图模型。但神经网络具有良好的提取特征的能力，所以深度学习主要还是以神经网络为主要模型。下面我们详细的介绍神经网络基础。

神经网络基础

人类的大脑是一个可以产生意识、思想和情感的器官。受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络，简称神经网络。因此在介绍人工神经之前，我们先介绍神经元和神经网络。

神经元和神经网络

如图1所示，这就是神经元的结构。从图中我们可以看出，神经元主要是由细胞核，以及细胞核周围的树突、轴突和细胞之间互相连接的突触联系构成。人脑接受外界信息时，树突用来接收信息，轴突用来发送信息。神经元之间的突触联系大多数都是在后天受到外界刺激生成的。神经元主要有两种状态：兴奋和抑制。但是没有输入或者输入的信号不强时，神经元处于抑制状态，当时输入信号非常强已经超过一定的阈值了，那么这个神经元就会被激活，处于兴奋状态，然后就会产生一定的化学和电作用，通过突触传递给其他神经元。

生物神经网络就是由多个神经元按照一定规则和结构连接组成的。不同的刺激，会第次激活相应的神经元，神经元之间的连接强度也会发生相应改变，我们的大脑才有学习和储存信息的能力。这种设计也启发了研究学者，人工神经网络的设计就是对生物神经网络的一种模拟建模。

人工神经元和人工神经网络

同生物神经网络相同，人工神经网络主要是靠人工神经元组成。人工神经元如下图所示：

在人工神经网络中，人工神经元也被称为是‘处理单元’或‘节点’。假设这个模型中有n个输入，这些信号会通过节点间的权重进行传递并加权求和，得到的结构再经过激活函数进行处理，产生该神经元的最后输出。其中激活函数就相当于生物细胞中的状态换算，判断该细胞是抑制还是兴奋。公式太难写，我就直接上图了。之所以加上偏置b是因为只能在空间里画过原点的直线/平面/超平面，所以偏置和权重一样重要。详情可以看：
https://blog.csdn.net/Uwr44UOuQcNsUQb60zk2/article/details/81074408#commentBox

激活函数将神经元的输入映射到输出端，引入激活函数是为了增加网络模型的非线性，使得神经网络可以任意逼近非线性函数，更符合实际应用。因此，激活函数是非常重要的。
最初使用的激活函数是阶跃函数，将输入值映射为输出值‘0’或‘1’，但是它不是连续的，因此很多人使用Sigmoid函数。

SIgmoid函数将输入映射到0~1之间，但这个函数两端饱和，中间近似线性，在求解梯度的时候有梯度消失的情况，详见：
因此常用的激活函数是ReLU激活函数。如下图所示：
ReLU = max(0,x)

尽管ReLU函数也有一些缺点，比如会导致更新参数之后无法再更新参数，现在有很多激活函数，但是实际证明ReLU函数取得的效果最后，也是从生物神经元激活的角度上来最具有解释性的函数。

关于激活函数的问题我们后面会有所介绍。

人工神经网络就是由大量神经元以及它们之间的有向连接构成。人工神经网络的模型有近百种，常用的神经网络结构有以下三种：

从结构特点我们可以，
前向网络是信息单向传播，没有反馈。
反馈神经网路是不但接受其他神经元的信号，自身的输出信号作为输入信号。
图神经网络：图网络是定义在图结构数据上的神经网络，图中每个节点都一 个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。每个 节点可以收到来自相邻节点或自身的信息。
其实实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子(molecular )网络 等。前馈网络和反馈网络很难处理图结构的数据。大家感兴趣的话可以自己去查一下，这个部分后期补上。