二、神经网络的结构

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》National Taiwan University (NTU)李宏毅老师的《Machine Learning》的课程，在下文中如果不正确的地方请积极指出。
如果喜欢请点赞，欢迎评论留言 ！ o(￣▽￣)ブ

1. 神经网络的结构

1.1 前馈神经网络的结构示意图

  前馈神经网络的结构如 下图 下 图 所示

图1. 图 1. 神经网络结构示意图

  ⽹络中最左边的称为输⼊层（Input Layer），其中的神经元称为输⼊神经元；最右边的是输出层(Output Layer)包含有输出神经元；中间层的神经元既不是输⼊也不是输出，则被称为隐藏层(Hidden Layer)。上⾯的⽹络有多个隐藏层，但有些⽹络仅有⼀个隐藏层。
  由于历史的原因，尽管神经网络是由S型（sigmoid）神经元⽽不是感知器构成，但这种多层⽹络有时被称为多层感知器（Multilayer Perception，MLP）。但是这种叫法会产生歧义，因此不常使用。
  也有⼀些⼈⼯神经⽹络的模型，其中反馈环路是可⾏的，这些模型被称为递归神经⽹络。该模型的关键在于，神经元在变为非激活态之前会在一段 有限时间内均保持激活状态。这种激活状态可以激励其他的神经元，被激励的神经元在随后 一段有限时间内也会保持激活状态。如此就会导致更多的神经元被激活，一段时间后我们将 得到一个级联的神经元激活系统。在这个模型中环路并不会带来问题，因为神经元的输出只 会在一段之间之后才影响到它的输入，它并非实时的。

1.2 前馈神经网络的参数说明

  从 图1. 图 1. 中可以看到，每一条连线就是一个权重，因此神经网络中具有十分庞大的参数。

• 神经网络的层数（Layers）
  在 图1. 图 1. 中，隐层的层数是L，但是在实际的编程过程中常常将输入层，输出层也计算在网络层数中，因此常常用L表示包含输入、隐藏、输出层在内的所有层数。

• 神经网络的节点数（Nodes）
  每一层中神经元的个数

• 权重（Weights）、偏置（Biases）&加权输入（Weighted Input）
  在神经网络中用 w ljk w j k   l 表示从第 l−1 l − 1 层的第 k k 个神经元到第 l l 层的第 j j 个神经元的连接的权重；
  用 b lj b j   l 表示第 l l 层的第 j j 个神经元的偏置；
  用 z lj z j   l 表示第 l l 层的第 j j 个神经元的加权输入；
  用 a lj a j   l 表示第 l l 层的第 j j 个神经元的激活值；
  上述参数间的关系满足如下条件
  

  z lj=∑kw ljka l−1k+b lj z j   l = ∑ k w j k   l a k   l − 1 + b j   l
  
  
  a lj=σ(∑kw ljka l−1k+b lj) a j   l = σ ( ∑ k w j k   l a k   l − 1 + b j   l )
  
  其中的 z lj z j   l 可以写成如下两个向量相乘的形式
  
  a lj=σ⎛⎝⎜⎜[w lj1…w ljk]⋅⎡⎣⎢⎢a l−11…a l−1k⎤⎦⎥⎥+b lj⎞⎠⎟⎟ a j   l = σ ( [ w j 1   l … w j k   l ] ⋅ [ a 1   l − 1 … a k   l − 1 ] + b j   l )
  
  若考虑神经网络中所有的神经元，可以写成下式的矩阵形式
  
  a l=σ(w la l−1+b l) a   l = σ ( w   l a   l − 1 + b   l )
  
  我们仅仅将权重矩阵作用于上一层的激活值，然后加上偏置向量，最后用 σ σ 函数作用于这个结果， 就得到了本层的激活函数值。相比于之前我们采用的神经元到神经元的视角，这种全局的视角通常更加简明和容易理解，涉及到更少的下标，同时还能对正在进行的事情保持精确的阐释。这种表达式在实际操作中也非常有用，因 为大多数矩阵库提供了更快的方式来实现矩阵乘法，向量加法以及函数向量化操作。

  上述的参数中可以分为两类，一类是通过数据和学习算法得到的称之为参数，如权重（Weights）、偏置（Biases），而另一类参数是经过人工设置得到的称之为超参数，如神经网络的层数、节点数等。超此之外还有很多其他的超参数，将在训练神经网络的部分进行介绍。