第三章-浅层神经网络

3.1 概论

1. 逻辑回归

   
   
   
   
   
   

   中间层的隐藏单元中的计算

• 首先你需要输入特征 x，参数W 和b ，通过 z = w^t * x + b T 你就可以计算
  出 z ，接下来使用 a = a(z) 就可以计算出a。我们将a的符号换为表示输出的 ŷ，然后可以计算出损失函数ℒ(a,y)。

2. 基本神经网络结构

   
   
   

• 首先 X 表示输入特征，W 和 b 是参数，z1 = Wx + b1计算出 z1。
• 使用x^(i)表示第 i 个训练样本，上标方括号 1、2 表示不同的层，图中[1]表示神经网络的第一层， [2]表示神经网络的第二层 。
• 类似逻辑回归，在计算z^[1] 后需要使用σ(z^[1])计算 a^[1]，接下来你需要使用另外一个线
  z^[2] = W^[2] * a^[1] + b^[2]计算 z^[2], a^[2] = σ(z^[2]) 计算a^[2] ，此时a^[2] 就是整个神经网络最终的输出，用 表示网络的输出。

3. 反向计算

3.2 神经网络表示

1. 神经网络的符号惯例：
   x 表示输入特征
   a 表示每个神经元的输出， w 表示特征的权重，
   上标表示神经网络的层数（隐藏层为 1），下标表示该层的第几个神经元。
2. 结构

• 输入层
• 隐藏层（很好解释了之前在第一章的疑惑）：在一个神经网络中，当你使用监督学习训练它的时候，训练集包含了输入 也包含了目标输出 ，所以术语隐藏层的含义是在训练集中，这些中间结点的准确值我们是不知道到的，也就是说你看不见它们在训练集中应具有的值。你能看见输入的值，你也能看见输出的值，但是隐藏层中的东西，在训练集中你是无法看到的。所以这也解释了词语隐藏层，只是表示你无法在训练集中看到他们。
• 简单点说，隐藏层就是把中间处理的过程隐藏起来而没有显性显示出来。
• 输出层

3. 数据表示

• 隐藏层以及最后的输出层是带有参数的，参数个数与隐藏层单元/节点有关
• 传统上（两层的神经网络）：输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。
• 技术上（三层的神经网络）：因为这里有输入层、隐藏层，还有输出层。

3.3 神经网络的输出

中间的求导过程

四个方程求神经网络

• 注：z代表隐藏层，这里有两个隐藏层

3.4 多样本向量化

• 多个训练样本，则重复计算每个样本的4个方程（for循环）

• 利用向量化简化该过程

  
  
  
• 水平方向，这个垂直索引对应于神经网络中的不同的训练样本。
• 垂直方向，这个垂直索引对应于神经网络中的不同节点。

3.5 向 量 化 实 现 的 解 释

3.6 激活函数（ Activation functions）