吴恩达深度学习1笔记week3——浅层神经网络 One hidden layer Neural Network

3.1 神经网络概览 Neural Networks Overview

3.2 神经网络表示 Neural Network Representation

• 当我们计算网络层数的时候，一般不算上输入层
  

3.3 计算神经网络的输出 Computing a Neural Network’s Output

• 两步走
  
• 向量化
  
  

3.4 多个例子中的向量化 Vectorizing across multiple examples

• 注意上标 [ ] 和 （）
  （）代表第几个样本
  [ ] 代表第几层
  
  

3.5 向量化实现的解释 Explanation for vectorized implementation

• 不同的样本在每一层的参数是相同的
• 同一样本不同特征在每一层的参数是不同的
  
  

3.6 激活函数 Activation functions

3.7 为什么需要非线性激活函数？Why do you need non-linear activation functions?

• 为了提高模型的复杂度
• 线性函数组合本身就是线性函数
• 若只使用线性激活函数，与不使用隐藏层的逻辑回归函数无异
  

3.8 激活函数的导数 Derivatives of activation functions

3.9 神经网络的梯度下降法 Gradient descent for neural networks

3.10 （选修）直观理解反向传播 Backpropagation intuition

• 单个样本
  
• 多个样本
  前向传播
  
  反向传播
  

3.11 随机初始化权重 Random Initialization

• 对称性问题