浅层神经网络，以向量的形式表示神经网络的正向输出，激活函数比较，神经函数的反向传播，权重随机初始化

单个样本的浅层神经网络正向传播矩阵运算过程：

输入层到隐藏层的正向传播计算公式：

从隐藏层到输出层的正向传播计算公式为： 

其中a[1]为： 

将上述表达式转换成正向传播矩阵运算的形式： 

对于m个训练样本，我们也可以使用矩阵相乘的形式:

其中，Z[1]的维度是（4,m），4是隐藏层神经元的个数；A[1]的维度与Z[1]相同；Z[2]和A[2]的维度均为（1,m）。对上面这四个矩阵来说，均可以这样来理解：行表示神经元个数，列表示样本数目m。

浅层神经网络的反向传播的向量表达式：

 

激活函数的使用场景：

如果是分类问题，输出层的激活函数一般会选择sigmoid函数。但是隐藏层的激活函数通常不会选择sigmoid函数，tanh函数的表现会比sigmoid函数好一些。实际应用中，通常会会选择使用ReLU或者Leaky ReLU函数，保证梯度下降速度不会太小。其实，具体选择哪个函数作为激活函数没有一个固定的准确的答案，应该要根据具体实际问题进行验证（validation）。
 

随机初始化：

我们把这种权重W全部初始化为零带来的问题称为symmetry breaking problem。解决方法也很简单，就是将W进行随机初始化（b可初始化为零）。python里可以使用如下语句进行W和b的初始化：

W_1 = np.random.randn((2,2))*0.01
b_1 = np.zero((2,1))
W_2 = np.random.randn((1,2))*0.01
b_2 = 0