CS231n作业笔记2.1：两层全连接神经网络的分层实现

CS231n简介

详见 CS231n课程笔记1：Introduction。
本文都是作者自己的思考，正确性未经过验证，欢迎指教。

作业笔记

1. 神经网络的分层实现

实现全连接层+ReLU层的前向传播与后向传播。
参考资料：CS231n课程笔记4.2：神经网络结构，CS231n课程笔记4.1：反向传播BP， CS231n作业笔记1.6：神经网络的误差与梯度计算，CS231n作业笔记1.5：Softmax的误差以及梯度计算。

1. 全连接前向传播：out = x.reshape([x.shape[0],-1]).dot(w)+b
2. 全连接后向传播：

x, w, b = cache
  dx, dw, db = None, None, None
  dw = x.reshape([x.shape[0],-1]).T.dot(dout)
  db = np.sum(dout,axis = 0)
  dx = dout.dot(w.T).reshape(x.shape)

1. ReLU的前向传播：out = x*(x>0)
2. ReLU的后向传播：dx = dout * (x>0)

2. 两层全连接神经网络的打包实现

把上诉神经层串联起来，构造两层全连接神经网络。

2.1. 参数初始化

使用numpy.random.randn函数，用于服从标准分布的随机参数。注意：不要使用numpy.random.rand函数（用于生成[0,1)内的平均分布）；也可以使用numpy.random.normal函数。

    self.params['W1'] = np.random.randn(input_dim,hidden_dim)*weight_scale
    self.params['b1'] = np.zeros(hidden_dim)
    self.params['W2'] = np.random.randn(hidden_dim,num_classes)*weight_scale
    self.params['b2'] = np.zeros(num_classes)

2.2. 计算loss以及gradient

此函数用于计算loss，以及各个参数的梯度。大致上就是把上诉两个神经层以及最后一层softmax按照一定的形式串联起来。
注意：对于全连接神经网络，bias部分不进行正则化。因为bias不与数据相乘，所以不具有控制数据各个维度对最后影响大小的作用。（然而如果归一化做的好，对bias做正则化，不会使得效果变差，原因可能是因为bias比weight的数目少太多，模型能够支持对于bias的变化以获得更好的准确率）[参考资料：Neural Networks Part 2: Setting up the Data and the Loss]

1.计算score

    scores = None
    W1,b1,W2,b2 = self.params['W1'],self.params['b1'],self.params['W2'],self.params['b2']
    fc1_out,fc1_cache = affine_forward(X,W1,b1)
    relu_out,relu_cache = relu_forward(fc1_out)
    fc2_out,fc2_cache = affine_forward(relu_out,W2,b2)
    scores = fc2_out

2.计算loss以及梯度

    loss, grads = 0, {}
    loss,dscores = softmax_loss(scores,y)
    loss += 0.5*self.reg*(np.sum(W1**2)+np.sum(W2**2))

    drelu_out,dW2,db2 = affine_backward(dscores,fc2_cache)
    dfc1_out = relu_backward(drelu_out,relu_cache)
    _,dW1,db1 = affine_backward(dfc1_out,fc1_cache)

    dW1 += self.reg*W1
    #db1 += self.reg*b1
    dW2 += self.reg*W2
    #db2 += self.reg*b2

    grads['W1'],grads['b1'],grads['W2'],grads['b2'] = dW1,db1,dW2,db2