CS231n课后作业小结

参考资料：

https://www.jianshu.com/p/004c99623104

Assignment 1：

主要是实现softmax、hinge等损失函数以及两层神经网络。

最大的收获是捋清楚了softmax函数的导数。下面是过程。

首先，几个公式说明，第个类别的预测概率为：

其中，，，，为样本数，为的维度，为样本的类别数。

第个样本对应的损失函数为：

其中，为第个样本对应的类别。

计算softmax函数导数的过程如下。

不同的值对应不同导数，则

其中，为第个样本的类别为​​​​​​​的概率，

则

其中，为矩阵的第列列向量，此处特指第个样本的预测向量中的第个值，即第第个样本为第​​​​​​​个类别的分数，为中第个样本的特征向量。

最后，总损失函数的导数为

Assignment 2：

关于卷积神经网络的一些解释和注意事项（摘抄）

-卷积神经网络为何起作用？

-自然图像有其固有特性，即图像上一部分的统计特征与其他部分一样。这意味着在某一部分学习的特征也可以用在其他部分。所以，对该图像上的所有位置都能够使用相同的卷积核学习特征。

注意：

-使用CNN时，倾向选择多层小尺寸的卷积核而非大尺寸的卷积核；

-实际工程中，需要预估内存后根据内存设定合理的卷积核大小。因为，GPU的内存很小，而CNN反向传播需要保存很多中间梯度，可能内存不够。

Assignment 3：

RNN的前向传播和反向传播。

通常RNN每个节点包含一个隐藏状态（）一个输出向量（），此处假设每个节点都会预测，预测值表示为，前向传播过程为：

其中，为函数，为该单元的输入向量。

RNN的反向传播：

损失函数：

其中，

，

注意，。

则，时刻的导数为，无

其余的导数求导公式为：