cs231n_assignment1

• 第一个作业，主要是包含

  • knn

  • softmax,svm两个线性分类器

    • softmax 是通过概率来进行计算的,同时为了保证概率，通过使用来进行一个处理，损失函数为 ,梯度计算可通过对上式求导（这里的数值计算trick可以在看后面总结）

    • svm 主要是通过训练确定SVM 的决策平面，这里我们进行损失计算的函数为对于每一行非正确类别与正确类别之间进行求和计算，最后累加所有输入样本

  • neural network -2-layer network

    • 基本思想，利用计算值，中取最大值的那个索引为我们的预测值

    • 梯度计算方面，是通过一个反向传播的计算方法，求解步骤，首先列出 Loss 损失函数，计算对于 的偏导数，再通过等等 ,来不断进行导数的传递计算，从而完成W1,W2的偏导计算

  • feature

    • 即改变我们的输入，直接提取图像中HOG特征以及新的颜色空间中的特征来进行输入，可以提高我们的识别效果

• 总结

  • 我们这次实验来看，SVM,Softmax都是基本的线性分类器，即XW，neural network这次只是接触到了2层的全链接，得到最后的输出之后，我们仍然是取输出每行结果最大值索引来作为我们的预测结果

  • 这次练习上，尚未进行数据标准化，这个会影响我们的learning_rate设置，如果设置过大，会导致梯度下降过头，从而使得我们的损失值更大，体现在计算中，如 2-layer network练习中 使用softmax 中 中 过小，从而出现警告 divided by zero in log

  • 同时我们需要注意一些使用的小trick ，如 softmax由于会有一个求 概率的情况，为了不溢出，我们每行使用上下同时除来进行一个计算改善

  • 关于反向传播，需要一步一步来，从loss函数入手，不断的往前求导，经验是可以根据维度平衡来快得到乘机顺序以及判断是否需要转置。