cs231n笔记总结

cs231n的课程以及作业都完成的差不多了,后续的课程更多的涉及到卷积神经网络的各个子方向了,比如语义分割、目标检测、定位、可视化、迁移学习、模型压缩等等。assignment3有涉及到这些中的一部分,但需要深入了解的话还是得看论文了。所以在看论文前把之前已学的知识,笔记和作业代码一起做个整理。
博客里主要是自己在这个过程中做的笔记,其中很多直接贴的知乎上的翻译版note,作业放在github上https://github.com/PanXiebit/cs231n.git

01.Python Numpy Tutorial

  • dict中元素的访问
  • lambda\ reduce\enumerate的使用
  • element wise\dot()\multiply的区别
  • broadcasting 广播机制,这个很重要
  • scipy 科学计算库,这里主要用到的是图像处理
  • matplotlib

02.线性分类器

  • 线性分类器的原理及解释
  • 两种损失函数SVM和softmax
  • 范式正则化

03.最优化-求梯度

  • 损失函数可视化
  • 有限插值法求梯度
  • 微分法求梯度:以softmax为例进行了推导

04.logistic回归以及反向传播

05.神经网络的结构

  • 神经网络的生物理解
  • 常用激活函数sigmoid\relu\tanh
  • 神经网络层数越多越好吗?
  • 神经网络层数以及神经元的个数

06.训练一个神经网络1
batch_size\iteration\epoch区别

07.训练一个神经网络2

  • 数据预处理
    • 归一化、降维
  • 权重参数初始化
  • 批量归一化 Batch Normalization
  • 正则化
    • L1,L2正则化
    • Dropout和反向Dropout
  • 属性分类:一个样本有多个标签
  • 偏差和方差

08.训练一个神经网络3-优化算法optimal

  • sgd
  • momentum
  • RMSprop
  • Adam
  • 学习率衰减
  • 局部最优化local optimal(貌似最近在微信上看到一篇文章将怎么避开鞍点的)

09.训练神经网络4-超参数调试

  • 超参数调试技巧
  • Batch Normalizaton再解析

10.训练神经网络5-小技巧

- 狠狠狠重要,狠狠狠玄学

11.卷积神经网络

  • 卷积层
  • 卷积层为啥好:参数共享、稀疏连接
  • 参数计算
  • padding
  • 1x1 convolution
  • pooling
  • 全连接层和卷积层的转换
  • Cpython加速

12.检测、定位、分割

13.可视化及可解释性

你可能感兴趣的:(cs231n)