神经网络学习笔记1

*打工人的第三周学习目标和渠道*

 

#神经网络算法的学习

• 看斯坦福计算机视觉课程，看完相关笔记并完成作业

• 看吴恩达的机器学习（还没开始看）

某博主总结：https://yoyoyohamapi.gitbooks.io/mit-ml/content/

• 看andrej kapathy的博客和文章

注1：课程和博客看起来的会有些晦涩难懂，建议辅助看些入门资料，如下：

（1）什么是神经网络？

https://blog.csdn.net/illikang/article/details/82019945（强推，简单易懂）
连接是神经元中最重要的东西。每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

在设计一个神经网络时，输入层的节点数需要与特征的维度匹配，输出层的节点数要与目标的维度匹配。而中间层的节点数，却是由设计者指定的。因此，“自由”把握在设计者的手中。但是，节点数设置的多少，却会影响到整个模型的效果。

 

（2）CNN（Conventional Neural Network，卷积神经网络）

https://www.cnblogs.com/jyroy/p/13762902.html

 

（3）RNN（Recurrent Neural Network，循环神经网络）

简单RNN-->LSTM

https://zhuanlan.zhihu.com/p/123211148

 

  (4)  RNN（Recursive Neural Network，递归神经网络）

https://blog.csdn.net/luzichang/article/details/91344539

递归神经网络提出于1990年，被视为循环神经网络（recurrent neural network）的推广.

 

(5)  SVM（support vector machines）支持向量机 

https://blog.csdn.net/myarrow/article/details/51261971

是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。

 

（6）SPPnet（spatial pyramid pooling network）

https://blog.csdn.net/weixin_43624538/article/details/87966601

SPP-Net是一种可以不用考虑图像大小，输出图像固定长度网络结构，并且可以做到在图像变形情况下表现稳定。

 

（7）RPN (RegionProposal Network) 区域生成网络

faster r-cnn = rpn + fast r-cnn

 

(8)  SSD（Single Shot Detection）

https://www.sohu.com/a/368108696_100007727

https://blog.csdn.net/qianqing13579/article/details/82106664

 

(9)  Retina Net

https://zhuanlan.zhihu.com/p/53259174

 

(10)  BP（Back   propagation）反向传播
https://blog.csdn.net/weixin_38347387/article/details/82936585

 

注2：循环神经网络是Recurrent Neural Network，递归神经网络是Recursive Neural Network。

从广义上说，递归神经网络分为结构递归神经网络和时间递归神经网络。从狭义上说，递归神经网络通常指结构递归神经网络，而时间递归神经网络则称为循环神经网络。故循环神经网络确实可以归类到递归神经网络，

两者最主要的差别就在于Recurrent Neural Network是在时间维度展开，代表信息在时间维度从前往后的的传递和积累。Recursive Neural Network在空间维度展开，是一个树结构。
 

注3：andrej kapathy推荐的Michael Nielsen的教程：http://neuralnetworksanddeeplearning.com/index.html 和 Coursera上的Ng的机器学习教学视频。
可以到bilibili先看吴恩达的机器学习，再看cs321n课程。

 

• 看目标检测综述

在综述中可以看到近20年来，目标检测的发展如下：

 

在学习过程中，我发现看博客和综述还是很难理解，所以我上bilibili找了一些视频，发现一个宝藏up主：霹雳吧啦Wz
以下是他的github的链接：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing

按照以下顺序学习，基本和发展顺序保持一致：

 

推荐一个网址：https://cloud.tencent.com/developer/news/281788，简单易懂。

 

• 认识imageNet

• 

ImageNet 是一个计算机视觉系统识别项目， 是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。