菜鸟学习之路-初识神经网络

大多是网上找到的资料，学习后整理一下，方便以后查看。
内容是关于神经网络的基本知识，主要是BP神经网络以及目前各种神经网络的类型。

神经网络算法的基本概念

人工神经网络（Artificial Neural Networks，ANN）系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。BP（Back Propagation）算法又称为误差 反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。
百度百科-神经网络算法
CSDN有毒，我写完发布后文章后面的推荐写的真好。我就加上来了。
【转】机器学习入门——浅谈神经网络

神经网络发展历程

这段来自于简书的一个博主的文章，他也是翻译自外国的内容，由于本文章主要是整理而非阐述自己的想法，所以能够用链接的就尽可能用链接。这片博文主要讲了神经网络从最初的感知机（Perceptrons）讲到了BP神经网络，并讲述了BP（反向传播）算法和梯度下降算法之间的练习。
神经网络算法-foochane

BP神经网络的推导

看完上一篇文章后，我对反向传播算法的推导产生了一些兴趣，于是进一步搜索发现了一篇讲得比较好的文章。
“反向传播算法”过程及公式推导（超直观好懂的Backpropagation）
但在看完后，我还是有一些疑问
BP算法运行前的总误差怎么计算？
在查过一些内容后，知道了BP算法用于有监督学习时，有固定的输入和输出（期望输出）。以此来计算输出和期望输出的偏差，进而通过反向传播算法来计算在各节点的偏差。
在无监督学习时，没有相关内容可供参考，我个人觉得可能这个方法并不用于无监督学习（ps：本人对机器学习了解的内容有限），或者可以通过估计的方法求得。

27种神经网络模型

了解上面内容以后，又想进一步了解神经网络模型的类型，于是检索得到一个比较全的回答。
27种神经网络模型的简介
令人意外的是，支持向量机(SVM)也属于神经网络的一种。不过SVM的输出方式也确实类似于感知机，在查询过程中，也发现了有博主指出，并非所有类型的SVM都可以算作神经网络。

个人看法

神经网络在文字识别、特征匹配、分类等领域应用的较多。在SLAM领域，现有的研究中，神经网络被用于前端的特征提取，回环检测中的词袋树生成，语义地图中的语义特征的生成。（在描述这些内容时感到生涩，对于一些词语使用是否正确不是很有把握，说明文献的阅读量还是不足）。