神经网络介绍

神经网络

神经网络的定义

       百科中定义是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，翻译成大白话就是一种模拟神经元有刺激有响应的结构，使用多个这样的结构在不同层以不同数量、不同权值叠加以求得最开始的输入与输出之前关系的网络。

神经网络的应用

一个最简单的神经网络可以是只有一层，有一个输入，然后得到一个输出，如果输入和输出之间是线性的关系，就最简单不过了。比如输入是商品的数量，输出时商品的总价格，显然中间只需要一个乘法就可以做到。即商品的总价格=商品的数量*商品的单价。

但现实生活一个输出往往与很多因素有关。比如房价，房价可以与房子的位置、房子的大小，人们的购买能力有关，而房子的位置又可以分为在哪个城市，是在大城市（北上广深）、还是小城市（三四线小县城），周围是小学、初中还是大学。于是就可以将模型拓展成城市大小、周围为第一层节点，二者共同决定位置对房价的作用，然后还可以加入房子的大学、购房能力等指标作为第二层，第二层通过不同的加权值作用于房价（第三层）。

神经学习的本质是监督学习，除了在我们上面提到的预测房价的方面，他在智能广告、语音识别、自动驾驶、机器翻译等方面也得到了广泛的应用。在图像领域我们常用的是卷积神经网络（CNN），对于序列数据，例如音频包含时间序列信息，我们使用循环神经网络（RNN），当然语言也是一个个相关的序列（词）组成，因此也使用RNN。自动驾驶可能涉及图片和序列两种，于是它一般使用的是混合算法。

同时我们也听到另一种说法，神经网络适用于结构化和非结构化数据，结构化数据都有清晰的定义，诸如：房子的尺寸，年龄的大小等等，非结构化数据可能是图片、视频或者是代识别的文本中的像素点、或者是单词，人类更擅长处理非结构化数据，但是由于神经网络、深度学习，电脑也越来越能在模式识别、图片识别等领域有很好的表现。

传统的向量机等模型在数据量小的时候性能随着数据量的增长稳定增长，在数据量达到一定程度上性能逐渐达到稳定了，但随着相机被集成在手机登各种移动终端上，人们能获得的数据爆炸式增长，神经学习的算法被发明，此时规模越大的网络性能增长约为显著。也即要得到一个性能较好的网络可以通过两种方式：增大网络的规模或者增加数据量，而大公司例如谷歌等往往朝着两个方向共同努力，毕竟他们有着天然的数据优势。近些年来算法的更新也让神经网络的运算速度得到很大的提升，比如：相比于之前的sigmoid函数（符号函数）转变为ReLu函数（在负数部分是固定的，在正的部分线性增长）