机器学习——概念理解之机器学习、人工智能、神经网络、深度神经网络、卷积神经网络

1. 人工智能

人工智能：英文缩写AI（Artificial Intelligence），人工智能可以追溯到1956年的美国，那时工程师们决定编写一个试图仿效智能的计算机程序。它是计算机科学的一个分支，是研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的技术科学。主要的研究方向有自然语言处理、图像检测、图像识别、推荐系统和专家系统等。用通俗的话讲就是要研究可以达到人类智慧水平的机器。

2. 机器学习

机器学习：英文缩写ML（Machine Learning），机器学习最初被称为“模式识别”，是人工智能的核心，通过收集想要了解的事物的大量数据，通过对数据的分析得到不同的特征数据从而可以区分事物或者预测趋势。
机器学习主要包括三个部分：模型、策略和算法。

3. 感知机

感知机(Perception)：二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。是很多算法的基础，比如：支持向量机、神经网络、深度学习等，这个概念是由美国学者Frank Rosenblatt在1957年提出来的。
感知机由这几个部分组成：输入、权值、激活函数、输出

4.多层感知机

多层感知机（MLP，Multilayer Perception)，也叫人工神经网络（Artificial Neural Network）：与感知机的区别是，感知机只有一个神经元，而多层感知机至少包含一层隐藏层。多层感知机的层与层之间是全链接的。

4. 深度神经网络

深度神经网络（Deep Neural Network,DNN）：也是以感知机为基础的，只不过层数会比神经网络多一些一般要达到5层以上。

5. 卷积神经网络

卷积神经网络（Conolutional Neural Network）：是一类包含卷积计算并且具有深度结构的前馈神经网络。和大部分的神经网络算法一样，大部分的神经元都用来提取数据的特征，具有平移不变性。
卷积神经网络结构主要包含：输入、卷积计算、激活函数、池化、全链接。
卷积神经网络的最大特点是局部感知和权值共享。
卷积神经网络可以分为一维神经网络：主要用来处理序列类的数据，例如NLP；二维神经网络：主要用来处理图像；三维神经网络：主要用来处理视频或者医学图像等数据。

6.循环神经网络

循环神经网络（Recurrent Neural Network， RNN）：主要用途是处理和预测序列数据，与卷积神经网络不同的是神经元的输入除了输入层的输出还包括上一时刻隐藏层的输出。
常见的应用领域：语言建模和文本生成、机器翻译、语音识别等。
是时间上的展开，处理的是序列结构的信息，是有环图，模型结构如下：
循环神经网络展开

recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出；

7. 递归神经网络

递归神经网络（Recursive Neural Network， RNN）递归神经网络是空间上的展开，处理的是树状结构的信息，是无环图，模型结构如下：

recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就是假设句子后面的词的信息和前面的词有关，而用recurxive neural network来建模的话，就是假设句子是一个树状结构，由几个部分(主语，谓语，宾语）组成，而每个部分又可以在分成几个小部分，即某一部分的信息由它的子树的信息组合而来，整句话的信息由组成这句话的几个部分组合而来。

参考：
http://c.biancheng.net/view/1910.html
https://blog.51cto.com/11142243/2421395