人工智能、机器学习、深度学习和神经网络

1、人工智能（Artificial Intelligence，AI）

（1）定义
为机器赋予人的智能。是机器模拟人的意识和思维，让计算机具备人类拥有如感知、学习、记忆、推理、决策等的能力。
（2）分类
人工智能分为强人工智能（General AI）和弱人工智能：
（i）强人工智能主要是指构造复杂的、拥有与人类智慧同样本质特性的机器，这个机器拥有不少于人的理性和人的感知能力；
（ii）弱人工智能主要是指能够与人一样，甚至比人更好地执行特定任务的技术，当前我们能实现的都属于这一类。

（3）研究方法
控制论与大脑模拟、符号处理、子符号方法、统计学方法、集成方法。

（4）研究领域
人工智能研究的领域主要有五层：

（5）应用场景
（i）计算机视觉
图像识别、图像分类等等

（ii）语音技术
例如siri、小爱同学等等

（iii）自然语言处理
机器翻译等等

（iv）决策系统
如alphago。

（v)大数据应用
比如视频软件和购物软件中的推荐和猜你喜欢等等。

2、机器学习（Machine Learing, ML)

（1）定义
一种实现人工智能的方法，人工智能领域最能体现智能的一个分支。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。目前有以下几种定义：

(i)机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能;

(ii)机器学习是对能通过经验自动改进的计算机算法的研究;

(iii)机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

(iv)常用的英文定义：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
翻译过来是：一个从经验E中学习某些类型的任务T的计算机程序，用性能P来衡量，它在任务T中的表现(用P衡量)随着经验E而提高。

（2）分类
（i）监督学习（Supervised Learning）：从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。

（ii）无监督学习（Unsupervised Learning）：与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有生成对抗网络（GAN）、聚类。

（iii）半监督学习（Semi-supervised Learning）：介于监督学习与无监督学习之间，

（iv）强化学习（Reinforcement Learning）：机器为了达成目标，随着环境的变动，而逐步调整其行为，并评估每一个行动之后所到的回馈是正向的或负向的。

（3）机器学习算法
（i）构造间隔理论分布：聚类分析和模式识别
人工神经网络、决策树、感知器、支持向量机、集成学习AdaBoost、降维与度量学习、聚类、贝叶斯分类器

（ii）构造条件概率：回归分析和统计分类
高斯过程回归、线性判别分析、最近邻居法、径向基函数核

（iii）通过再生模型构造概率密度函数：
最大期望算法、概率图模型：包括贝叶斯网和Markov随机场、Generative Topographic Mapping

（iv）近似推断技术：
马尔可夫链、蒙特卡罗方法、变分法

（v）最优化：大多数以上方法，直接或者间接使用最优化算法。

3、深度学习(Deep Learning, DL)

（1）定义
机器学习的分支，机器学习领域的一个新的研究方向。基于对数据进行表征学习的算法。
深度学习的基础是机器学习中的分散表示（distributed representation）。分散表示假定观测值是由不同因子相互作用生成。在此基础上，深度学习进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽象。不同的层数和层的规模可用于不同程度的抽象。

深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概念学习得到。这一分层结构常常使用贪心算法逐层构建而成，并从中选取有助于机器学习的更有效的特征。

不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也更容易获得。这一点也为深度学习赢得了重要的优势。

（2）深度学习与人工神经网络
一部分最成功的深度学习方法涉及到对人工神经网络的运用。

（3）深度学习结构
（i）深度神经网络
深度神经网络（Deep Neural Networks, DNN）是一种判别模型，可以使用反向传播算法进行训练。

（ii）深度置信网络
深度置信网络（deep belief networks，DBN）是一种包含多层隐单元的概率生成模型，可被视为多层简单学习模型组合而成的复合模型。

（iii）卷积神经网络
卷积神经网络（convolutional neural networks，CNN）由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构。

（iv）卷积深度置信网络
卷积深度置信网络（convolutional deep belief networks，CDBN）是深度学习领域较新的分支。在结构上，卷积深度置信网络与卷积神经网络在结构上相似。因此，与卷积神经网络类似，卷积深度置信网络也具备利用图像二维结构的能力，与此同时，卷积深度信念网络也拥有深度置信网络的预训练优势。卷积深度置信网络提供了一种能被用于信号和图像处理任务的通用结构，也能够使用类似深度置信网络的训练方法进行训练。

4、神经网络（Neural Network, NN）

其实在前面讲解机器学习算法的时候就已经提到了人工神经网络，这里单独将它拿出来主要是因为它经常被人提到，也很容易与其他三个概念混淆。

（1）定义

目前提到的神经网络一般指人工神经网络（此外，还有生物神经网络），人工神经网络是一种机器学习的算法，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络通过调整系统内各神经节点的权重，从而达到处理信息的目的。

（2）分类

本文参考了维基百科和知乎AI教育的文章。