传统机器学习和深度学习

摘自：人工智能标准化白皮书（2018版）

传统机器学习

传统机器学习从一些观测（训练）样本出发，试图发现不能通过原理分析获得的规律，实现对未来数据行为或趋势的准确预测。
相关算法包括：

• 逻辑回归
• 隐马尔科夫方法
• 支持向量机方法
• K 近邻方法
• 三层人工神经网络方法
• Adaboost算法
• 贝叶斯方法
• 决策树方法 等

传统机器学习平衡了学习结果的有效性与学习模型的可解释性，为解决有限样本的学习问题提供了一种框架，主要用于有限样本情况下的模式分类、回归分析、概率密度估计等。
传统机器学习方法共同的重要理论基础之一是统计学，在自然语言处理、语音识别、图像识别、信息检索和生物信息等许多计算机领域获得了广泛应用。

深度学习

深度学习是建立深层结构模型的学习方法。
典型的深度学习算法包括：

• 深度置信网络 DBN，Deep Belief Nets
• 卷积神经网络 CNN，Convolutional Neural Network
• 受限玻尔兹曼机 RBM，Restricted Boltzmann Machine
• 循环神经网络 RNN，recurrent neural network

深度学习又称为深度神经网络（指层数超过3 层的神经网络）。
深度学习作为机器学习研究中的一个新兴领域，由Hinton 等人于2006 年提出。
深度学习源于多层神经网络，其实质是给出了一种将特征表示和学习合二为一的方式。
深度学习的特点是放弃了可解释性，单纯追求学习的有效性。经过多年的摸索尝试和研究，已经产生了诸多深度神经网络的模型，其中卷积神经网络、循环神经网络是两类典型的模型。卷积神经网络常被应用于空间性分布数据；循环神经网络在神经网络中引入了记忆和反馈，常被应用于时间性分布数据。深度学习框架是进行深度学习的基础底层框架，一般包含主流的神经网络算法模型，提供稳定的深度学习API，支持训练模型在服务器和GPU、TPU 间的分布式学习，部分框架还具备在包括移动设备、云平台在内的多种平台上运行的移植能力，从而为深度学习算法带来前所未有的运行速度和实用性。

目前主流的开源算法框架有

TensorFlow、Caffe/Caffe2、CNTK、MXNet、Paddle-paddle、Torch/PyTorch、Theano 等。