关于机器学习方面的名词解释

整理一些名词解释，方便自己以后查看

机器学习

1. 是一种实现人工智能的方法
2. 机器学习最基本的做法，是使用算法来解析数据，从中学习，然后对真实世界中的时间做出决策和预测
3. 机器学习使用大量的数据来‘训练’，通过各种算法从数据中学习如何完成任务
4. 从学习方法上来分，机器学习算法可以分为：监督学习、无监督学习、半监督学习、集成学习、深度学习和强化学习

深度学习

1. 是一种实现机器学习的技术
2. 深度学习，作为目前最热的机器学习方法，目前存在以下问题：
   1）深度学习模型需要大量的训练数据，但现实生活中往往会遇到小样本的问题
   2）有些领域，采用传统的简单的机器学习方法就可以很好的解决
   3）深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟

两者的区别

1. 机器学习框架涵盖用于分类、回归、聚类、异常检测和数据准备的各种学习方法，并且其可以或可以不包括神经网络方法；深度学习或深度神经网络（DNN）框架涵盖具有许多隐藏层的各种神经网络拓扑
2. 常见的深度学习框架：Caffe，CNTK，DeepLearning4j,Keras,MXNet和Tensorflow
   常见的机器学习框架：Scikit-learning和Spark MLib

深度学习框架的比较（主要比较Caffe和Tensorflow）

1. 神经网络一般包括：训练、测试
   训练：把训练数据和神经网络模型（AlexNet、RNN等）“倒入”神经网络训练框架（Caffe），然后用CPU或GPU“提炼出”模型参数
   测试：把测试数据用训练好的模型（神经网络模型+模型参数）跑一跑看看结果如何
   Caffe、Keras、Tensorflow就是把炼制过程所涉及的概念做抽象，形成一套体系

名词解释：

1. 神经网络模型

神经网络是机器学习中的一种模型，是一种模拟动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的
一般来说，神经网络的架构可以分为三类：

1） 前馈神经网络

这是实际应用中最常见的神经网络类型，第一层是输入，最后一层是输出。如果有多个隐藏层，称之为“深度”神经网络。它们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数

2）循环网络

简述一下，循环网络用来处理序列数据。
在传统的神经网络模型中，是从输入层到隐藏层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的，但是这种普通的神经网络对于很多问题却无能为力，比如，如果要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。
而循环神经网络，是一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中；换句话说是隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出

3）对称连接网络

对称连接网络和循环网络有点类似，但是单元之间的连接是对称的，这个网络中有更多的限制，因为它们遵守能量函数定律，没有隐藏单元的对称连接网络被称为“Hopfield”网络，有隐藏单元的对称连接的网络被称为玻尔兹曼机

2. M-P神经元

M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化的模型，为了使得建模更加简单，忽略时间整合作用，不应期等复杂因素，并把神经元的突触时延和强度当成常数。
M-P模型示意图

对于某一个神经元，它可能同时接受了许多个输入信号，用xi表示
由于生物神经元具有不同的突触性质和突触强多，所以对神经元的影响不同，我们用权值wij表示，其大小代表了突触的不同连接强度
θj表示为一个阈值（threshold），或称为偏置（bias），超过阈值为兴奋，低于是抑制。
由于累加性，我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位（水的变化总量），其值就为：

一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。

3. 卷积神经网络 CNN

由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了广泛的应用。

CNN基本结构包括两层

1. 特征提取层
每个神经元的输入与前一层的局部接收域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征的位置关系也随之确定下来
2. 特征映射层
网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有的神经元的权值相等特征映射结构采用sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

卷积神经网络的原理

1. 图像输入
每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息，这种模式就是卷积神经网络中降低参数数目的重要神器：局部感受野

2. 提取特征
图像之间的像素进行比对。显示生活中每个图像都有着各个形态上的变化，例如平移、缩放、旋转、微变形等。基于局部感受野模式，对于CNN来说，它是一小块一小块的进行比对，在两幅图像中大致的位置找到一些粗糙的特征，相比起传统的整幅图逐一比对的方式，CNN的这种小块匹配方式能够更好的比较两幅图之间的相似性。

3. 卷积
卷积的定义： 卷积是两个变量在某范围内相乘后求和的结果
当给定一张新图时，CNN并不能准确地知道这些特征到底要匹配原图的哪些部分，所以它会在原图中把每一个可能的位置都进行尝试，相当于把这个feature（特征）变成了一个过滤器。这个用来匹配的过程就被称为卷积操作，这也是卷积神经网络名字的由来。
图像处理：用一个模板和一幅图像进行卷积，对于图像上的一个点，让模板的原点和该点重合，然后模板上的点和图像上对应的点相乘，然后各点的积相加，就得到该点的卷积值。对图像上的每个点都这样处理。由于多数模板都对称，所以模板不旋转。卷积是一种积分运算，用来求两个曲线重叠区域面积。可以看作加权求和，可以用来消除噪声、特征增强。 把一个点的像素值用它周围的点的像素值的加权平均代替。

4. 池化
为了有效地减少计算量，CNN使用的另一个有效的工具被称为“池化(Pooling)”
池化就是将输入图像进行缩小，减少像素信息，只保留重要信息。

5. 激活函数
常用的激活函数有sigmoid、tanh、relu等等
sigmoid/tanh比较常见于全连接层
relu 常见于卷积层
感知机在接收到各个输入，然后进行求和，再经过激活函数后输出。激活函数的作用是用来加入非线性因素，把卷积层输出结果做非线性映射。
在卷积神经网络中，激活函数一般使用ReLU(The Rectified Linear Unit，修正线性单元)，它的特点是收敛快，求梯度简单。计算公式也很简单，max(0,T)，即对于输入的负值，输出全为0，对于正值，则原样输出。

6. 深度神经网络
通过加大网络的深度，增加更多的层，就得到了深度神经网络

7. 全连接层
全连接层在整个卷积神经网络中起到“分类器”的作用，即通过卷积、激活函数、池化等深度网络后，再经过全连接层对结果进行识别分类。

8. 卷积神经网络
将以上所有结果串起来后，就形成了一个“卷积神经网络”（CNN）结构``

参考链接：
https://www.jianshu.com/p/546dc40b52c8
https://www.cnblogs.com/wj-1314/p/9754072.html
https://blog.csdn.net/u014470361/article/details/99175369