深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果

既然要研究深度学习这一门学科，外文的论文和资料阅读是必不可少的，下面就总结一些深度学习相关方面的专有英文，并做一些必要解释。

1. 深度学习常用中英文

英文	中文解释	说明
MNIST		MNIST数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。
ImageNet		ImageNet是一个超过15 million的图像数据集，大约有22,000类。
ILSVRC：ImageNet Large Scale Visual Recognition Challenge	ImageNet 大型视觉识别挑战赛
ICML：International Conference for Machine Learning	国际机器学习大会
Alexnet	这种架构曾在 2012 年 ILSVRC 挑战赛中以巨大优势获胜，而且它还导致了人们对用于图像识别的卷积神经网络（CNN）的兴趣的复苏
VGG	VGG 是在 2014 年 ImageNet 定位和分类比赛中分别斩获第一和第二位置的卷积神经网络模型。
GoogLeNet	GoogLeNet 是曾赢得了 2014 年 ILSVRC 挑战赛的一种卷积神经网络架构
ResNet	深度残差网络（Deep Residual Network）赢得了 2015 年的 ILSVRC 挑战赛。
DenseNet	比ResNet更优的CNN模型
SENet	最后一届ImageNet 2017竞赛分类任务的冠军
neural networks	神经网络
neuron	神经元
supervised learning	监督学习
unsupervised learning	无监督学习
feedforward neural network	前馈神经网络
Backpropagation	反向传播
NTM：Neural Turing Machine	神经图灵机	NTM 是可以从案例中推导简单算法的神经网络架构。比如，NTM 可以通过案例的输入和输出学习排序算法。
data augmentation	数据增强	翻转（Flip）、旋转（Rotation）、缩放比例（Scale）、裁剪（Crop）、移位（Translation）、高斯噪声（Gaussian Noise）等等方法
Recursive Neural Network	递归神经网络	递归神经网络是循环神经网络的树状结构的一种泛化（generalization）
CNN/ConvNet：Convolutional Neural Network	卷积神经网络
RNN：Recurrent Neural Network	循环神经网络
Bidirectional RNN	双向循环神经网络	双向循环神经网络是一类包含两个方向不同的 RNN 的神经网络
DBN：Deep Belief Network	深度信念网络
RBN：Restricted Boltzmann Machine	受限玻尔兹曼机	RBN 是一种可被解释为一个随机人工神经网络的概率图形模型。RBN 以无监督的形式学习数据的表征。
MLP：Multilayer Perceptron	多层感知器
Momentum	动量	动量是梯度下降算法（Gradient Descent Algorithm）的扩展，可以加速和阻抑参数更新。
Nonlinearity	非线性
Max-Pooling	最大池化
Average-Pooling	平均池化
Sigmoid	Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。
ReLU	线性修正单元（Rectified Linear Unit）
Dropout	Dropout 是一种用于神经网络防止过拟合的正则化技术
BN：Batch Normalization	分批标准化	分批标准化是一种按小批量的方式标准化层输入的技术
Attention Mechanism	注意机制	注意机制是由人类视觉注意所启发的，是一种关注图像中特定部分的能力。
RMSProp	RMSProp 是一种基于梯度的优化算法
Adam	Adam 是一种类似于 rmsprop 的自适应学习率算法
Adagrad	Adagrad 是一种自适应学习率算法，能够随时间跟踪平方梯度并自动适应每个参数的学习率。
Adadelta	Adadelta 是一个基于梯度下降的学习算法，可以随时间调整适应每个参数的学习率。
gradient descent	梯度下降
SGD：Stochastic Gradient Descent	随机梯度下降
conjugate gradient	共轭梯度
least squares	最小二乘法
Softmax		Softmax 函数通常被用于将原始分数（raw score）的矢量转换成用于分类的神经网络的输出层上的类概率（class probability）。
Vanishing Gradient Problem	梯度消失问题	解决这一问题的常用方法是使用 ReLU 这样的不受小梯度影响的激活函数，或使用明确针对消失梯度问题的架构，如LSTM。
word2vec		word2vec 是一种试图通过预测文档中话语的上下文来学习词向量（word embedding）的算法和工具
NMT：Neural Machine Translation	神经网络机器翻译
LSTM：Long Short-Term Memory	长短期记忆	网络通过使用内存门控机制防止循环神经网络（RNN）中的梯度消失问题
orthogonalization	正交化
Activation Function	激活函数	最常用的函数包括 sigmoid、tanh、ReLU
additive noise	加性噪声
autoencoder	自编码器
derivative	导函数
eigenvalue	特征值
eigenvector	特征向量
feature matrix	特征矩阵
feature standardization	特征标准化
error term	残差
fine tuning (transfer training)	微调
local optima	局部最优解
logistic regression	逻辑回归
loss function	损失函数
non-convex function	非凸函数
non-linear feature	非线性特征
norm	范式
normalization	归一化
object detection	物体检测
objective function	目标函数
under-fitting	欠拟合
over-fitting	过拟合
pretrain	预训练
redundant	冗余
regularization	正则化
regularization term	正则化项
rescaling	缩放
robust	鲁棒性
singular value	奇异值
mean and variance	均值和方差
squared-error	方差
the rate of convergence	收敛速度
translation invariant	平移不变性
weight decay	权重衰减
whitening	白化
sparsity parameter	稀疏性参数
RPN， region proposal network	区域生成网络

2. 历届ILSVRC部分冠亚军结果

• ImageNet介绍

ImageNet是一个超过15 million的图像数据集，大约有22,000类。

ImageNet是由李飞飞团队从2007年开始，耗费大量人力，通过各种方式（网络抓取，人工标注，亚马逊众包平台）收集制作而成，它作为论文在CVPR-2009发布。当时人们还很怀疑通过更多数据就能改进算法的看法。

深度学习发展起来有几个关键的因素，一个就是庞大的数据（比如说ImageNet），一个是GPU的出现。（还有更优的深度模型，更好的优化算法，可以说数据和GPU推动了这些的产生，这些产生继续推动深度学习的发展）。

• ILSVRC冠亚军

年	网络/队名	val top-1	val top-5	test top-5	备注
2012	AlexNet	38.1%	16.4%	16.42%	5 CNNs
2012	AlexNet	36.7%	15.4%	15.32%	7CNNs。用了2011年的数据
2013	OverFeat			14.18%	7 fast models
2013	OverFeat			13.6%	赛后。7 big models
2013	ZFNet			13.51%	ZFNet论文上的结果是14.8
2013	Clarifai			11.74%
2013	Clarifai			11.20%	用了2011年的数据
2014	VGG			7.32%	7 nets, dense eval
2014	VGG（亚军）	23.7%	6.8%	6.8%	赛后。2 nets
2014	GoogLeNet v1			6.67%	7 nets, 144 crops
-	GoogLeNet v2	20.1%	4.9%	4.82%	赛后。6 nets, 144 crops
-	GoogLeNet v3	17.2%	3.58%		赛后。4 nets, 144 crops
-	GoogLeNet v4	16.5%	3.1%	3.08%	赛后。v4+Inception-Res-v2
2015	ResNet			3.57%	6 models
2016	Trimps-Soushen			2.99%	公安三所
2016	ResNeXt（亚军）			3.03%	加州大学圣地亚哥分校
2017	SENet			2.25%	Momenta 与牛津大学

评价标准：top1是指概率向量中最大的作为预测结果，若分类正确，则为正确；top5则只要概率向量中最大的前五名里有分类正确的，则为正确。