机器学习术语总结-4--个人向

PS：一只正在学习机器学习的菜鸟。术语组成主要是深度学习（入门圣经）+维基百科+自己的理解。写这个主要是因为在自己学习过程中有一些术语查了又忘，忘了又查。。。所以写篇博客记录一下，术语不是按学习顺序记录的。都是基于自己的理解写出来的话，比较通俗易懂，错误的还请大家指正。同时会在文末放上自己学习上没弄明白的点，也希望大神能评论指出。
一.术语

1.双曲正切激活函数

                                                                                   

                                                                                   

                                                                                   

2.径向基函数(radial basis function, RBF)

常见的隐藏单元类型之一，径向基函数是一个取值仅依赖于到原点距离的实值函数，即。此外，也可以按到某一中心点c的距离来定义， 即。任一满足的函数都可称作径向函数。其中，范数一般为欧几里得距离，不过亦可使用其他距离函数。

3.架构(architecture)

神经网络设计的另一个关键点是确定它的架构。 架构一词是指网络的整体结构:它应该具有多少单元，以及这些单元应该如何连接。

4.万能近似性质

万能近似定理(universal approximation theorem)(Hornik et al., 1989; Cybenko, 1989) 表明，一个前馈神经网络如果具有线性输出层和至少一层具有任何 一种 ‘‘挤压’’ 性质的激活函数(例如logistic sigmoid激活函数)的隐藏层，只要给予 网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另 一个有限维空间的 Borel 可测函数。

5.前向传播(forward propagation)

当我们使用前馈神经网络接收输入 x 并产生输出 yˆ 时，信息通过网络向前流 动。输入 x 提供初始信息，然后传播到每一层的隐藏单元，最终产生输出 yˆ。这称 之为 前向传播。在训练过程中，前向传播可以持续向前直 到它产生一个标量代价函数 J(θ)。

6.反向传播(back propagation)

反向传播算法 (Rumelhart et al., 1986c)，经常简称为backprop，允许来自代价函数的信息通过网络向后流动，以便计算梯度。计算梯度的解析表达式是很直观的，但是数值化地求解这样的表达式在计算上 的代价可能很大。反向传播算法使用简单和廉价的程序来实现这个目标。反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上， 反向传播仅指用于计算梯度的方法，而另一种算法，例如随机梯度下降，使用该梯度来进行学习。此外，反向传播经常被误解为仅适用于多层神经网络，但是原则上它 可以计算任何函数的导数(对于一些函数，正确的响应是报告函数的导数是未定义的)。  BP算法在神经网络中主要是用来训练参数的，计算代价函数关于参数的梯度，将最后的误差分摊到前面的每一层中去。

7.张量(tensor）

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。下段解释来源：知乎 链接：https://www.zhihu.com/question/20695804/answer/43265860

引用陈维桓先生的《微分流形初步》一书中的一段话进行总结: 张量的概念是 G.Ricci 在19世纪末提出的. G.Ricci 研究张量的目的是为几何性质和物理规律的表达寻求一种在坐标变换下不变的形式. 他所考虑的张量是如同向量的分量那样的数组, 要求它们在坐标变换下服从某种线性变换的规律. 近代的理论已经把张量叙述成向量空间及其对偶空间上的多重线性函数, 但是用分量表示张量仍有它的重要性, 尤其是涉及张量的计算时更是如此.