【深度学习 基本概念】深度学习中的一些数学公式

1、得分函数：

2、SVM损失函数：

3、加入正则化惩罚项的SVM损失函数：

其中，为正则化惩罚项。

4、L2正则化：

那么，加入正则化惩罚项的SVM损失函数

5、交叉熵损失（cross-entropy loss）函数：

其中，被称作softmax函数。

其输入值是一个向量，向量中元素为任意实数的评分值；输出是一个向量，其中每个元素值在0到1之间，且所有元素之和为1。

6、SVM损失函数输出的是一个值，softmax损失函数输出的是一个概率。

7、梯度函数：

深度学习中所说的学习率即是梯度下降的步长。

8、单层的神经网络：

双层的神经网络：

其中，W₁、W₂、W₃为权重参数，max为激活函数。

单层的神经网络相当于线性分类。

简单的神经网络模型可参考：http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

9、有下列激活函数：

Sigmoid函数、tanh(x)函数、ReLu函数（即函数max(0,x)）。

10、anaconda可从镜像网站下载，如：http://mirrors.tuna.tsinghua.edu.cn/anaconda/archive