李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【4】

四、Loss Function: Classification

1、把你的类别，用One-hot Vector表示

  向量数组中，不同下标的每个元素，都表示一种不同的类别：
$$\begin{gathered} Class1Class2Classs3 \\ \widehat{y_1}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\widehat{y_2}=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]\widehat{y_3}=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right] \end{gathered}$$

2、目标计算

  分类目标函数计算框架：
$$softmax[b^{\prime }+W^{\prime }\sigma (b+Wx)]={y\text{y}y}^{\prime }\leftarrow \cdots \to \widehat{y\text{y}y}$$
其中，$y\text{y}y$表示一组向量，Softmax函数如下：
$$y_i^{\prime }=\frac{exp(y_i)}{\begin{array}{c}{\sum }_{j}exp(y_i)\end{array}}$$
这是当目标类别大于两个的时候，当分类只有两个的时候，我们不使用softmax，而是直接套用sigmoid函数；

3、分类的损失

  最小化交叉熵损失：$e=-\begin{array}{c}{\sum }_i{\hat{y}}_{i}ln{y}_i^{\prime }\end{array}$（极其常用，以及部分变形），注意，如果你在网络中使用了损失函数Cross-entropy，则在构建网络的时候不需要进行Softmax函数的添加，因为已经集成在其中了；

五、Quick Introduction of Batch Normalization

1、目标：

  让训练数据的每个属性拥有一个相同的数据范围，好处是在梯度下降时每个参数更新的程度都近似统一：

$Data1:[1,2,3,4,...,100]、Data2:[100,200,300,400,...1000]\to [0.01\sim 1]$

2、Feature Normalization

  假如我们的数据集中有如下向量数据（上标表示某一个，下标表示某一个特征属性）：
$$\begin{gathered} x^1\text{x1}{x}^1{x}^2\text{x2}{x}^2{x}^3\text{x3}{x}^3{x}^n\text{xn}{x}^n \\ \left[\begin{array}{c}{x}_1^1\\ x_2^1\\ x_3^1\\ ⋮\\ x_m^1\end{array}\right]\left[\begin{array}{c}{x}_1^2\\ x_2^2\\ x_3^2\\ ⋮\\ x_m^2\end{array}\right]\left[\begin{array}{c}{x}_1^3\\ x_2^3\\ x_3^3\\ ⋮\\ x_m^3\end{array}\right]\dots \left[\begin{array}{c}{x}_1^n\\ x_2^n\\ x_3^n\\ ⋮\\ x_m^n\end{array}\right] \end{gathered}$$
（1）Trianing：${\tilde{x}}_i^j=\frac{x_i^j-m_i}{{\sigma }_i}$，其中，$m_i$是第i个维度下的Batch里所有数据的平均值，${\sigma }_i$是标准差，可以在每一层的输出或者激活函数之后的输出后加批归一化。

  此外，有时会在批处理化之后接乘一些向量以免数据分布反而太过集中：${\tilde{x}}_i^j=\gamma ⨀{\tilde{x}}^j+\beta$（很少用，基本没在代码里见过，可能也是集成在了某些函数里我不知道吧…）

（2）Testing：应为我们在测试的时候有时候可能会没有一个Batch大小的数据供我们使用，在pytroch中，其解决方法是这样的，因为我们在训练的时候会计算出很多的均值${\mu }^1,{\mu }^2...{\mu }^t$以及方差${\sigma }^1,{\sigma }^2,...{\sigma }^t$，所以在每次得到一个新的均值与方差的时候，pytorch会计算一个总体样式的均值，计算方法如下：
$$\bar{\mu }\leftarrow p\bar{\mu }+(1-p){\mu }^t\bar{\sigma }\leftarrow p\bar{\sigma }+(1-p){\sigma }^t$$
其中，${\mu }^t、{\sigma }^t$都是表示最新的那个值，p为一个参数，默认设置为0.1，最后在训练完的时候会将$\bar{\mu }、\bar{\sigma }$带入到测试中去；

（3）如果想要将批处理话用在卷积神经网络（CNN）上，请参考Sergey loffe与Christian Szegedy的论文^[1]；

3、其他的Normalization的方法（截止到2021/6/12日前的引用数量）

（1）Batch Renormalization^[2]，引用：300+；

（2）Layer Renormalization^[3]，引用：3000+；

（3）Instance Renormalization^[4]，引用：1500+；

（4）Group Renormalization^[5]，引用：1200+；

（5）Weight Renormalization^[6]，引用：1100+；

（6）Spectrum Renormalization^[7]，引用：100+；

[1] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// Proceedings of the International conference on machine learning. PMLR, 2015: 448-456.

[2] Ioffe S. Batch renormalization: Towards reducing minibatch dependence in batch-normalized models[J]. arXiv preprint arXiv:1702.03275, 2017.

[3] Ba J L, Kiros J R, Hinton G E. Layer normalization[J]. arXiv preprint arXiv:1607.06450, 2016.

[4] Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: The missing ingredient for fast stylization[J]. arXiv preprint arXiv:1607.08022, 2016.

[5] Wu Y, He K. Group normalization[C]//Proceedings of the European conference on computer vision . 2018: 3-19.

[6] Salimans T, Kingma D P. Weight normalization: A simple reparameterization to accelerate training of deep neural networks[J]. arXiv preprint arXiv:1602.07868, 2016.

[7] Yoshida Y, Miyato T. Spectral norm regularization for improving the generalizability of deep learning[J]. arXiv preprint arXiv:1705.10941, 2017.