20221121 学习笔记【深度学习】

今日学习

今天最大的收获应该是对归一化方法进行了系统的学习，尤其是BN和LN。再接再厉！

1.torch.repeat和torch.repeat_interleave的区别

• torch.repeat()
• 【PyTorch】repeat_interleave()方法详解
• PyTorch中Tensor的复制tensor.repeat()和repeat_interleave()区别

2.unsqueeze()函数

.unsqueeze(0)

3.torch.eye()函数

Python Pytorch eye()用法及代码示例

4.nn.functional.softmax()函数中的dim参数

pytorch:nn.Softmax()

5.Torch squeeze函数

torch.squeeze用法

6.BatchNormalization和LayerNormalization学习

以下是个人觉得讲的非常棒的文章，清晰易懂

• 对BN和LN作简单介绍，入门
  BatchNorm和LayerNorm——通俗易懂的理解
• 针对BN深入介绍，包括代码实践
  Batch Normalization原理与实战
• 针对LN深入介绍，也包括代码实践
  模型优化之Layer Normalization

7.机器学习 白化whitening

白化是归一化的经典方法之一，BN和LN其实都是特殊的白化方法。
机器学习（七）白化whitening

8.PCA:Principle Component Analysis 降维

属于机器学习中一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。在上面 白化 中有涉及，所以学习一番。
【机器学习】降维——PCA（非常详细）
tips：里面提及了奇异值分解SVD，是ML经典算法，以后遇到再认真了解吧。

9.nn.Embedding

nn.Embedding
个人理解就是将序列中的某个Word用指定长度的向量表示出来，这样转换后，输入X就多出了一个维度。

10.torch.Longtensor

torch.FloatTensor是32位浮点类型数据，torch.LongTensor是64位整型

11.自回归AR学习

由于这个与NLP牵扯，不涉及我的研究方向，所以只是大概略读了下
时间序列分析—自回归（AR）