Softmax和LogSoftmax（使用过程中的记录）

Softmax函数常用的用法是指定参数dim

（1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。
（2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。
Softmax的含义就在于不再唯一的确定某一个最大值，而是为每个输出分类的结果都赋予一个概率值，表示属于每个类别的可能性。

LogSoftmax 对softmax的结果进行log，即Log(Softmax(x))

logsoftmax解决函数overflow和underflow，加快运算速度，提高数据稳性定。防止溢出

weight_decay(权重衰减)

权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使得学习的模型参数值较小，是常用的过拟合的常用手段
L2范数正则化是在模型原损失函数基础上添加L2范数惩罚项，其中L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。

可以 参考：https://blog.csdn.net/geter_CS/article/details/82878083有公式