keras loss loss_weight 作用要点总结

1、损失函数 loss的作用 ，损失权重 loss_weight作用：

loss 函数：主要有 sse msse 等统计学函数，也可以自定义，作用主要是统计预测值和真实值的距离。

loss_weight:用来计算总的loss 的权重。默认为1，多个输出时，可以设置不同输出loss的权重来决定训练过程。

rnnoise 的gru 官方demo 中：

a、主损失为denoise_output 权重设置为10，而辅助损失vad_output 权重设置为了0.2。

b、rnnoise 在采用sigmoid 激活函数的基础上采用了Binary Cross Entropy 作为自定义损失函数的一部分。

 

2、activation 激活函数：主要作用时增加非线性

• Relu：近似生物神经激活函数。
• tanh：双曲正切激活函数。
• sigmoid：S型曲线激活函数。

等等。

3、constraint 约束项：防止过拟合 y = ax+b+wx'，对a,b,w约束。

a、kernel_constraint：主权重

b、bias_constraint：偏置权重

c、recurrent_constraint ：循环权重（rnn 特有）

 

4、regularizer 正则化：利用正则化公式，对权重进行修正，防止过拟合。

a、kernel_regularizer ：主权重

b、bias_regularizer ：偏置权重

c、recurrent_regularizer ：循环权重（rnn 特有）

 

5、return_sequences:RNN 在输出序列中，返回单个 hidden state值还是返回全部time step 的 hidden state值。 False 返回单个， true 返回全部。

 

6、metrics 评估标准函数，用于测试训练集，测试集的结果输出。

 

7、optimizer：梯度控制，机器学习的重点。

 

8、batch_size:可以理解为批处理参数，它的极限值为训练集样本总数。

9、epoches：所有数据迭代多少次。

 

10、validation_split：预留数据中多少百分比的数据来做训练。