深度学习基础知识(激活函数,损失函数)

深度学习基础知识
激活函数:作用是在线性变换后加入线性变换。
非线性的激活函数可以使神经网络逼近复杂函数。
如果没有激活函数,多层神经网络就跟单层神经网络没有区别。
常见的激活函数有
Relu（rectificed linear unit）修正线性单元
Relu提高非常简单的非线性变换
Relu=max(x,0);

Relu求导以后,要么让参数消失，要么让参数通过。减轻了神经网络的梯度消失问题。

Sgmoid函数（多用于二分类）
将输入变换为0到1的输出
tanh函数
将输入变换为-1到1的输出
Softmax(多用于多分类)
softmax给每一个输出的结果值分一个概率，表示每种类别的可能。
hardmax(找唯一的max)
softmax输出0到1 概率之和为1；

引入指数函数的优点:求导方便
缺点:斜率增大 计算的数值也会增大 可能数值溢出

反向传播算法:从损失函数端开始到输入端。根据链式法则计算梯度。通过计算得到的梯度应用到梯度下降法中迭代更新待优化参数。

可以将梯度看成是高维的导数，而导数简单来说就是切线的斜率，也就是y轴的改变量与x轴的改变量的比值。

损失函数loss function

损失函数是衡量模型的效果评估。
求解一个函数最小的方法用到的是梯度下降法(SGD 随机梯度下降法)
(Adam)(全批量梯度下降 Batch GD)(小批量梯度下降 Mini Batch GD)
梯度 gradient
classification regression
不存在一个损失函数适用于多个任务场景。

dice loss
本质上是衡量两个样本的重叠程度。
值范围是[0,1]
dice=2(x∩y)/x+y
计算两个样本的相似度。dice系数
dice loss=1-dice系数;

mloU
语义分割元素分类的四种情况:

true positive（TP）：预测正确, 预测结果是正类, 真实是正类

false positive（FP）：预测错误, 预测结果是正类, 真实是负类

true negative（TN）：预测正确, 预测结果是负类, 真实是负类

false negative（FN）：预测错误, 预测结果是负类, 真实是正类
MloU=TP/(FP+FN+TP)。