深度学习里常用激活函数，目标函数

激活函数

线性变换的复合还是线性变换，但很多时候只做线性变换，并不能很好得解决分类问题，需要引入非线性激活函数
（0）阶跃激活函数

（1）sigmoid激活函数，tanh激活函数

（2）ReLU激活函数，Leaky-ReLU激活函数

（3）softmax激活函数
常用于分类问题的输出层
softmax(xi)=exi∑j=1nexj

目标函数

目标函数也称为损失函数、代价函数，是深度学习里用于训练模型时的优化目标函数。

（1）二次代价函数

C=12n∑i=1n||yi−a(xi)||2
其中a(xi)=σ(zi)=σ(wTxi+b)=σ(∑j=1mwjxi,j+b)
上式中 yi 是实际值， a(xi) 是预测值， σ(z) 是激活函数

（2）交叉熵代价函数

C=−1n∑i=1n[yiloga(xi)+(1−yi)log(1−a(xi))]
其中 a(xi)=σ(zi)=σ(wTxi+b)=σ(∑j=1mwjxi,j+b) ,
xi=(xi,1,xi,2,⋯,xi,m)T
上式中 yi 是实际值， a(xi) 是预测值， σ(z) 是激活函数

（3）对数似然代价函数

参考LR模型里的相关用法http://blog.csdn.net/cymy001/article/details/78153036

二次代价函数与输出层线性激活函数对应使用
交叉熵代价函数与输出层用sigmoid激活函数对应使用
对数似然代价函数与输出层用softmax激活函数对应使用