1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)

激活函数

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第1张图片1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第2张图片

sigmoid函数 

sigmoid函数的导数值小于等于0.251.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第3张图片

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第4张图片 

tanh函数 

relu 

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第5张图片

 
在输入小于0时

LR 

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第6张图片1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第7张图片

问题实例



这里主要就是输出层的搭建,搭建几个输出层以及输出层的函数怎么选择的问题

二分类问题
1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第8张图片

 就是sigmoid返回落在0和1之间,就是可以体现概率,依据它的输入

多分类问题

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第9张图片1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第10张图片

多标签问题 

就是说这里和多分类的神经网络框架都是一样的,不一样的就是它的激活函数选择

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第11张图片1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第12张图片

线性回归问题 

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第13张图片

 实例

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第14张图片

 隐藏层与输出层的输出函数都选择LR函数

就是说,在神经元的传递之间,用的都是权值和相加的线性方式,然后各个隐藏层及输出层神经元受到信号后产生一个怎样的信号,是由输出函数去决定的1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第15张图片

这里要学习的是两个参数,一个是权重w,一个是位移偏差bisas,就是Y=wx+b

它的调整是自最里层到最外层的,就是先确定最里层的为常量,然后再逐次到最外层 

1.24ANN神经网络(BP)(激活函数的类型,选择,构建不同的ANN网络(二分类,多分类,多标签,线性回归),实例)_第16张图片

你可能感兴趣的:(数学方法,机器学习&神经网络,数模,机器学习,人工智能)