神经网络参数初始化

对于一个神经元来说,需要初始化的参数有2类:

①权重W

②偏置b,初始化为0即可

神经网络参数初始化_第1张图片

权重初始化方式

一、随机初始化(使用的很少)

    随机初始化从均值为0,标准差为1的高斯分布中取样,使用一些很小的值对参数W进行初始化

 

二、标准初始化

    

 

三、Xavier初始化(使用较多)

    神经网络参数初始化_第2张图片

    神经网络参数初始化_第3张图片

    神经网络参数初始化_第4张图片

    神经网络参数初始化_第5张图片

 

四、he初始化

    神经网络参数初始化_第6张图片

    神经网络参数初始化_第7张图片

    神经网络参数初始化_第8张图片 

    神经网络参数初始化_第9张图片

 

 

 

你可能感兴趣的:(人工智能,神经网络,tensorflow)