深度学习中各种符号及术语的定义(一)

1、符号定义

对于每个neuron输出定义为a,其中a有上标和下标,上标l表示是第l层的neuron的输出,i表示是第l层的第i个neuron输出。

深度学习中各种符号及术语的定义(一)_第1张图片

2、对于权重w也有上标和下标,上标l表示是第l-1到第l层的权重,下标为ij,是从第l-1层的第j个neuron到第l层的第i个neuron,这个很重要,这是有具体意义的。对于一个权重矩阵,行表示是到第l行第一个neuron的权重,所以为下标为1j,第二行下标为2j。

深度学习中各种符号及术语的定义(一)_第2张图片


3、bias-偏置值b也有上标和下标,上标l表示第l层的偏置值,i表示第l层第i个neuron的偏置值,每个neuron都有一个偏置值。所以如果第l层有Nl个神经元,则有Nl个偏置值。

深度学习中各种符号及术语的定义(一)_第3张图片



4、每个neuron有一个activation function ,输入是z,输出是上面讲过的a,也有上标和下标,l表示第l层,i表示第i个neuron

深度学习中各种符号及术语的定义(一)_第4张图片

深度学习中各种符号及术语的定义(一)_第5张图片



你可能感兴趣的:(深度学习)