神经网络基础-神经网络补充概念-24-随机初始化

由来

在神经网络的训练过程中，权重和偏差的初始值对模型的性能和训练过程的收敛速度都有影响。随机初始化是一种常用的权重和偏差初始值设置方法，它有助于打破对称性，避免网络陷入局部最优解。

概念

当所有权重和偏差都被设置为相同的初始值时，神经网络的每个神经元在反向传播时会计算相同的梯度，导致网络无法学到不同的特征。为了避免这种情况，我们使用随机初始化，即为每个权重和偏差分配随机的小值。

通常，随机初始化的原则是使用均匀分布或正态分布生成随机数，并根据网络的规模和结构来调整初始化的尺度。

代码实现，一个简单的随机初始化示例，以正态分布为例

import numpy as np

def initialize_parameters(layers_dims):
    """
    Initialize the parameters of the neural network.

    Arguments:
    layers_dims -- list containing the dimensions of each layer in the network

    Returns:
    parameters -- python dictionary containing your parameters "W1", "b1", ..., "WL", "bL":
                    Wl -- weight matrix of shape (layers_dims[l], layers_dims[l-1])
                    bl -- bias vector of shape (layers_dims[l], 1)
    """
    np.random.seed(42)
    parameters = {}
    L = len(layers_dims)  # number of layers

    for l in range(1, L):
        parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * 0.01
        parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

    return parameters