关于神经网络中的30个超参数，你都懂了嘛？
超参数是在训练神经网络之前设置的参数，用于控制训练过程的各个方面。因此，微调这些超参数可以提高模型性能并加速收敛。
技术交流
技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。
本文由粉丝群小伙伴总结与分享，如果你也想学习交流，资料获取，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。
方式①、添加微信号：dkl88194，备注：来自CSDN + 加群
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群
让我们探讨一些关键的超参数及其意义：
- 学习率
学习率决定模型在每次训练迭代中调整权重的步长。较高的学习率可能导致模型超过最优权重，而较低的学习率可能导致收敛速度慢。需要找到一个平衡点。例如：
optimizer = Adam(learning_rate=0.001)
- 批量大小
批量大小确定每次梯度下降迭代中使用的训练样本数量，是深度学习中的关键超参数。传统上，喜欢使用2的幂次方的批量大小（如32、64、128），因为这样做可以进行硬件优化，但在现代框架中不再是严格规则。较大的批量大小可以加速训练，但可能需要更多内存，而较小的批量大小则有助于更好地泛化，但以较慢的速度收敛。尽管2的幂次方可以在某些系统上帮助内存利用，但重点应放在找到一个既能有效计算又能稳定训练的批量大小上。例如：
batch_size = 32
- 训练轮数
一个轮次表示整个训练数据集的一次完整遍历。轮次太少可能导致欠拟合，而太多可能导致过拟合。找到正确的轮次数涉及监控验证性能。例如：
num_epochs = 50
- 激活函数
激活函数在神经网络中注入非线性，使其能够学习数据中的复杂关系。虽然广泛使用的选项如ReLU、tanh和sigmoid具有不同的特性，但还存在一系列其他选择。Leaky ReLU和Parametric ReLU解决了梯度消失问题，ELU提供了更平滑的输出，Swish结合了效率和性能。对于特定层，如用于二分类的输出层，sigmoid仍然很有价值。激活函数的选择是复杂的，通过实验来找到与模型架构和问题特性最匹配的激活函数是关键。例如：
activation_function = 'relu'
- 网络架构/隐藏层和单元数n1、n2…
架构包括层数、每层神经元的数量和连接模式。深度网络可以捕获更复杂的特征，但可能容易过拟合。例如：
model = Sequential([
Dense(128, activation='relu', input_shape=(input_dim,)),
Dense(64, activation='relu'),
Dense(output_dim, activation='softmax')
])
- Dropout
Dropout是一种正则化技术，在训练期间随机关闭部分神经元，防止过拟合。Dropout率是一个确定关闭神经元的概率的超参数。例如：
dropout_rate = 0.2
model.add(Dropout(dropout_rate))
- 权重初始化
神经网络的初始权重可能影响收敛速度和最终性能。常见的方法包括随机初始化、Xavier初始化和He初始化。例如：
kernel_initializer = 'he_normal'
- 优化器
优化器定义了调整网络权重的更新规则。虽然像SGD、Adam和RMSprop等广为人知的选择因其有效性而受欢迎，但还存在更广泛的优化器范围，每个都针对特定挑战。例如：
optimizer = Adam(learning_rate=0.001)
- 学习率调度器
学习率调度器在训练期间调整学习率，以帮助模型更快、更有效地收敛。例如：
lr_scheduler = ReduceLROnPlateau(factor=0.5, patience=5)
- 正则化
正则化技术如L1和L2主要通过在损失函数中添加基于权重大小的惩罚项来防止过拟合。例如：
model.add(Dense(64, activation='relu', kernel_regularizer=l2(0.01)))
- 动量
动量是优化算法中的一种技术，可以增强神经网络训练过程中权重更新的效果。例如：
optimizer = SGD(learning_rate=0.01, momentum=0.9)
- 批量归一化
批量归一化在每个批次内对每一层的输出进行归一化，有助于稳定和加速训练。它有超参数如动量和epsilon。例如：
model.add(BatchNormalization(momentum=0.9, epsilon=1e-5))
当然，接下来继续为您翻译。
- 提前停止
提前停止监控验证损失，并在训练不再改善时停止，防止过拟合。需要设置参数如耐心程度和损失的最小变化。例如：
early_stopping = EarlyStopping(patience=10, min_delta=0.001)
- 权重衰减
权重衰减向损失函数添加一个与权重大小成比例的惩罚项。它有助于控制模型的复杂性，防止过拟合。例如：
weight_decay = 0.001
optimizer = Adam(learning_rate=0.001, weight_decay=weight_decay)
- 梯度裁剪
梯度裁剪限制了反向传播期间的梯度大小，防止其变得过大并导致训练不稳定。例如：
gradient_clip_value = 1.0
optimizer = SGD(learning_rate=0.01, clipvalue=gradient_clip_value)
- 数据增强
数据增强涉及对训练数据应用变换（例如旋转、翻转），以增加其多样性。这可以改善模型的泛化能力。例如：
data_augmentation = ImageDataGenerator(rotation_range=20, horizontal_flip=True)
- 输入归一化/标准化
将输入数据缩放为零均值和单位方差可以帮助稳定和加速训练。例如：
input_scaling = StandardScaler()
X_train_scaled = input_scaling.fit_transform(X_train)
- 学习率热身
学习率热身在训练开始时逐渐增加学习率，以帮助模型摆脱局部最小值。例如：
lr_scheduler = WarmupScheduler(warmup_epochs=5, initial_lr=0.001)
-
Dropout变体
除了标准的Dropout外，还有一些变体，如DropConnect和Zoneout，它们将类似的dropout原理应用于模型的不同部分，如权重或递归网络中的时间步。 -
架构特定的超参数
某些架构，如卷积神经网络（CNN）和递归神经网络（RNN），具有特定于架构的超参数，如卷积核大小、步幅、池化大小（对于CNN）和序列长度（对于RNN）。 -
Zoneout（专用于RNN）
Zoneout是专门为递归神经网络（RNN）设计的一种dropout变体。它在每个时间步上随机将一部分隐藏状态值设置为其先前的值。例如：
zoneout_rate = 0.2
zoneout_layer = Zoneout(rate=zoneout_rate)
- Teacher Forcing 比率（Seq2Seq 模型）
在序列到序列模型中，Teacher Forcing 比率确定在训练期间使用真实目标输出作为输入的概率，而不是使用先前时间步的模型预测。例如：
teacher_forcing_ratio = 0.8
- 标签平滑
标签平滑涉及为真实类别标签分配小概率，并将其余概率分配给其他类别。它可以帮助正则化模型并提高泛化能力。例如：
label_smoothing = 0.1
- Scheduled Sampling
类似于Teacher Forcing，Scheduled Sampling 在训练中逐渐从使用真实目标作为输入转变为使用模型的预测。例如：
scheduled_sampling_prob = 0.5
- Transformer 专用的超参数
对于基于Transformer的模型，有额外的超参数，如注意力头的数量、前馈层的大小和位置编码技术。例如：
num_attention_heads = 8
feedforward_size = 2048
- GAN 专用的超参数
在生成对抗网络（GANs）中，有超参数，如生成器和判别器学习率之间的平衡以及每次迭代中每个网络采取的步数。例如：
generator_lr = 0.0002
discriminator_lr = 0.0002
-
与内存相关的超参数
对于内存密集型任务或模型，您可能需要调整与GPU内存分配相关的超参数，如批次拆分或梯度累积。 -
迁移学习超参数
如果进行迁移学习，与微调层、学习率调度和冻结特定层相关的超参数变得重要。 -
Beam Search 宽度（Seq2Seq 模型解码）
在Seq2Seq模型中解码序列时，通常使用Beam Search生成多个可能的输出序列。Beam Search 宽度（也称为束大小）确定在每个解码步骤中保留多少候选序列。例如：
beam_search_width = 5
- 记忆单元（LSTM/GRU）
对于使用LSTM（长短时记忆）或GRU（门控循环单元）单元的递归神经网络，隐藏层中记忆单元的数量是一个重要的超参数。例如：
lstm_units = 128