深度学习超参数

每个超参数在训练中的作用：

policy: 决定智能体学习环境时使用的策略网络结构，如多层感知机策略（MlpPolicy）或卷积神经网络策略（CnnPolicy）。

learning_rate: 控制神经网络权重更新的速度，影响收敛速度和稳定性。

buffer_size: 决定存储过去经验的缓冲区大小，影响智能体从历史数据中学习的能力。

learning_starts: 控制在开始训练之前需要收集多少样本，有助于避免过早更新网络。

batch_size: 控制每次网络更新时使用的样本数量，影响训练速度和稳定性。

tau: 控制目标网络和主网络权重的同步速度，影响网络更新的稳定性。

gamma: 控制未来奖励的折扣程度，影响智能体对即时和未来奖励的重视程度。

train_freq: 控制模型更新的频率，影响模型学习的速度和稳定性。

gradient_steps: 控制每次rollout后执行的梯度更新步数，影响模型学习速度。

replay_buffer_class: 指定用于经验回放的缓冲区类型，影响智能体如何从历史数据中学习。

replay_buffer_kwargs: 自定义回放缓冲区的参数。

optimize_memory_usage: 控制是否启用内存优化的回放缓冲区，影响内存使用和复杂性。

target_update_interval: 控制目标网络更新的频率，影响网络更新的稳定性。

exploration_fraction: 控制在训练过程中降低探索率的速度。

exploration_initial_eps: 指定初始随机动作概率，影响智能体在早期阶段的探索程度。

exploration_final_eps: 指定随机动作概率的最终值，影响智能体在后期阶段的探索程度。

max_grad_norm: 控制梯度裁剪的最大值，可以防止模型因梯度爆炸而发散。

verbose: 控制输出的详细程度，如打印调试信息等。

seed: 设置随机数生成器的种子，以实现实验的可重复性。

device: 指定代码运行的设备（如CPU或GPU），影响训练速度。