终于解决了模型训练每次结果不同的问题

1、解决方法

1、确保每次实验(上一次和下一次)的批次数据按顺序一致,具体而言是保证每次实验训练过程中每个epoch的数据之间是不同的,但是又要保证上一次和下一次实验中的epoch数据按顺序一致;
截取部分代码如下:

for epoch in range(config.num_epochs):
     # print('Epoch:', epoch + 1)
     seed_id = epoch
     batch_train = batch_iter2(x_train, y_train, seed_id, config.batch_size)

def batch_iter2(x, y, seed_id, batch_size):
    """生成批次数据"""
    data_len = len(x)
    num_batch = int((data_len - 1) / batch_size) + 1
    np.random.seed(seed_id)  # 设置每个epoch的随机种子,保证每个epoch的数据不同,但是下次实验时又和上次实验一致
    indices = np.random.permutation(np.arange(data_len))  # 随机产生一个序列,或是返回一个排列范围
    x_shuffle = x[indices]
    y_shuffle = y[indices]

    for i in range(num_batch):
        start_id = i * batch_size
        end_id = min((i + 1) * batch_size, data_len)
        yield x_shuffle[start_id:end_id], y_shuffle[start_id:end_id]

2、一般神经网络中会使用dropout超参数,要保证每次实验的随机丢失是一致的;

tf.set_random_seed(seed)

2、注意

(1)切换环境会使得随机种子生成数据和上一次环境不同;
(2)不切换环境时,可以在训练之前重置计算图,tf设置随机种子也可放在此处;

 tf.reset_default_graph()
 tf.set_random_seed(2022)
 model = TextCNN(config)
 train(train_dir, save_dir, val_dir, save_path, word_to_id, cat_to_id, config, model)

你可能感兴趣的:(深度学习,batch,深度学习,神经网络)