chatGLM2-6b问题, ValueError: expected sequence of length 87 at dim 1 (got 52)

遇到的问题:
在训练微调完自己的数据集之后,运行evaluate.sh来测试评估,但是发现超过1000条数据之后,就会报错。
经过查询和审阅代码,发现问题所在

    # Data collator
    label_pad_token_id = -100 if data_args.ignore_pad_token_for_loss else tokenizer.pad_token_id
    data_collator = DataCollatorForSeq2Seq(
        tokenizer,
        model=model,
        label_pad_token_id=label_pad_token_id,
        pad_to_multiple_of=None,
        padding=False
    )

main.py中data_collator里边的 padding源代码为False,将其修改为True,即可正常保存预测输出文件。

你可能感兴趣的:(深度学习,人工智能)