训练GLM大模型

前言

训练GLM， 第一次会花比较长时间解析数据集， 大概30mins后报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x80 in position 0: invalid start byte

解决

这问题比较明显是数据集的问题，我这里使用的是arm机器， 而数据集默认是用的x86格式；( UNIX 的换行符，即“\n”。Windows 则使用回车换行符，即“\r\n”)
所以使用dos2unix 00.jsonl 转换一下数据集文件即可

ps训练的流程：
准备数据集pile：由于网络限制， 我只能从kaggle上面下载：
https://www.kaggle.com/datasets/dschettler8845/the-pile-dataset-part-00-of-29
代码仓链接：
https://github.com/THUDM/GLM