LLM大语言模型训练推理-eagle投机小模型训练

本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。

步骤一：安装Eagle

Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。

在目录下执行如下命令，即可安装 EAGLE。

bash  build.sh

步骤二：非sharegpt格式数据集转换（可选）

如果数据集json文件不是sharegpt格式，而是常见的

{

"prefix": "AAA"

"input": "BBB",

"output": "CCC"

}

格式，则需要执行convert_to_sharegpt.py 文件将数据集转换为share gpt格式。

python convert_to_sharegpt.py \
 --input_file_path data_test.json  \
 --out_file_name ./data_for_sh