实时指令唤醒
前言
本文将介绍一个实时指令唤醒的程序，可以添加任意的指令，实时录音一旦检测到指令语音，激活程序。同时还支持指令微调、提高指令的准确率。
安装项目环境
本项目开发换为：
- Anaconda 3
- Windows 11
- Python 3.11
- Pytorch 2.1.0
- CUDA 12.1
- 安装Pytorch，执行下面命令，如果已经安装了其他版本，若能正常运行，请跳过。
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
- 安装其他依赖包，执行下面命令，安装完成之后，如果还缺失其他库，请对应安装。
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
指令唤醒
infer_pipeline.py可以使用GPU进行推理，如果要使用CPU推理，可以infer_onnx.py，这个使用的是ONNX，在CPU可以有加速。
- 可以调整的参数有：
sec_time为录制时间，单位秒；last_len为上一部分的数据长度，单位秒；。 - 增加指令，需要在
instruct.txt添加指令。
输出日志：
支持指令：['向上', '向下', '向左', '向右', '停止', '开火']
请发出指令...
触发指令：【开火】
触发指令：【停止】
微调指令模型
微调指令模型的代码在finetune目录下，微调前切换到finetune目录，具体的训练过程看下面操作。
制作数据
运行record_data.py代码，启动录音程序，默认录制2秒钟，建议录制完成之后，再录制1秒钟的音频，注意录制1秒钟时间非常短，按下回车之后要立马开始说话。其实自定义数据可以参考生成的dataset目录。
输出日志：
请输入指令内容：向上
请输入录入次数：10
第1次录音，按回车开始说话：
开始录音......
录音已结束!
第2次录音，按回车开始说话：
训练模型
运行finetune.py代码，训练模型。
输出日志：
[ubuntu] 2023-12-17 13:02:53,260 (build_trainer:405) INFO: The best model has been updated: valid.acc
[ubuntu] 2023-12-17 13:02:53,260 (build_trainer:248) INFO: 2/20epoch started. Estimated time to finish: 0.02464581797971429 hours
[ubuntu] 2023-12-17 13:02:54,854 (build_trainer:299) INFO: 2epoch results: [train] iter_time=0.224, forward_time=0.239, loss_att=0.638, acc=0.878, loss_pre=0.120, loss=0.758, backward_time=0.032, optim_step_time=0.005, optim0_lr0=5.000e-09, train_time=0.795, time=0.83 seconds, total_count=2, gpu_max_cached_mem_GB=2.082, [valid] loss_att=0.277, acc=0.933, cer=0.033, wer=0.150, loss_pre=0.011, loss=0.288, time=0.77 seconds, total_count=2, gpu_max_cached_mem_GB=2.082
合并模型
运行merge_model.py代码，将训练好的模型合并成一个模型，最后使用的模型就使用models/paraformer-large-contextual_finetune这个路径下的模型。
转换ONNX模型
微调后的模型只能用于GPU使用，如果要使用CPU推理，就要转换为ONNX格式模型，操作如下。导出的模型跟上面使用infer_onnx.py一样。
- 在根目录的
models目录下，复制微调后的模型文件夹，并命名为paraformer-large-onnx-finetune，接着执行命令：
python -m funasr.export.export_model --model-name ./models/paraformer-large-onnx-finetune --export-dir ./models/paraformer-large-onnx-finetune --type onnx
- 然后可以删除里面无用的文件，如
example、fig、lm、decoding.yaml、finetune.yaml、model.pb。
扫码入知识星球，搜索【实时指令唤醒】获取源码
