手语识别（二）----语音识别（百度）转手语视频

最近两天新加了一个功能，因为要实现语音到手语视频的功能，所以细分的话，大致流程就是：
录入语音并保存到本地----本地语音转文字（语音识别）----文字转分词-----分词转图片-----图片转视频保存到本地----输出本地视频
准备工作
1.安装pyaudio

我用的是python3.7,所以在安装的时候并不能直接用命令pip install pyaudio,会显示错误，最后通过下载.whl文件，然后运行以下命令安装成功。
PyAudio-0.2.11-cp37-cp37m-win_amd64.whl（python3.7 64位）文件下载：
链接：https://pan.baidu.com/s/1TOBq8hXr2HDbTex1emhUZQ
提取码：xq2g

   pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl
   pip install pyaudio

2.安装jieba
python中专门用来分词的工具，直接用pip命令安装即可

以下是几个部分的一些说明：
录入语音：
1.注意保存的文件后缀名，最好为.wav，当然根据各人需求决定，但在我的这个项目中必须得是.wav,方便后面其他部分的调用
2.保存语音的取样频率需和语音识别一致，且设置为单声道
代码比较简单，此处就不列举了。
语音识别：

此处我使用的是百度云API进行的语音转换，步骤如下：
1.在百度云https://cloud.baidu.com/上注册账号，或者有百度账号的直接登录即可
2.进入控制台------人工智能--------语音技术------创建一个应用
3.管理应用即可看到
记下你的中间这三部分字符
4.安装依赖包

 pip install baidu-aip

将第三部分的字符分别对号入座，主要代码部分下面已经列出：
注意：此处保存为.wav文件，若是.mp3或者其他文件，需修改相关代码，16000表示的是文件采样率，1536说明支持的是普通话和简单英文，参数都可根据自己需求去改

from aip import AipSpeech
import cv2
#从百度AI开放平台创建应用处获取
APP_ID = '此处放入你创建应用的APP_ID '#需修改
API_KEY = '此处放入你创建应用的API_KEY '#需修改
SECRET_KEY = '此处放入你创建应用的SECRET_KEY '#需修改
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
# 读取文件
def get_file_content(filePath):
    with open(filePath, 'rb') as fp:
        return fp.read()
# 识别本地文件
def get_text():
    result = client.asr(get_file_content('保存文件路径'), 'wav', 16000, {
    'dev_pid': 1536,})
    text = result['result'][0]

我这边的运行结果为
说明语音识别成功。
文字转分词
此处使用jieba分词即可，功能挺强大的，具体如何应用自行百度即可。
分词转图片
这个是项目内部要求，代码中直接通过比对即可识别到此分词是哪张手语图片，进而输出即可。
图片转视频并输出
图片转视频存储到本地：
关键代码

fourcc = cv2.VideoWriter_fourcc('M', 'P', '4', '2')
out = cv2.VideoWriter("视频存储路径", fourcc, 帧率, (640, 480))
des = cv2.imread("图片路径")
des = cv2.resize(des, (640, 480))
out.write(des)                        

输出本地视频代码：

capture = cv2.VideoCapture("本地视频路径")
while (capture.isOpened()):
    ret, frame = capture.read()
    if not ret:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    cv2.imshow('ly', gray)
    if cv2.waitKey(30) == ord('q'):
        break
capture.release()
cv2.destroyAllWindows()

效果展示：
录入语音：石头剪刀布你（因为数据集不够所以只能录入库里面仅有的几个，若是有手语图片数据集的朋友，还望不吝分享，谢谢）

语音录入后，视频文字结果显示：

这一小部分相关内容就这些了，欢迎指正错误，下篇博客见

参考文档：
https://www.cnblogs.com/nightcatcher/p/11195068.html
https://blog.csdn.net/weixin_43038622/article/details/84304620