自动语音对话系统 Python实现
自动语音对话系统 Python实现
本篇博客主要基于Linux 上实现智能语音问答系统，主要采用的方法包含：语音采集、语音转换文字、自动问答、语音播报等。本次仿真是自摸索的方案，如有问题可指正交流哈！
如何设计自动问答系统？
实现一个语音问答系统？设计中主要在系统中建立监听进程，语音转文字+文字问答+播报进程，后续准备另开进行进行画面显示。。。
考虑1：系统麦克风如何打开后长时间监听声音？
考虑2：如何获取到问答系统的唤醒关键词？例如小爱音响在开机状态下都能够被“小爱同学”关键语音唤醒，如何实现？
考虑3：唤醒后如何获取对话的wav 片段声音？
考虑4：片段声音如何转换程中文片段？
考虑5：转换后文字片段如何获取智能答复？
考虑6：如何将回复的文字进行语音播报？
Python 仿真调用的主要包
1.snowboy 实现监听关键词
2.pyaudio wave 获取并笔记本麦克风声音并保存wav格式音频
3.回答问题模块：调用开源api 接口
4.ASR自动语音识别算法(算法训练加理论介绍)
5.multiprocessing 多进程实现监听、语音识别和问答的流程
snowboy 安装和使用
snowboy 是开源的、轻量级语音唤醒引擎，通过它创建属于自己的类似“小爱同学”，“hei,sir” ，“自定意"的唤醒词；可支持linux,android、ios 上进行开发和调用，git 后内置相关lib库。
1.如何安装
关于如何安装可自行百度或者参考：安装和生成自定义的关键词
2 如何交互使用?
如何实现监听并获取对话语音？
例如我们喊话"小爱同学"后，音响获取我们对话语音
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
'''
@Project ：talkboot
@File ：main.py
@Author ： AICode1
@Date ：2023/1/1 下午6:40
'''
from . import snowboydecoder
from awaken import snowboydecoder
import signal
import os
import pyaudio
import wave
import numpy as np
#设定基础定义
chunk = 1024 # Record in chunks of 1024 samples
sample_format = pyaudio.paInt16 # 16 bits per sample
channels = 1
fs = 16000 # Record at 44100 samples per second
seconds = 5
ts="xxx？"
oupts=""
def recording_voice():
# print("{} ",a_lists)
filename = "output.wav"
p = pyaudio.PyAudio() # Create an interface to PortAudio
print('开始录音！')
stream = p.open(format=sample_format,
channels=channels,
rate=fs,
frames_per_buffer=chunk,
input=True)
frames = [] # Initialize array to store frames
# Store data in chunks for 3 seconds
for i in range(0, int(fs / chunk * seconds)):
data = stream.read(chunk)
frames.append(data)
# Stop and close the stream
stream.stop_stream()
stream.close()
# Terminate the PortAudio interface
p.terminate()
print('完成记录！')
# Save the recorded data as a WAV file
wf = wave.open(filename, 'wb')
wf.setnchannels(channels)
wf.setsampwidth(p.get_sample_size(sample_format))
wf.setframerate(fs)
wf.writeframes(b''.join(frames))
wf.close()
class Rundev():
def __init__(self,model,sensitivity=0.5,sleep_time=0.03):
# 外置参数
self.model = model
self.sensitivity = sensitivity
self.sleep_time = sleep_time
#内置参数
self.interrupted = False
# self.detected_back=detected
def interrupt_callback(self):
return self.interrupted
def signal_handler(self,signal, frame):
self.interrupted = True
def run(self):
print('正在监听中.........','按 Ctrl+C 停止运行')
# capture SIGINT signal, e.g., Ctrl+C
signal.signal(signal.SIGINT, self.signal_handler)
detector = snowboydecoder.HotwordDetector(
self.model,
sensitivity =self.sensitivity)
# main loop
detector.start(detected_callback=recording_voice,
interrupt_check=self.interrupt_callback,
sleep_time=self.sleep_time)
print("awak end!")
# 使终止
detector.terminate()
dev = Rundev(os.getcwd()+"/awaken/ninhao.pmdl")
def RunQa():
print(os.getcwd()+"/ninhao.pmdl")
dev.run()
def get_awak_out():
outs=AwOut
return outs
# 测试
if __name__ == "__main__":
pass
RunQa()
以上代码是监听并保存成wav 的测试代码，在main 中需要起一进程进行监听并保存至指定地址（实现进程件共享）
问答系统如何实现？
1.调用百度、阿里等大厂api 接口，可在他们的云平台上进行注册和查看api 文档实现，需要获取key
2.免费的图灵接口：
直接调用函数实现：
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
'''
@Project ：talkboot
@File ：main.py
@Author ： AICode1
@Date ：2023/1/1 下午6:40
import urllib
import requests
def talkRobot(msg):
url = 'http://api.qingyunke.com/api.php?key=free&appid=0&msg={}'.format(urllib.parse.quote(msg))
html = requests.get(url)
return html.json()["content"]
if __name__ == "__main__":
res=talkRobot("你好！")
该功能主要将对话呼叫"自定义唤醒词" 获取的语音识别后=msg 输入函数获取回答。
单进程情形下将呼叫后的语音调用import pyttsx3 模块可进行朗读回答
如何构建多模态系交互系统？
结合手势检测和视频画面显示(问答广告、图片问答)的应用方法构建中。。。。