实时虚拟现实技术理论（课堂笔记四）

一、三维虚拟声音技术

虚拟环境中的三维虚拟声音与人们熟悉的立体声音有所不同
三维虚拟声音则是来自围绕听者双耳的一个球形中的任意地方，即声音出现在头的上方、后方或者前方

1.三维虚拟声音的特征

• 全向三维定位，是指在虚拟环境中对声源位置的实时跟踪。
• 三维实时跟踪，是指在三维虚拟环境中实时跟踪虚拟声源的位置变化或虚拟影像变化的能力

2.头部相关传递函数

• 头部相关传递函数可视为声音在人体周围位置包含人体特征函数
• 当获得的头部相关传递函数 能够准确描述某个人的听觉定位过程时，利用它就能够模拟、再现真实的声音场景
• 由于每个人头、耳的大小和形状各不相同，头部相关传递函数也会因人而异。

3.语音识别与合成技术

在虚拟现实系统中，语音应用技术主要是指基于语音进行处理的技术，主要包括语音识别技术和语音合成技术，它是信息处理领域的一项前沿技术

1）语音识别技术

语音识别i技术是指计算机系统能够根据输入的语音识别出其代表的具体意义，进而完成相应的功能。

一个完整的语音识别系统可大致分为以下三部分：

1. 语音特征提取
2. 声学模型与模式匹配（识别算法）
3. 语言模型与语言处理

语言识别的方法：

1. 基于声道模型和语音知识的方法
2. 模式匹配的方法
3. 利用人工神经网络的方法

2）语音合成技术

语音合成技术是将计算机自己产生的或外部输入的文字信息按语音处理规则转换成语音信号输出，使计算机就流利地读出文字信息，使人们通过“听”就可以明白信息的内容

二、人机交互技术

人机自然交互技术是指在计算机系统提供的虚拟环境中，人应该可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互的技术。

在虚拟现实领域中较为常用的交互技术主要有：

• 手势识别
• 面部表情识别
• 眼动跟踪
• 语音识别

三、虚拟现实引擎

虚拟现实系统是一个复杂的综合系统，其虚拟现实系统的核心部分应该是虚拟现实引擎，引擎控制管理整个系统中的数据、外围设备等资源。
从虚拟实现引擎的作用观察、其系统作为虚拟现实的核心，处于最重要的中心位置，组织和协调各个部分的运作。

一个完善的虚拟现实引擎应该具有以下特点：

• 可视化管理界面
• 二次开发能力
• 数据兼容性
• 更快的数据处理功能

虚拟现实引擎从其设计角度看，其层次结构可分为4个部分：

• 基本封装
• 虚拟现实引擎封装
• 可视化开发工具
• 软件辅助库