一种基于全息投影设备的虚拟形象交互方法及系统 |
技术领域 |
本申请涉及人工智能技术领域,特别涉及一种基于全息投影设备的虚拟形象交互方法及系统、一种虚拟形象及一种计算机可读存储介质。 |
背景技术 |
全息投影技术(front-projected holographic display)也称虚拟成像技术是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻象,还可以使幻象与表演者产生互动,一起完成表演,产生令人震撼的演出效果。 |
随着人工智能的不断发展,虚拟机器人也从简单重复的机械动作也提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人。 |
虚拟机器人包括具备实体的实体机器人和搭载在硬件设备上的虚拟机器人。但是,目前的虚拟机器人无法进行多模态交互,同时呈现真实的三维图像。 |
因此,如何将全息投影技术与人工智能进行结合,以此来提升虚拟机器人的交互能力和呈现能力,是现在亟需解决的重要问题。 |
发明内容 |
有鉴于此,本申请提供一种基于全息投影设备的虚拟形象交互方法及系统、一种虚拟形象及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。 |
一方面,本申请提供一种基于全息投影设备的虚拟形象交互方法,所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,所述方法包括: |
通过移动设备和/或成像设备获取多模态输入数据; |
由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算; |
根据所述解析结果确定多模态输出数据; |
所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述虚拟形象。 |
可选地,所述移动设备与所述成像设备物理位置参照对齐,以实现所述移动设备与所述成像设备的信号互联。 |
可选地,所述移动设备控制所述多模态输出数据的输出包括: |
所述移动设备控制所述虚拟形象的虚拟形象以嘴型、表情和/或肢体动作呈现所述多模态输出数据。 |
可选地,所述成像设备显示所述虚拟形象包括: |
所述成像设备基于所述多模态输出数据显示所述虚拟形象。 |
可选地,所述多模态输入数据包括: |
语音数据、文本数据、触摸数据、视觉数据和环境数据。 |
可选地,根据所述解析结果确定多模态输出数据包括: |
当所述解析结果为技能展示时,所述虚拟形象的多模态输出数据包括歌曲演唱数据和/或舞蹈表演数据。 |
另一方面,本申请还提供一种基于全息投影设备的虚拟形象交互系统,包括移动设备、成像设备和云端服务器,所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,其中, |
所述移动设备和/或所述成像设备获取多模态输入数据; |
所述云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算; |
所述移动设备根据所述解析结果确定多模态输出数据; |
所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述虚拟形象。 |
可选地,所述移动设备还可以控制所述虚拟形象的虚拟形象以嘴型、表情和/或肢体动作呈现所述多模态输出数据。 |
另一方面,本申请还提供一种虚拟形象,所述虚拟形象在移动设备运行,并由成像设备显示所述虚拟形象; |
所述移动设备与所述成像设备物理位置参照对齐,以实现所述移动设备与所述成像设备的信号互联; |
所述虚拟形象执行上述基于全息投影设备的虚拟形象交互方法的步骤。 |
另一方面,本申请还提供一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述基于全息投影设备的虚拟形象交互方法的步骤。 |
本申请提供的一种基于全息投影设备的虚拟形象交互方法及系统、一种虚拟形象及一种计算机可读存储介质,其中,所述方法包括:所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,通过移动设备和/或成像设备获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,根据所述解析结果确定多模态输出数据,所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述虚拟形象,使得虚拟形象可以采用全息投影设备呈现,虚拟形象的立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
附图说明 |
图1为本申请一实施例的成像设备的结构示意图; |
图2为本申请一实施例的一种基于全息投影设备的虚拟形象交互系统的结构示意图; |
图3为本申请一实施例的一种基于全息投影设备的虚拟形象交互方法流程图; |
图4为本申请一实施例的一种基于全息投影设备的虚拟形象交互方法流程图; |
图5为本申请一实施例的一种基于全息投影设备的虚拟形象交互方法流程图; |
图6为本申请一实施例的一种基于全息投影设备的虚拟形象交互方法流程图。 |
具体实施方式 |
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。 |
在本申请中,提供了一种基于全息投影设备的虚拟形象交互方法及系统、一种虚拟形象及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。 |
本申请中,参见图1,所述成像设备即全息投影设备包括全息膜102和支撑体103,所述全息膜102安装在所述支撑体103上,所述支撑体103为所述全息膜102提供支撑,所述移动设备101安装在所述全息投影设备即所述支撑体103上部,以便将投影成像的内容投射在所述全息膜102上进行显示。 |
所述移动设备101与所述成像设备物理位置参照对齐,以及实现所述移动设备101与所述成像设备的信号互联。 |
所述移动设备101可以将运行在自身的虚拟形象投射在所述成像设备上进行显示,并且所述移动设备101可以与云端服务器连接而使得所述虚拟形象具备多模态人机交互,具备自然语言理解、视觉感知、触摸感知、语言语音输出、情感表情动作输出等Artificial Intelligence(AI)的能力。 |
本申请中,所述虚拟形象可以以3D虚拟形象通过所述全息投影设备进行显示,具备特定形象特征,并且可以为所述虚拟形象配置社会属性、人格属性和人物技能等。 |
具体来说,所述社会属性可以包括:外貌、姓名、服饰、装饰、性别、籍贯、年龄、家庭关系、职业、职位、宗教信仰、感情状态、学历等属性字段;所述人格属性可以包括:性格、气质等属性字段;所述人物技能可以包括:唱歌、跳舞、讲故事、培训等专业技能,并且人物技能展示不限于肢体、表情、头部和/或嘴部的技能展示。 |
在本申请中,虚拟形象的社会属性、人格属性和人物技能等可以使得多模态交互的解析和决策结果更倾向或更为适合该虚拟形象。 |
同时所述虚拟形象还可以配合移动设备投射到成像设备上,并根据所述成像设备展示的场景中进行演绎,即所述虚拟形象在所述成像设备显示的场景中进行演绎,例如唱歌、跳舞等。 |
参见图2,为本申请实施例的基于全息投影设备的虚拟形象交互系统的结构示意图。 |
该基于全息投影设备的虚拟形象交互系统包括移动设备215、成像设备219和云端服务器210。 |
所述移动设备215与所述成像设备219物理位置参照对齐,以及实现所述移动设备215与所述成像设备219的信号互联。 |
所述移动设备215可以将运行在自身的虚拟形象投射在所述成像设备219上进行显示,并且所述移动设备215可以与所述云端服务器210连接,使得运行在所述移动设备215上的所述虚拟形象在所述成像设备219上显示多模态人机交互的效果。 |
所述移动设备215可以包括:通信模块216、中央处理单元217和人机交互输入输出模块218; |
其中,所述人机交互输入输出模块218,其用于获取多模态数据以及输出虚拟形象执行参数,多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据; |
所述通信模块216,其用于调用所述云端服务器210的能力接口并接收通过所述云端服务器210的能力接口解析所述多模态输入数据以决策出多模态输出数据; |
所述中央处理单元217,用于利用所述多模态输出数据计算与所述多模态输出数据相对应的应答数据。 |
所述云端服务器210具备多模态数据解析模块,用于对所述移动设备215发送的多模态数据进行解析,并决策多模态输出数据。 |
所述成像设备219,其用于在预设显示区域内显示具有特定形象的虚拟形象。 |
如图2所示,在多模态数据解析过程各个能力接口分别调用对应的逻辑处理。以下为各个接口的说明: |
语义理解接口211,其接收从所述通信模块216转发的语音信息,对其进行语音识别以及基于大量语料的自然语言处理。 |
视觉识别接口212,可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别,给出定量的检测结果。具备图像预处理功能、特征提取功能、决策功能和具体应用功能; |
其中,所述图像预处理功能可以是对获取的视觉采集数据进行基本处理,包括颜色空间转换、边缘提取、图像变换和图像阈值化; |
所述特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息; |
所述决策功能可以是对特征信息,按照一定的决策策略分发给需要该特征信息的具体应用; |
所述具体应用功能实现人脸检测、人物肢体识别、运动检测等功能。 |
情感计算接口214,其接收从所述通信模块216转发的多模态数据,利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分,情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面,通过以上内容来可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态,也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态,且并不局限于此。在本实施例中,优选采用二者结合的方式来监控情绪。 |
情感计算接口214是在进行视觉情绪识别时,通过使用图像采集设备收集人类面部表情图像,而后转换成可分析数据,再利用图像处理等技术进行表情情绪分析。理解面部表情,通常需要对表情的微妙变化进行检测,比如脸颊肌肉、嘴部的变化以及挑眉等。 |
认知计算接口213,其接收从所述通信模块216转发的多模态数据,所述认知计算接口213用以处理多模态数据进行数据采集、识别和学习,以获取用户画像、知识图谱等,以对多模态输出数据进行合理决策。 |
上述为本申请实施例的基于全息投影设备的虚拟形象交互系统的一种示意性的技术方案。为了便于本领域技术人员理解本申请的技术方案,下述内容通过多个实施例对本申请的基于全息投影设备的虚拟形象交互方法及系统、一种虚拟形象及一种计算机可读存储介质进行进一步的说明。 |
参见图3,本申请一实施例提供一种基于全息投影设备的虚拟形象交互方法,所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,包括步骤301至步骤304。 |
步骤301:通过移动设备和/或成像设备获取多模态输入数据。 |
本申请实施例中,所述移动设备可以为智能手机、笔记本电脑、平板电脑、掌上电脑及其他移动终端等计算设备,所述计算设备还可以是移动式或静止式的服务器,通过上述计算设备获取多模态输入数据。 |
所述成像设备即所述全息投影设备可以提供基本的投影成像的载体支撑,并通过所述全息膜102将所述移动设备屏幕显示的画面或者文字等内容进行显示,所述移动设备为所述虚拟形象与用户及环境进行交互的主要媒介,但并不排除所述成像设备也可以采集关于视觉、红外和/或蓝牙等信号,以辅助所述移动设备进行交互。 |
所述移动设备对所述成像设备的显示功能进行控制,其中包括对场景附属物的显示,例如场景中的花草树木等、对灯光、特效、粒子或射线的显示,其中所述灯光、所述特效、所述粒子和所述射线可以由所述成像设备进行显示。 |
所述移动设备与所述成像设备物理位置参照对齐,以实现所述移动设备与所述成像设备的信号互联。 |
所述多模态输入数据包括:语音数据、文本数据、触摸数据、视觉数据和环境数据。 |
步骤302:由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。 |
本申请实施例中,所述云端服务器对所述语音数据、所述文本数据、所述视觉数据或所述环境数据(如温度数据、湿度数据、气压数据或位置数据)进行声纹分析、文本分析、视频分析或环境分析(如温度解析、湿度解析、气压解析或位置解析),获得分析及决策后的结果。 |
本申请实施例中,可以通过对比存储在所述云端服务器上的所述移动设备的产品序列号是否一致,是否被激活,确定所述移动设备和所述云端服务器的绑定关系。 |
步骤303:根据所述解析结果确定多模态输出数据。 |
本申请实施例中,所述解析结果为通过云服务器决策输出的与所述多模态输入数据对应的语音、动作、情感或多媒体数据等,所述多模态输出数据通过所述虚拟形象进行呈现,由所述移动设备控制所述成像设备展现该虚拟形象;例如当所述解析结果为听歌:“请唱一首两只老虎的儿歌”时,所述虚拟形象的多模态输出数据则为所述虚拟形象演唱“两只老虎”这首儿歌。 |
进一步地,当所述解析结果为技能展示时,所述虚拟形象的多模态输出数据包括歌曲演唱数据和/或舞蹈表演数据。 |
所述解析结果为用户针对该虚拟形象的实际意图,例如“讲故事”或“表演舞蹈”等,例如:当前的用户通过语音输入:“唱歌好么”,则通过解析并结合该虚拟形象的活泼性格,解析决策出所述虚拟形象的多模态输出数据为播放“舞娘”这首歌曲。也可以当解析所述多模态输入数据后的解析结果是一句或一段歌曲时,所述虚拟形象的多模态输出数据则为所述虚拟形象演唱该歌曲的下一句或者下一段歌曲,进行歌曲接力等,根据实际情况进行设定,本申请对此不作限定。 |
步骤304:所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述虚拟形象。 |
本申请实施例中,所述移动设备可以控制所述虚拟形象的虚拟形象以嘴型、表情和/或肢体动作呈现所述多模态输出数据;例如当所述解析结果为“画图”,所述虚拟形象的多模态输出数据则是虚拟形象输出画图的动画。 |
本申请实施例提供的一种基于全息投影设备的虚拟形象交互方法,通过移动设备和/或成像设备获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算,根据所述解析结果确定多模态输出数据,所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述多模态输出数据,使得所述多模态输出数据可以采用全息投影设备呈现,立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
参见图4,本申请一实施例提供一种基于全息投影设备的虚拟形象交互方法,所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,包括步骤401至步骤405。 |
步骤401:通过移动设备和/或成像设备获取多模态输入数据。 |
本申请实施例中,所述移动设备可以是智能手机、平板电脑、笔记本及掌上电脑等智能计算设备,通过上述设备获取多模态输入数据。 |
所述成像设备提供基本的投影成像的载体支撑,并通过所述全息膜102将所述移动设备屏幕显示的画面或者文字等内容进行显示,所述移动设备为所述虚拟形象与用户及环境进行交互的主要媒介,但并不排除所述成像设备也可以采集关于视觉、红外和/或蓝牙等信号,以辅助所述移动设备进行交互。 |
所述移动设备与所述成像设备物理位置参照对齐,以实现所述移动设备与所述成像设备的信号互联。 |
所述多模态输入数据包括:语音数据、文本数据、触摸数据、视觉数据和环境数据。 |
步骤402:由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。 |
本申请实施例中,所述云端服务器对所述语音数据、所述文本数据、所述视觉数据或所述环境数据(如温度数据、湿度数据、气压数据或位置数据)进行声纹分析、文本分析、视频分析或环境分析(如温度解析、湿度解析、气压解析或位置解析,获得分析及决策后的结果。 |
步骤403:根据所述解析结果确定所述虚拟形象的多模态输出数据。 |
本申请实施例中,所述解析结果可以是一个语音指令,一段音乐、一个视频或者是一段文字等,所述虚拟形象的多模态输出数据为与所述解析结果对应的应答数据;例如当所述解析结果为一个语音指令“成语接龙:兴高采烈”时,所述虚拟形象的多模态输出数据则为所述虚拟形象回答“烈火如歌”或“烈火真金”等第一个字是“烈”的成语。 |
进一步地,当所述解析结果为技能展示时,所述虚拟形象的多模态输出数据包括歌曲演唱数据和/或舞蹈表演数据。 |
所述多模态输入数据包括语音数据、文本数据、触摸数据、视觉数据和环境数据,通过移动设备与云端服务器的互联传输,并在云端服务器中解析,即:调用语义理解、视觉识别、情感计算和认知计算能力,得到用户当前的交互意图,如:希望该虚拟形象进行跳舞、演唱或者即兴演示等,并且决策所述虚拟形象的多模态输出数据,如决策输出演唱抒情歌曲,并跳与该歌曲对应的舞蹈。 |
所述多模态输入数据还可以为一个控制所述虚拟形象的行动指令,例如:用户通过移动设备说出“请停止”,当移动设备正在播放音频或者讲话时,接收到该打断指令,则会停止播放音频,同时虚拟形象就停止输出音频,所述成像设备所呈现出的虚拟形象则停止嘴巴和头部的动作。 |
步骤404:所述移动设备控制所述多模态输出数据的输出。 |
本申请实施例中,所述移动设备控制所述多模态输出数据是以语音、动作或特效的方式输出。 |
步骤405:所述成像设备基于所述多模态输出数据显示所述虚拟形象。 |
本申请实施例中,所述虚拟形象根据所述多模态输出数据做出对应的语音或动作时,通过所述成像设备进行显示;例如若所述多模态输出数据为跳一段舞蹈时,所述移动设备控制所述虚拟形象通过所述全息投影设备实现舞蹈显示。 |
本申请实施例提供的一种基于全息投影设备的虚拟形象交互方法,通过移动设备和/或成像设备获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算,根据所述解析结果确定多模态输出数据,所述移动设备控制所述多模态输出数据的输出,所述成像设备基于所述多模态输出数据显示所述虚拟形象,使得虚拟形象可以采用全息投影设备呈现,虚拟形象的立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
参见图5,以所述移动设备为智能手机,所述成像设备为全息投影设备为例,提供一种基于全息投影设备的虚拟形象交互方法,所述虚拟形象在智能手机上的应用程序运行,包括步骤501至步骤504。 |
步骤501:通过智能手机的麦克风获取多模态输入数据。 |
本申请实施例中,以下均以语音交互为例进行说明。 |
步骤502:由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。 |
本申请实施例中,所述云端服务器对上述语音进行语义理解,其显示用户当前的交互意图为:“输出《悯农》这首诗”。 |
步骤503:根据所述解析结果确定多模态输出数据。 |
本申请实施例中,根据所述解析结果:“输出《悯农》这首诗”,确定多模态输出数据为“春种一粒粟,秋收万颗子。四海无闲田,农夫犹饿死。锄禾日当午,汗滴禾下土。谁知盘中餐,粒粒皆辛苦。”的文本、图像和所述虚拟形象的吟诵诗词的动画。 |
步骤504:所述智能手机控制所述虚拟形象通过所述全息投影设备以嘴型、表情和/或肢体动作呈现所述多模态输出数据。 |
本申请实施例中,所述智能手机控制所述虚拟形象通过所述全息投影设备以嘴型、表情和/或肢体动作呈现所述多模态输出数据,即在所述全息投影设备上显示出“春种一粒粟,秋收万颗子。四海无闲田,农夫犹饿死。锄禾日当午,汗滴禾下土。谁知盘中餐,粒粒皆辛苦。”的文本、图像和所述虚拟形象的吟诵诗词的动画形象。 |
本申请实施例提供的一种基于全息投影设备的虚拟形象交互方法,通过智能手机获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,根据所述解析结果确定多模态输出数据,所述智能手机控制所述全息投影设备以图像、文字、声音和/或特效的方式呈现所述多模态输出数据,使得所述多模态输出数据可以采用全息投影设备呈现,立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
参见图6,以所述移动设备为平板电脑,所述成像设备为全息投影设备为例,提供一种基于全息投影设备的虚拟形象交互方法,所述虚拟形象在平板电脑上的应用程序运行,包括步骤601至步骤605。 |
步骤601:通过平板电脑获取多模态输入数据。 |
本申请实施例中,以下以语音交互为例说明。 |
步骤602:由云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。 |
本申请实施例中,所述云端服务器对用户输入的语音“你会跳舞么”进行语义理解,其显示用户当前的交互意图为:“让虚拟形象跳舞”。 |
步骤603:根据所述解析结果确定所述虚拟形象的多模态输出数据。 |
本申请实施例中,所述虚拟形象可以为长相甜美、穿着孔雀服装、年龄在18岁左右并且有文艺气息的女性舞蹈家阿Q的3D形象,所述虚拟形象也可以根据实际需求配置其他的社会属性、人格属性和人物技能等,本申请对此不作限定。 |
根据所述解析结果:“跳舞”,决策出所述虚拟形象的多模态输出数据为:让所述虚拟形象阿Q跳一支古风舞蹈。 |
步骤604:所述平板电脑控制所述多模态输出数据的输出。 |
本申请实施例中,所述虚拟形象阿Q运行在所述平板电脑的应用程序中,因此所述平板电脑在接收到所述多模态输出数据时,控制所述多模态输出数据进行显示:控制所述虚拟形象阿Q通过肢体动作,配合淡蓝色背景画面、古风舞曲,跳古风舞蹈。 |
步骤605:所述全息投影设备基于所述多模态输出数据显示所述虚拟形象。 |
本申请实施例中,所述全息投影设备基于所述多模态输出数据显示所述虚拟形象阿Q,即所述虚拟形象阿Q在所述全息投影设备上进行显示并且基于所述多模态输出数据跳古风舞蹈。 |
本申请实施例提供的一种基于全息投影设备的虚拟形象交互方法,通过平板电脑获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,根据所述解析结果确定所述虚拟形象的多模态输出数据,所述平板电脑控制所述多模态输出数据的输出,所述全息投影设备基于所述多模态输出数据显示所述虚拟形象,使得所述虚拟形象可以采用全息投影设备呈现,所述虚拟形象立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
本申请提供还提供一种基于全息投影设备的虚拟形象交互系统包括: |
包括移动设备、成像设备和云端服务器,所述虚拟形象在所述移动设备运行,且所述虚拟形象具备预设形象特征和预设属性,其中, |
所述移动设备和/或所述成像设备获取多模态输入数据; |
所述云端服务器解析所述多模态输入数据并获取解析结果,所述解析包括:自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算; |
所述移动设备根据所述解析结果确定多模态输出数据; |
所述移动设备控制所述多模态输出数据的输出,并由所述成像设备显示所述虚拟形象。 |
可选地,所述移动设备还可以控制所述虚拟形象以嘴型、表情和/或肢体动作呈现所述多模态输出数据。 |
本申请实施例所提供的基于全息投影设备的虚拟形象交互系统,可以实现使用移动设备或投影设备获取多模态输入数据,由云端服务器解析所述多模态输入数据并获取解析结果,根据所述解析结果确定多模态输出数据,由所述移动设备控制所述全息投影设备呈现所述多模态输出数据,使得虚拟形象可以采用全息投影设备呈现,虚拟形象的立体感更强,实现流畅的多模态人机交互,极大的增强了用户体验。 |
上述为本实施例的基于全息投影设备的虚拟形象交互系统的示意性方案。需要说明的是,该基于全息投影设备的虚拟形象交互系统的技术方案与基于全息投影设备的虚拟形象交互方法的技术方案属于同一构思,基于全息投影设备的虚拟形象交互系统的技术方案未详细描述的细节内容,均可以参见基于全息投影设备的虚拟形象交互方法的技术方案的描述。 |
本申请一实施例还提供一种虚拟形象,所述虚拟形象在移动设备运行,并由成像设备显示所述虚拟形象; |
所述移动设备与所述成像设备物理位置参照对齐,以实现所述移动设备与所述成像设备的信号互联; |
所述虚拟形象执行上述基于全息投影设备的虚拟形象交互方法的步骤。 |
上述为本实施例的一种虚拟形象的示意性方案。需要说明的是,该虚拟形象的技术方案与上述的基于全息投影设备的虚拟形象交互方法的技术方案属于同一构思,该虚拟形象的技术方案未详细描述的细节内容,均可以参见上述基于全息投影设备的虚拟形象交互方法的技术方案的描述。 |
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述基于全息投影设备的虚拟形象交互方法的步骤。 |
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该计算机可读存储介质的技术方案与上述的基于全息投影设备的虚拟形象交互方法的技术方案属于同一构思,该计算机可读存储介质的技术方案未详细描述的细节内容,均可以参见上述基于全息投影设备的虚拟形象交互方法的技术方案的描述。 |
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。 |
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。 |
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。 |
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等 |