【软考中级】多媒体应用设计师复习笔记第八章

第8章多媒体应用的新技术

8.1信息可视化技术

将广泛存在的非具体数据以能满足人机交互的方式表达出来，使信息接收员可以方便的分析数信息可视化，找出数据规律，完成对信息的处理。信息可视化的两大基础：认知心理学和图像设计。
重点

注意将数据列表转换成可视结构图是可视映射不是数据映射

数据列表到视图还需要可视结构图

?可视化方式分为：

一维，二维，三维，多维，时序，层次，网状的信息可视化方式。

信息可视化映射技术PFNET，

最早被使用，它通过对事物的理解，分析，形成自己特有的网络表现方式，进而实现不同事件之间分层归纳。

信息可视化显示技术：

对文献进行检索，再对检索结果聚类分析，最后将处理的数据在计算机上进行可视化展现。
→整体+细节技术：通过同时使用整体视图，细节视图去勾勒整个事件关联信息源。
Focus+Context :以整体的可视化方式呈现，同时又能探究局部的信息内容，进而进行局部信息处理。利用了鱼眼现象越靠近事件中心，其真实值域就会被扩大化。
平移+缩放技术：在显示空间里使用比例尺来作为交互手段的可视化操作界面。
双曲树：是应用于大型层次结构的整体+细节技术，将空间中被广泛聚焦的内容进行显现，同时保证整体结构的体现。该理论通过有规律的函数将关联性描述在一个曲面，通过规定的映射函数关系，将其显现在固定位置。

?信息可视化应用：

生物学应用：利用信息可视化技术对大规模蛋白质数据集进行可视化分析。
网络通信检测应用：利用该技术显示网络节点特性，网络连接与流量，地理区域分布等信息。
商业信息应用：根据用户消费行为进行分析从而在电商平台推荐对应的商品。

8.2人机交互技术

包括用户向计算机输入信息及计算机输出信息给用户的过程。人机交互的发展特征表现在：

人机交互技术：

越来越 注重用户体验；逐渐突破交互维度的限制，发展为直接在三维空间交互的三维人机交互方式，将现实中人与真实环境交互的经验运用到虚拟人机环境中，消除用户为适应计算机系统带来的认知负担。

立体视觉显示技术：

通过一定技术使画面变得立体逼真，让观看者能感受画面深度，带来身临其境的观影体验。分为：眼镜式3D（影院采用的主流观影方式），头戴式HMD（虚拟现实产品主要显示方式

跟踪传感器是hmd必要组件，处理器计算头部动作必须有60hz），裸眼3D（在观看者左右眼投射视差图像裸眼3d是基于视差图象原理，可分为光屏障和柱状透视，视差图象差别越大裸眼立体效果越明显），全息投影。

自然手势交互技术：

从硬件上分为单目/双目（leap motion）/多目视觉系统；从手势复杂程度上分为静态/动态手势识别。随虚拟现实技术兴趣，数据手套再次受到关注。
手套是弯曲检测
5DT（纤维光学弯曲检测，不提供力反馈),CyberGlove（提供力反馈）,Dexmo（外骨骼设计提供力反馈）。

肢体动作交互技术不借助交互工具：NUI

不借助交互工具，直接通过肢体动作映射到计算机虚拟环境，是自然人机交互方式。Kinect是基于光学检测原理的非穿戴式交互设备

8.3虚拟现实技术

虚拟现实技术产生于20世纪60年度，是把客观上存在或不存在的东西，运用计算机技术，在用户眼前生成一个虚拟的环境使人感到沉浸在虚拟环境中的一种技术。最大特点是：用户可以用自然方式与虚拟环境进行交互操作，改变过去人类除了亲身经历，只能间接了解环境的模式，从而扩展自己的认知手段和领域。

检测模块和反馈模块都是通过传感器模块，3d模型库是构成虚拟环境，建模模块才是建立三维模型

?虚拟现实的三个特征：沉浸感，交互性，想象力。

15.1虚拟现实技术与应用

虚拟现实硬件设备：

?视觉设备：头盔显示器，立体眼镜，洞穴式立体显示系统，墙式立体显示系统，裸眼立体显示
?触觉和力反馈设备：力反馈操纵杆，力反馈手套
?位置跟踪设备：数据手套，运动捕捉系统
?计算设备：高性能计算机，高性能图像工作站
头盔是最早的虚拟现实器，其原理是左右眼屏幕分别显示左右眼的图像，人眼在获取这种带有差异的信息后可以在
脑海中产生立体感。
立体眼镜，当显示器输出左眼图像时，左眼镜片为透光状态，右眼不透光。显示器输出右眼图像时，右眼镜片透光
左眼不透光，这样两只眼睛就看到不同画面，达到欺骗眼睛的目的。
虚拟现实系统相关技术：

?立体显示技术：

彩色眼镜法，偏振光眼镜法，串行式立体显示器，裸眼立体显示技术（ps:同时显示技术——在屏幕上同时显示分别对应左右眼的两幅图像。分时显示技术——以一定频率交替显示两幅图像）分时：串行立体演示器；同时：立体眼镜，头盔
环境建模技术：三维视觉建模（几何建模，运动建模，物理建模，对象行为建模，模型分割），三维听觉建模

真实感实时绘制技术：

真实感绘制是指在计算机中重现真实场景的过程。实时绘制是指当用户视点发生变化时，保证图像显示更新的速度跟上视点的改变速度，从而消除迟滞现象。方法：纹理映射，环境映射，反走样 检测游戏中各物体的物理边缘是否发生碰撞，使游戏效果符合客观世界物理规律：碰撞检测技术
视觉通道，听觉通道，触觉与力反馈，用户的输入，语音识别与合成?。
自然交互技术：包括：VRML是HTML的3D模拟，是网络上使用的三维图像和交互环境的场景描述语言，通过创建虚拟场景达到现实中的效果，改变网络上2D画面的状态，实现3D的动画效果，使人机交互更加方便灵活。

虚拟现实建模语言的特点：

?VRML具有强大网络功能，可通过Internet将3D模型和场景发布到网上实现资源共享。
?将多种多媒体技术结合在一起形成综合的虚拟环境。
?提供场景内物体和对象的相互作用。
?具有硬件平台无关性。
?用户可在虚拟场景中任意巡视。
?VRML支持脚本语言。
光的干涉（即拍摄过程）和衍射原理记录并再现物体真实的三维图全息成像技术的原理：利用

虚拟现实系统的分类：?

桌面桌面型简易，价格低：包括基于静态图像的虚拟现实技术360度全景 cad系统，Web 3D，
沉浸型高级沉浸是系统，需要带头盔：包括完全沉浸型虚拟现实系统，座舱不属于完全沉浸，远程存在。
增强现实型仿真世界：增强现实中无法感知或不方便感知的感受。如：飞行员的平视显示器。
分布式虚拟现实系统，多个用户通过网络对同一虚拟世界进行,j基于vrml虚拟建模语言观察操不同用户联结起来，共享虚拟空间分布式：将异地的作，协调工作。

?虚拟现实技术的需克服的问题

a.虚拟环境表示的准确性
b.虚拟环境感知信息合成的真实性
c.人与虚拟环境交互的自然性
d.实时显示问题（景物复杂度问题）
e.图形生成（虚拟现实的重要瓶颈）：随着人的活动，即时生成相应的图形画面
f.人工智能技术：语音识别，图像识别，自然语言理解
虚拟环境的建立是vr技术的核心内容

?虚拟现实技术的应用

医学：建立虚拟人体模型，利用跟踪球，HMD，感觉手套来了解人体内部器官结构。远距离遥控外壳手术。娱乐，艺术，教育：VR游戏。VR的临场参与感和交互能力可将静态艺术转化为动态。虚拟的物理实验室。
军事与航天工业：SIMNET虚拟战场系统。模拟零重力环境训练宇航员。
管理工程：设计新型建筑物。分析股票债券。

计算机仿真（CS）技术是利用计算机软件模拟真实环境进行科学实验的技术。原则上以视觉和听觉为主，将用户是 视为旁观者，其可视场景不随用户视点变化而变化，用户没有身临其境感觉，不强调交互的实时性。

8.4增强现实技术

增强现实技术：

虚拟的物体叠加到真实世界，让学习者通过平板等移动设备在虚拟融合的环境中学习，互动，感知真实世界和虚拟世界的共同存在

特点：虚实结合。实时交互，三维注册。

增强现实的实现流程：

①捕获真实场景②分析真实场景和相机位置信息③生成虚拟对象④合并图像流生成虚实结合场景。

增强现实的关键技术（非实时的）：

?显示技术：建立在视觉成像原理基础上，将真实场景投射到人类视网膜，实现虚拟物体和真实场景叠加。
?跟踪注册技术：通过虚拟空间坐标系和真实环境空间坐标系无缝融合，准确定位并跟踪用户，定位过程称之为注册。增强现实系统必须实时监测摄像头位置，角度及运动方向，帮助系统决定现实虚拟信息，按摄像头视角建立坐标系，称为跟踪。
?虚实融合技术：自动获取环境的光照和反射信息，根据真实场景图形折射出真实的光源数目，光照方向。
?人机交互技术：根据执行者发出的动作指令做出相应信息反馈。 将物理世界实时并彻底比特化，兼具虚拟现实和增强现实设备功能）——增强虚拟MR（增强现实AR——混合现实 AV

增强现实和虚拟现实技术的联系和区别：

1.虚拟现实是一种可以创建和体验虚拟世界的计算机系统，主要特征是沉浸感，交互性，想象力。增强现实是将虚拟的物体叠加到真实世界，是对现实世界的补充，特点是虚实结合，实时交互，三维注册
2.虚拟现实要求给用户以完全的沉浸感，用户完全沉浸计算机生成的虚拟场景，看不到真实场景。增强现实最终目的是将计算机产生的虚拟场景无缝融合到用户可见的真实场景，增强用户视觉感受，并实现与虚实融合环境的交互。==增强现实对硬件要求更低，但有更高的注册精度和更具视觉冲击力的真实感。 ==