多媒体技术期末复习资料

流媒体：流媒体（streaming media）是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上即时传输影音以供观赏的一种技术与过程，此技术使得数据报文得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件。流媒体文件一般定义在bit层次结构，因此流数据包并不一定必须按照字节对齐，虽然通常的媒体文件都是按照这种字节对齐的方式打包的。流媒体的三大操作平台是微软公司、RealNetworks、苹果公司提供的。

 

MPEG-2是MPEG工作组于1994年发布的视频和音频压缩国际标准。MPEG-2通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，也成为DVD产品的核心技术。MPEG-2图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提下恢复原始图像。

MPEG-4是一套用于音频、视频信息的压缩编码标准，MPEG-4格式的主要用途在于网络上流、光盘、语音发送（视频电话），以及电视广播。而MPEG-4比MPEG-2更先进的其中一个特点，就是不再使用宏区块做视频分析，而是以视频上个体为变化记录，因此尽管视频变化速度很快、码率不足时，也不会出现方块画面。

 

 

SIP协议，英文为 Session Initiation Protocol,  中文翻译为会话发起协议。顾名思义，就是在网络上发起会话。协议(Protocol)是计算机与计算机之间的语言。SIP协议的目的就是在IP网络中实现电话功能。在IP网络中，通话两端的不是电话机，而是运行在计算机上的软件电话（软电话）。同传统电话，用SIP协议打一个电话，过程是一样的。两个软电话之间，也有电话号码，也需传递信号。这时的电话号码是SIP帐号。这时的信号不是一个电磁波信号，而是一个IP数据包（称为SIP消息）。

 

虚拟现实（英语：virtual reality，缩写VR），简称虚拟技术，也称虚拟环境，是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。用户进行位置移动时，计算机可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

 

增强现实（Augmented Reality，简称AR），也有对应VR虚拟实境一词的翻译称为实拟虚境或扩张现实，是指透过摄影机视频的位置及角度精算并加上图像分析技术，让显示屏上的虚拟世界能够与现实世界场景进行结合与交互的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途也越来越广。

 

所谓实时就是在人的感官系统允许的情况下, 进行多媒体交互, 就好像面对面(Face To Face)一样, 图像和声音都是连续的。实时多媒体分布系统是把计算机的交互性、通信的分布性和电视的真实性有机地结合在一起。

 

 

1. 空间冗余：图像内部相邻像素之间存在较强的相关性多造成的冗余。
2. 时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。

 

多媒体数据库相对传统数据库，区别在于存储的内容更加丰富，但是这些视频、音频、图像的数据库操作用传统的字符匹配操作方法是不适用的。数据量巨大且媒体之间量的差异十分明显，而使得数据在库中的组织方法和存储方法复杂。媒体的复合、分散、时序性质及其形象化的特点，使得查询不再只是通过字符查询，查询的结果也不仅是一张表，而是多媒体的一组“表现”。接口的多媒体化将对查询提出更复杂、更友好的设计要求。

 

 

• 便携式移动设备得到越来越广泛的应用，结合学到的知识和自身的体验，请论述移动设备上开发UI需要注意的方面有哪些？

1. 文字、图标之间风格的统一性。
2. 适当的留白空间。无论是文字部分的行间距与字间距，还是各内容版块之间的混排距离都要适当留出间隙。不要将界面设计得太满。
3. 巧用渐变色和阴影优化界面视觉效果。渐变色和阴影的处理将在一定程度上增加界面交互菜单的立体感，从而使整个界面变得更加高级。
4. 让用户在体验瞬间感受到人性化的设计，提高可用性和互动性。
5. 注意要对用户操作作适当反馈。如：让用户了解当前状态、位置、 是否成功、进度如何、减少用户不确定性。
6. 一致性和标准化。设计者应遵循一致性原则，统一标准能确保用户理解各个元素在设计中，并且知道去哪里寻找哪些功能。
7. 让用户选择而不是输入。自动读取、记录信息、减少操作路径。

 

 

 

 

 

 

 

• 移动端增强现实特点和应用前景。

移动增强现实技术除了要具备传统增强现实的虚实结合、 实时交互和三维注册的特点外， 还需要具备较高的自由移动性， 不会因为环境因素而只能固定在一个较小范围内活动。前景：可应用于旅游、教学、游戏、导航、科研勘探等方面。如：穿戴设备、Vyking - 人体扫描技术，洛天依 - 全息投影虚拟人物演唱会，Meta - 通过手和物体的距离和景深做虚拟物体的自然抓取、信息可视化下的内容平台、treetmuseum 是伦敦博物馆出的一个AR应用， 实现了时间回溯等。

 

 

• 在多媒体数字视频中，影响视频图像质量的因素有哪些：

比特率，分辨率，编码类型，帧速，原图像质量。。。光照强度，光照方向，目标距离，焦距，采样率，曝光时间和增益，暗漏电流， 像素密度，分辨率（像素数量）

 

• 移动设备软件开发和传统计算机软件开发有什么不同？

1.android中java可以加载c/c++编写的so库文件，web中不可以；web中只能将c/c++翻译成wasm文件，然后进行调用。（分析：web中之所以不能加载so文件的原因应该是浏览器不能直接操作文件系统）

2.android是c/s架构，web是b/s架构

android的市场机会已经结束了之前的井喷期，进入了存量阶段。市场的整体需求，尤其是对初级人才的需求已经饱和。Web开发需求方向未艾。

 

• 5G网络的核心技术是什么，将对移动端多媒体技术产生什么影响？

1. 5G将采用512-QAM或1024-QAM更高的数据压缩密度调制/解调制器，当前4G使用256-QAM或64-QAM的调制以压缩传输数据，因此频谱效率每Mbps/100MHz的利用效率更高提高更多传输速率。
2. 5G将采用28GHz毫米波通信，比如当前4G使用700MHz、900MHz、1800Mhz、2600Mhz等低频段，虽然电波衍射能力比较高但是在低频上频谱资源就却相当有限，在高频的毫米波大多是军用战斗机雷达或测速照相等少数设备，频谱宽度更高，而且更容易找到连续频谱，使空白频谱非常容易获取。
3. 波束指向配合多输入多输出（Multi-input Multi-output ; MIMO）相控数组天线，MIMO多输入多输出利用电磁波的空分复用和路径不同多天线系统提高传输速率，类似在军用领域的技术将延伸出的商用技术版本
4. 波束自适应和波束成形，能够提高特定方向的波瓣优化传输距离[3]
5. 新材料将使用GaN氮化镓或是GaAs砷化镓材料的RF射频天线和功率放大器，此材料的RF射频天线能在更高的频段有更高的能源效率，设备会比较省电。
6. 为了适应工业物联网、无人驾驶汽车、商用无人机等新技术的应用，网络延迟时间将降低到1毫秒以下[7]

 

影响：对移动多媒体硬件要求增加，万物互联时代到来，5G+8K超高清视频，推动VR技术落地，VR高清直播。5G时代的到来，将VR、AR技术与物联网的M2M(Machine-tO-Machine)技术结合，结合人工智能和信息融合技术，将会引爆下一轮产业革新。

 

• CMMB（中国移动多媒体广播）特点是什么，采用了哪些相关的技术？

1. 可提供数字广播电视节目、综合信息和紧急广播服务，实现卫星传输与地面网络相结合的无缝协同覆盖，支持公共服务。
2. 支持手机、PDA、MP3、MP4、数码相机、笔记本电脑以及在汽车、火车、轮船、飞机上的小型接收终端，接收视频、音频、数据等多媒体业务。
3. 采用具有自主知识产权的移动多媒体广播电视技术，系统可运营、可维护、可管理，具备广播式、双向式服务功能，可根据运营要求逐步扩展。
4. 支持中央和地方相结合的运营体系，具备加密授权控制管理体系，支持统一标准和统一运营，支持用户全国漫游。
5. 系统安全可靠,具有安全防范能力，具有良好的可扩展性，能够适应移动多媒体广播电视技术和业务的发展要求。

1. 采用卫星和地面网络相结合的方式实现“天地一体”协同覆盖，信道传输采用STiMi技术。
2. 全国节目通过S波段卫星对全国实现覆盖，卫星遮挡地区可采取地面同频增补方式，在城市人口密集区域采用U波段增补。
3. 地方节目采用U波段地面网络实现覆盖。
4. 电视业务视频压缩编码采用AVS、H.264/AVC，伴音压缩编码采用MPEG-4 HE AAC；广播业务音频压缩编码采用DRA。
5. 数据广播采用可扩展的多协议封装复用传输，支持流模式、文件模式传输。
6. 加密授权系统对音视频流和数据广播流采用ISMACryp进行加扰，系统前端支持同密，终端采用多密，系统支持单向、双向和基于电子钱包的授权管理方式。
7. 运营支撑系统原则上采用两级架构体系，对内容统一加密，统一管理，支持公共服务、基本服务和扩展服务，实现各类终端用户的合法注册。