多媒体网络应用技术的学习(一)

多媒体网络应用的分类

什么是多媒体网络应用呢?
多媒体网络应用为任何应用音频和视频的网络应用;

视频:

视频最为显著的特点就是它的高比特率
假设S每20秒钟看一张图片,图片的平均大小为100kb(1 kb = 1024byte = 8192 bit,S 的比特率就为 100x8192/20/1024 = 40.96kbps),而F正在用流量使用网易云音乐听歌,一首接一首都是200kbps 的速率编码传输,最后C正在观看4Mbps的视频,三者的会话长度都是4000秒(大概67分钟) (题为计算机网络-自顶向下方法,第六版7.1节R1习题 433P)
则会话内传输 byte 为:
S 40.96x4000/8/1024 =20MB
F 200x4000/8/1024 约为 97.65MB
C 4x4000/8 = 2000MB 约为2GB

表格1-1	比特率	4000秒传输的 byte
S 图片	40.96kbps	20MB
F 音乐	200kbps	97.65MB
C 视频	4Mbps	2GB

其次是可以被压缩,视频是个图像序列,图像通常以恒定的速率显示,例如每秒30幅图像.一个没有被压缩、数字编码的图像由像素整列组成,每个像素被编码为一定数量的bit 来表示亮度和颜色.在视频中有俩种类型的冗余,它们都是可以用来进行视频压缩的,分别是空间冗余 和 时域冗余,
空间冗余从直觉上讲就是一个色彩单调的图像可以充分的进行压缩,而不会明显降低图片质量,时域冗余就是前后图像的重复度,如果一副图像和后一副完全一样,就没有必要再进行编码
利用压缩我们就可以创建相同视频的多重版本来适应不同的网络环境,也可以让用户自己选择码率不同的版本

音频:

音频是如何转为信号的?
首先要理解量化,下面用PCM(脉冲编码调制)解释说明

• 模拟音频信号首先以某种固定速率采样,例如每秒8000 个样本,每个采样值是一个任意的实数.
• 然后每个采样值被 "四舍五入"处理为有限个数值中的一个,这种操作被称为量化.这些有限个数值(量化值) 通常是2 的幂,例如256个量化值.
• 每个量化值由固定数量的 bit 来表示.所有样本的bit 级联在一起就形成了该信号的数字表示,举例来说,如果一个模拟信号以每秒8000个样值采样,而且每个样本被量化并用8 bit 表示,则得到的数字信号的速率就为每秒64000比特(64kbps).通过音频播放器播放,这个数字信号就可以转换回来(解码),形成一个模拟信号.然而,解码的信号只是和原来的信号近似,所以声音质量就有可能下降,通过增加采样速率和量化值的数量,可以得到更接近原生的模拟信号.

然而PCM编码的的音频很少在互联网中使用,MP3和AAC反而比较流行
尽管音频的比特率通常比视频的小,但用户对音频的卡壳失真比视频更为敏感

多媒体网络应用,通常来说有三种:

1. 流式存贮音频和视频
   如现在的优酷,腾讯视频等,这类视频是预先录制好放置在服务器上,由用户按需观看.这种视频有三个特点:
   1.1 流
   用户从服务器接收文件之后的几秒钟之后就开始播放视频,并持续的从服务器获取后续的视频内容,而不用提前下载整个视频.
   1.2 相互作用
   就是用户可以对视频进行暂停或前进倒退或者快进等操作,从一个用户提出这种需求到响应表现出来,可接受的时间应该小于几秒钟
   1.3 连续播放
   一旦视频开始播放,它应该根据初始记录的时序进行
   现在来说,对流式视频最重要的的性能测量时平均吞吐量.为了提供连续的播放,网络必须提供至少与视频本身比特率一样大的吞吐量,通过使用缓存和预取,即使吞吐量波动的时候,提供连续播放也是可能的,只要平均吞吐量(5-10秒间平均)保持在视频速率之上.
2. 会话式IP语音和视频
   也是就是现在比较流行的微信语音,这种也被称为 因特网电话或者IP语音(VoIP),会话视频与之类似
3. 流式实况音频和视频
   实况直播~,这种类似于广播的应用,在今天所使用的一些技术(如初始缓存时延、适应性宽带使用和CDN分发)都类似于流式存储媒体所使用的技术