多媒体作业

多媒体作业

DPCM编码和ADPCM编码

DPCM

DPCM由预测器、量化器和编码器组成。编码流程如下：

1. 预测器由n时刻前的p个重建信号预测出n时刻的信号预测值 sp(n) s p ( n )
2. 预测值 sp(n) s p ( n ) 与输入的信号 s(n) s ( n ) 做差得到差值 d(n)=sp(n)−s(n) d ( n ) = s p ( n ) − s ( n )
3. 差值 d(n) d ( n ) 经过量化器得到量化后的差值 dq(n) d q ( n )
4. 量化后的差值 dq(n) d q ( n ) 进入编码器分配码流 I(n) I ( n )
5. 量化后的差值 dq(n) d q ( n ) 与预测值相加 dq(n)+sp(n) d q ( n ) + s p ( n ) 得到n时刻的重建信号 sr(n) s r ( n )
   

其中预测器采用线性预测（P阶全极点预测器）

x^=∑i=1paix′(n−i) x ^ = ∑ i = 1 p a i x ′ ( n − i )

DPCM解码流程如下：

1. 码流 I′(n) I ′ ( n ) 经过解码器得到量化的差值 d′q(n) d q ′ ( n )
2. 预测器由n时刻前的p个重建信号预测出n时刻的信号预测值 s′p(n) s p ′ ( n )
3. 量化后的差值 d′q(n) d q ′ ( n ) 与预测值相加 d′q(n)+s′p(n) d q ′ ( n ) + s ′ p ( n ) 得到n时刻的重建信号 s′r(n) s r ′ ( n )
   

ADPCM

ADPCM在DPCM的基础上加入了量化自适应和预测自适应

• 自适应量化：使用小的量化阶编码小的差值，使用打的量化阶编码大的差值。
• 自适应编码：多组预测参数，让预测系数的改变与输入信号幅度值相匹配，使均方差误差最小。
  

三大变换的关系

• X(ω) X ( ω ) 也即 X(ejω) X ( e j ω ) 是 x(n) x ( n ) 作DTFT的结果。是离散信号的频域表示。
  

  X(ejω)=∑n=−∞∞x(n)e−jωn X ( e j ω ) = ∑ n = − ∞ ∞ x ( n ) e − j ω n

• X(Z) X ( Z ) 是 x(n) x ( n ) 作 z z 变换的结果。是离散信号的数字复频域( z z 域)表示形式。
  

  X(z)=Z(x(n))=∑n=−∞∞x(n)z−n(z=eσ+jω=rejω) X ( z ) = Z ( x ( n ) ) = ∑ n = − ∞ ∞ x ( n ) z − n ( z = e σ + j ω = r e j ω )

• X(s) X ( s ) 是信号作拉普拉斯变换的结果。是信号的复频域( s s 域)表示形式。一般用于处理连续时间信号。
  

  X(s)=L(x(t))=∫∞0x(t)e−stdt(s=σ+jω) X ( s ) = L ( x ( t ) ) = ∫ 0 ∞ x ( t ) e − s t d t ( s = σ + j ω )

这三种变换都是将信号的表现形式从时域切换到频域。其差别在于：

1. 适用范围

   • DTFT和 z z 变换处理离散时间信号
   • 拉普拉斯变换处理连续时间信号

2. 信号分解

   • DTFT将原信号分解为恒幅正弦信号的线性组合。
   • 拉普拉斯变换将原信号分解为变幅正弦信号的线性组合。
   • z z 变换相当于离散时间信号下的拉普拉斯变换。

3. 复平面投影

   • DTFT将信号投影到虚轴( jω j ω 轴)。
     实际上由于 X(ω) X ( ω ) 是周期为 2π 2 π 的周期函数，因此只需要关注主值区间 [0,2π] [ 0 , 2 π ] 。
   • 拉普拉斯变换将信号投影到整个复平面( σ σ 轴、 jω j ω 轴)。
   • z z 变换则将复平面的虚轴卷起成单位圆，形成 z z 平面。

连续傅里叶变换要求信号绝对可积。这个条件有时较难满足，因此给原信号乘上一个快速衰减的系数( e−σt e − σ t )后再做连续傅里叶变换就现实得多。这种处理方式就是拉普拉斯变换。
而 z z 变换就是离散信号下的拉普拉斯变换。
容易看出，拉普拉斯变换中取 σ=0 σ = 0 则退化为连续傅里叶变换。 z z 变换中取 σ=0 σ = 0 即 r=1 r = 1 则退化为DTFT。也就是说，连续傅里叶变换是拉普拉斯变换的特例，DTFT则是限制在单位圆上的 z z 变换。
DFT则是DTFT在 ω=2πN⋅k ω = 2 π N · k 处的采样。也即在其对应 z z 变换单位圆上的N等分采样。效果是使频域离散化。

RTCP服务质量动态监控和拥塞控制

• QoS动态监控：RTCP控制分组含有服务质量监控的必要信息。由于RTCP分组是多播的，所有会话成员都可以通过RTCP分组返回的控制信息了解其他参加者的状况。
• 拥塞控制：在SR控制分组中含有不同媒体流间的同步信息以及已发送分组和字节的计数，接收端可以据此估计实际的数据传输率。
  RR控制分组含有接收数据分组的最大序列号、丢失分组数目、延时抖动和时间戳等重要信息。发送端应用程序收到这些分组后可以估计往返时延，还可以根据分组丢失数和时延抖动动态的调整发送端的数据发送率，进行网络拥塞控制。

RTSP协议的交互过程

1. 浏览器使用HTTP的GET报文向万维网服务器请求音频/视频文件。
2. 万维网服务器从浏览器发送携带有元文件的响应。
3. 浏览器把收到的元文件传给流媒体播放器。
4. 媒体播放器的RTSP客户发送SETUP报文与媒体服务器的RSTP服务器建立连接。
5. 媒体服务器的RSTP服务器发送响应RESPONSE报文。
6. 媒体播放器的RSTP客户发送PLAY报文开始下载音频/视频文件。
7. 媒体服务器的RSTP服务器发送响应RESPONSE报文。
8. 用户在不想继续观看时，可由RSTP客户发送TEARDOWN报文断开连接。
9. 媒体服务器的RSTP服务器发送响应RESPONSE报文。
   

流媒体的工作原理

• 媒体文件传输时需要分组。由于网络的不确定性，分组可能不会按序到达，因此流传输需要缓存，使用缓存系统来弥补延时和抖动的影响，从而使媒体数据能连续输出。
• 在流传输的实现方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时数据。
• 工作流程如图所示:
  

Campbell和Goodman模型

这两种模型遵循超文本的三层规范：

1. 数据库层：模型中的最底层，主要用来处理所有信息存储的存取与处理问题。
2. 超文本抽象层：位于用户接口层和数据库层之间，决定超文本系统节点和链的基本特点，记录节点之间链的关系，并保存相关节点和链的结构信息。
3. 用户接口层： 三层模型中的最高层，又称表示层或用户界面层，是超文本系统特殊性的重要表现并直接影响超文本系统的效果。该层主要是处理超文本抽象机层中的信息表现，包括什么命令对用户有效，以何种方式显示节点和链以及多媒体信息的表现组织等。

多媒体数据库四层层次结构

1. 媒体支持层：属于系统层次结构的最底层，建立在多媒体数据库操作系统之上。该层对不同的媒体进行相应的处理操作，完成数据库的基本操作。
2. 媒体数据模式层：主要完成多媒体数据的逻辑存储与存取。描述各种媒体数据的逻辑存储之间相互内容关联，特征与数据的关系，以及链接的建立。
3. 媒体概念模式层：主要对现实世界中多种媒体数据信息进行描述，也是多媒体数据库中在全局概念下的一个整体视图。
4. 用户接口层：主要完成用户对多媒体信息的描述和得到多媒体信息的查询结果。

Petri网图

一个电视新闻广播时间线的例子 ：

Pretri网图：

基于内容的检索

基于内容的检索CBR，是指根据媒体和媒体对象的内容语义及上下文语义环境进行检索。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。

基于直方图的图像检索的工作原理

1、颜色直方图：假设一幅图像G的颜色（或灰度）有N级组成，每一种颜色值用qi（i=1,2…N）表示。在整幅图像中，具有qi颜色值的像素数为hi，则这一组像素统计值（h1，h2，…,hn）就是颜色的直方图，可用H（h1，h2，…,hn）来描述一幅图像的颜色特征。

2、颜色直方图的检索方法：

• 指明颜色组成
• 指明一幅图像
• 指明图像中的一个子图

3、颜色直方图的相似性匹配：
假设示例图像直方图用 G(g1,g2,…,gn) G ( g 1 , g 2 , … , g n ) 表示，数据库中的目标图像直方图用 S(S1,S2,…,Sn) S ( S 1 , S 2 , … , S n ) 表示。

• 欧式距离：
  Ed(G,S)=(∑i=1N(Gi−Si)2)−−−−−−−−−−−−⎷ E d ( G , S ) = ( ∑ i = 1 N ( G i − S i ) 2 )
• 规范化相似性：
  sim(G,S)=1n∑i=1N(1−|Gi−Si|max(Gi,Si)) s i m ( G , S ) = 1 n ∑ i = 1 N ( 1 − | G i − S i | m a x ( G i , S i ) )
• 加权相似性：
  sim(G,S)=1n∑i=1N{Wi(1−|Gi−Si|max(Gi,Si))} s i m ( G , S ) = 1 n ∑ i = 1 N { W i ( 1 − | G i − S i | m a x ( G i , S i ) ) }
  Wi W i 表示权因子
• 前L加权相似性：
  sim(E,S)=1L∑k=1L{Wk(1−|Ek−Sk|max(Ek,SK))} s i m ( E , S ) = 1 L ∑ k = 1 L { W k ( 1 − | E k − S k | m a x ( E k , S K ) ) }
  E E 表示选取的含L个颜色的直方图

视频会议的资源管理

视频会议的资源管理主要包括：

1. 在会议建立过程中保留和分配资源，以保证服务质量能够满足QoS要求；
2. 在多媒体数据传送过程中，采用适当的QoS服务策略进行资源分配；
3. 视频会议的各个阶段要进行相应的资源改变。