国科大--多媒体分析与理解--复习习题整理
国科大–多媒体分析与理解–复习习题整理
该文章将 2018-2022 年的考试习题、作业题和重要部分试题进行汇总，开卷考试时可以直接打印这个资料。
@. 论述什么是多媒体？多媒体分析与理解有哪些应用领域和挑战？
参考答案：
(1). 多媒体是使用不同内容形式组合的内容，如文本、音频、图像、动画、视频和交互式内容。或者回答，多媒体是指计算机处理的多种信息载体的统称，包括文本、音频、图形、视频和交互式内容等形式。
(2). 多媒体分析与理解广泛应用于 安防、教育、通讯、娱乐等产业中。具体地，多媒体可以应用在图片检索、内容推荐、视觉监控、视频个性定制、社交媒体、视频网站等领域。
(3). 面对的挑战如下
- 如何对不同媒体、不同模态的数据进行表示；数据往往是海量的、高维的、非结构化的，具有本身复杂性。
- 如何理解多媒体数据，并解决语义鸿沟等问题。
- 如何挖掘多媒体数据之间的相互关联，即协同性与互补性。
- 如何满足用户多样化的信息需求，处理好用户偏好与个性化。
@. 简述特征表示学习的必要性，及其主要解决方法与基本原理。(15 分)
参考答案：
(1). 必要性
特征表示学习是指在机器学习中，对原始数据进行处理，提取出有用的特征信息并将其转换为模型可以处理的形式，以便对数据进行分析和建模。 必要性如下：
- 维数灾难：随着特征维数的增加，特征空间体积呈指数增加，从而导致各方面成本增加；高维空间中样本距离的度量意义减弱，致使模型性能下降；模型参数量会随着数据维度上升而上升；维度过高容易引起模型过拟合。
- 原始数据通常有很大的冗余和噪声，不能直接用于建模；特征表示学习可以帮助去除冗余信息，提高数据的质量和可用性。
(2). 主要解决方法
- 特征降维：通过某种数学变换将样本表示由高维空间映射到低维子空间，合适的数据变换依据有：样本最大可分性、距离属性保持等；主要方法：主成分分析、线性判别分析、流形学习等。
- 特征选择：从给定特征集合中选择出最有效的特征子集，主要方法包括过滤法 Fliter，包裹法 Wrapper，嵌入法 Embedding。
- 特征融合：数据对象的表征具有天然的多特征特性，实现对数据对象的分析理解需要融合多元化数据非常重要，包括特征层融合、决策层融合。
@. 多媒体内容描述有哪几类代表性的特征表示学习方法，对比说明其异同点，并每类列举2-3种典型算法。
参考答案：
(1). 特征降维：通过某种数学变换将样本表示由高维空间映射到低维子空间，合适的数据变换依据有：样本最大可分性、距离属性保持等；主要方法：主成分分析、线性判别分析、流形学习等。
- PCA：通过主成分分析方法，将高维数据映射到低维空间，并期望在所投影维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。
- LDA：主要针对两类问题，将数据有原始维度投影到一维空间，可直接用于分类。降维投影后的样本点，同类样本之间距离尽可能近，异类样本之间距离尽可能远。
- 流形学习（LLE、Isomap）：从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。
(2). 特征选择：从给定特征集合中选择出最有效的特征子集，主要方法包括过滤法 Fliter，包裹法 Wrapper，嵌入法 Embedding。
- 过滤法：通过分析特征子集有效性来衡量其好坏，一般用作预处理，与模型学习无关。
- 包裹法：实质上是一个分类器，用选取的特征子集对样本集进行分类，模型性能作为衡量特征子集好坏的标准。
- 嵌入法：在模型学习的同时，学习出对提高模型性能最好的特征子集，如 L1/L2 正则化。
(3). 特征融合：数据对象的表征具有天然的多特征特性，实现对数据对象的分析理解需要融合多元化数据非常重要，包括特征层融合、决策层融合。
- 前向融合：特征层融合，形成融合特征表示，然后进行模型的学习。
- 后向融合：决策层融合，不同特征分别进行模型学习后融合，得到最后的融合分类结果。
@. 针对文本、音频与图像数据的特征表示方法，请分别列举 2 种典型特征，并分析其优缺点。
参考答案：
(1). 文本
- 词频（TF）表示法
优点：用词在文档中的出现频率可表示出一篇文档中的侧重点，便于统计与分析。
缺点：文中多次出现的介词、系动词等也会被统计出较高的权重。 - 潜在语义分析法（LSA）
优点：通过降维，有效解决了一词多义与一义多词的问题。
缺点：仍未解决文档中间的有序性被破坏的问题。
(2). 音频
- 过零率
优点：能侧面反映信号在短时帧内的平均频率。
缺点：只关注了短时窗内的幅值信息，频域信息缺失。 - 梅尔频率倒谱系数
优点：对特征进行了去相关和压缩。
缺点：对所有频率段信息进行同等处理，不能突出重要信息。
(3). 图像
- LBP
优点：一定程度上消除了光照变化的问题，具有旋转不变性，计算速度快。
缺点：光照不均时对应的LBP算子会发生变化，同时LBP也丢失了方向信息。 - SIFT
优点：具有很好的尺度不变性和鲁棒性。
缺点：实时性不高，具有时特征点较少，对边缘光滑的目标无法准确提取特征点。
@. 简述反向误差传播算法的基本原理，并说明该算法在神经网络训练过程中可能遇到的问题及其应对措施。(15 分)
参考答案：
(1). 反向传播基本原理：用输出层的误差来估计前一层的误差，然后再用这个误差估计更前一层的误差，依次将误差反向传播下去，从而获得所有其它各层的误差估计；然后使用梯度下降法，结合逐层的误差估计，对网络的所有权重进行调节。
(2). 能遇到的典型问题及相应的解决方法如下：
- 模型产生过拟合，解决方案包括：
a. 进行数据增强、扩充训练样本。
b. 提前在适当的时候提前停止训练。
c. 采用 Dropout、Droppath 等技术。
d. 加入正则比约束，如岭回归、Lasso 回归。 - 梯度消失与梯度爆炸，解决方案包括：
a. 采用 Relu 等无饱和区激活函数。
b. 便用 BatchNormalization 进行归一化，避免进入饱和区。
c. 设置梯度剪切阈值，防止梯度过大。 - 局部极小值问题，解决方案如下：
a. 使用合适的参数初始化方式,常见的随机初始化方法有高斯分布初始化、Xavier 初始化、Kaiming 初始化等；
b. 自适应学习率调解方案；
c. 梯度下降过程中加入动量，或使用其他性能更好的优化器，包括Momentum、Adam 、AdamW 等等；
@. 卷积神经网络中一个典型层通常包含三种基本操作，请回答每种操作的基本含义或类型，所具备的基本特性或者优缺点。
参考答案：
典型层三种基本操作：卷积 —> 非线性变换 —> 池化
(1). 卷积操作：
- 含义：卷积操作又称滤波，卷积核函数又称滤波器；在输入图像上的二维卷积，卷积输出称为 feature map。
- 特征：通常会在同一个卷积层使用多个不同的卷积核以学习图像的不同特征。当卷积核输入包含多个通道时，可以把卷积核看成是3D的。
(2). 非线性变换：
- 含义：先通过 ϕ ( x ) \phi(x) ϕ(x)将 x x x空间的点转换成 z z z空间的点，而在z空间上得到一个线性的假设，再恢复到原来的 x x x空间中得到一个二次的假设。
- 特征：优点是有很好的数学性质，缺点是很容易饱和、输出不是0均值的会对梯度产生影响。
(3). 池化操作：
- 含义：池化函数使用某一位置的相邻位置的总体统计特征来代替网络在该位置的输出。常用的池化函数有最大池化、平均池化。
- 特征：当输出作出少量平移时，池化能够帮助输入的表示近似不变,即平移不变。减小参数规模，提高统计效率。在全连接层之前采用全局池化，可以保持全连接层节点数量不变，不受输入图像大小的影响。
@. 调研三种以上的典型卷积神经网络（LeNet-5 除外），介绍各个网络模型的基本特性、网络结构，并以其中一种模型为例写出训练参数数目的计算过程。
参考答案：
(1). ResNet 网络针对深度神经网络难以训练和退化问题，提出了如下图所示残差链接机制，使得中间单元学习期望输出和输入之间的残差，从而使网络更加容易学习。
当残差为 0 的时候，该残差链接单元至少做了恒等映射，从而保证了深层网络的性能不会低于浅层网络；同时，由于残差连接的存在，使得进行梯度反向传播的过程中不会轻易地出现梯度消失的现象，从而使得训练深层网络成为可能。通过对残差连接单元的堆叠，可以得到 ResNet 网络的整体结构。
(2). DenseNet 借鉴了 ResNet 网络残差链接的思想，直接将每一层之前所有的特征层进行连
接，更加有效的利用了各个不同尺度的参数量，其整体网络架构如下所示。
DenseNet 网络在同等大小参数的情况下，能够取得优于 ResNet 网络的性能。
(3). 随着 Transformer 在自然语言处理领域取得巨大成功，许多基于 Transformer 的视觉模型被相继提出，如 ViT、DeiT、Swin-Transformer 等等。VAN 网络认为 Transformer 结构仍然不适合处理二维结构的图像数据，然后设计了一种基于大核卷积注意力的卷积神经网络，通过大核卷积提升了网络的感受野，使模型获得了较长距离建模的能力。其将大核卷积拆分为如下的卷积，即局部卷积、大核空洞卷积和 1 × 1 1 \times 1 1×1卷积的组合。
然后通过堆叠大核卷积和 FFN 单元得到整体的 VAN 卷积神经网络。
(2). 以 AlexNet 为例计算网络可训练参数：
AlexNet 网络结构如下，其包含两个 GPU 上的两部分网络。
Conv1： 2 × ( 11 × 11 + 1 ) × 3 × 48 = 35136 2 \times (11\times 11+ 1) \times 3 \times 48=35136 2×(11×11+1)×3×48=35136
Conv2： 2 × ( 5 × 5 + 1 ) × 48 × 128 = 638976 2 \times (5 \times 5 + 1) \times 48 \times 128=638976 2×(5×5+1)×48×128=638976
Conv3： 2 × ( 3 × 3 + 1 ) × 128 × 192 = 491520 2 \times (3 \times 3 + 1) \times 128 \times 192=491520 2×(3×3+1)×128×192=491520
Conv4： 2 × ( 3 × 3 + 1 ) × 192 × 192 = 737280 2 \times (3 \times 3 + 1) \times 192 \times 192=737280 2×(3×3+1)×192×192=737280
Conv5： 2 × ( 3 × 3 + 1 ) × 192 × 128 = 491520 2 \times (3 \times 3 + 1) \times 192 \times 128=491520 2×(3×3+1)×192×128=491520
FC1： 6 × 6 × 128 × 2 × 4096 = 3.77 × 1 0 7 6 \times 6 \times 128 \times 2 \times 4096 =3.77 \times 10^7 6×6×128×2×4096=3.77×107
FC2： 4097 × 4096 = 1.678 × 1 0 7 4097 \times 4096=1.678 \times 10^7 4097×4096=1.678×107
FC3： 4097 × 1000 = 4.097 × 1 0 6 4097 \times 1000=4.097 \times 10^6 4097×1000=4.097×106
总参数量为： 6.03825 × 1 0 7 6.03825 \times 10^7 6.03825×107
@. 简述语言模型的基本概念与应用领域，并给出3种典型的语言模型的基本解决思路。
参考答案：
(1). 语言模型的基本概念
语言模型用于表示语言中词语序列出现的概率。它通常用来预测一个语言序列中下一个词语的可能性。自然语言中标记（词、字符、字节）序列的概率分布，记为 ，语言模型用于衡量词序列符合自然语言表达的程度。 语言模型在自然语言处理领域中有广泛应用，包括语音识别、机器翻译、拼写检查和信息检索等领域。例如，在语音识别中，可以利用语言模型来评估识别出的文本序列是否合理，以提高识别准确率。
(2). 典型的语言模型
- n-gram
- Word2Vec
- ELMO
- GPT
- BERT
原理抄PPT就可以。
@. 请说明图像语义理解的基本研究内容，及其各项内容的含义。请针对其中任一项内容，从中选取 1 个典型算法或模型对其具体实现过程进行详细说明。
参考答案：
(1). 图像语义理解旨在研究图像中存在何种物体、何种实例以及目标之间的相互关系， 期望机器能像人一样自动“看懂”外部环境。本质上是学习底层特征与高层语义之间的映射关系。
(2). 图像语义理解基本任包括：
- 图像分类: 给每幅图像预测一个类别。
- 图像标注: 给每幅图像预测多个语义标签。
- 目标检测: 给图像中物体预测一个类别和一个紧致的定位目标。
- 语义分割: 给每个像素预测一个语义标签。
- 图像描述: 用自然语言描述图像。
(3). 目标检测的一个经典算法如下：
- YOLO，其步骤如下：
a. 将输入图像假想为一系列网格，并在每个网格中铺设不同大小不同尺寸的 anchor。
b. 然后将图片送入特征网络进行特征提取。
c. 对特征图进行解码，包括预测anchor修正量、置信度和类别概率等等。
d. 对预测的 bounding boxes 进行过滤和 NMS 处理。
@. 详细说明基于 SVD 和 RBM 推荐方法的基本原理， 并比较它们的优劣。
参考答案：
(1). SVD
对于所有用户和所有商品打分，可以表示为一个稀疏矩阵 R R R；基于SVD的推荐方法对矩阵 R R R进行分解，并且要求矩阵元素非负，如下
R U × I = P U × K Q K × I R_{U\times I}=P_{U\times K}Q_{K\times I} RU×I=PU×KQK×I然后用 R R R中已知数据训练 P P P和 Q Q Q，使得 P P P和 Q Q Q相乘能最好地拟合已知评分。具体地，预测用户 U U U对商品 I I I的评分为。
r ^ u i = p u T q i \hat{r}_{ui}=p_{u}^{T}q_i r^ui=puTqi则预测误差为 e u i = r u i − r ^ u i e_{ui}=r_{ui}-\hat{r}_{ui} eui=rui−r^ui，总平方误差为。
S S E = ∑ e u i 2 \mathrm{SSE}=\sum{e_{ui}^{2}} SSE=∑eui2然后将 S S E \mathrm{SSE} SSE作为损失对模型进行训练即可。
(2). RBM
将某一用户对某一商品的评分视作一个 s o f t m a x softmax softmax 神经元， s o f t m a x softmax softmax 神经元是个长度为 k k k 的向量，其只有一个分量为1，其余分量为0。而未评分的部分就可以用全0的 s o f t m a x softmax softmax 神经元表示。这样某个用户的评分可以用矩阵 V V V 来表示，在给定可见单元的状态下其激活概率为：
P ( h j = 1 ∣ V ) = 1 1 + exp ( − b j − ∑ i = 1 M ∑ k = 1 K V i K W i j K ) P\left( {{h_j} = 1\left| V \right.} \right) = \frac{1}{{1 + \exp \left( { - b_j - \sum\nolimits_{i = 1}^M {\sum\nolimits_{k = 1}^K {V_i^KW_{ij}^K} } } \right)}} P(hj=1∣V)=1+exp(−bj−∑i=1M∑k=1KViKWijK)1同理，在给定隐单元状态下 ，可见单元的激活率为：
P ( V i K = 1 ∣ h ) = exp ( a i K + ∑ j = 1 F w i j K h j ) ∑ l = 1 K exp ( a i l + ∑ j = 1 F w i j h j ) P\left( {V_i^K = 1\left| h \right.} \right) = \frac{{\exp \left( {a_i^K + \sum\nolimits_{j = 1}^F {w_{ij}^K{h_j}} } \right)}}{{\sum\nolimits_{l = 1}^K {\exp \left( {a_i^l + \sum\nolimits_{j = 1}^F {{w_{ij}}{h_j}} } \right)} }} P(ViK=1∣h)=∑l=1Kexp(ail+∑j=1Fwijhj)exp(aiK+∑j=1FwijKhj)在训练阶段，输入用户打分过分的物品，依次计算输入层和隐藏层的值，完成编码过程；然后，根据隐层值计算输入值，完成解码过程。最后根据两者差距对 RBM 的权重进行更新。
在预测阶段，将用户 u u u的所有评分作为 RBM 的 s o f t m a x softmax softmax 单元的输入，然后计算隐藏层单元的激活概率，再计算可见层单元的概率，取所有概率的期望作为预测值。
(3). 比较：SVD计算过程虽更简单，但由于训练目标单一，容易造成过拟合，而RBM则可以防止梯度爆炸和梯度消失，但求期望的过程会比较复杂，学习效率过慢。
@. 简单描述迭代量化哈希方法(Iterative Quantization，ITQ)的基本思想,并比较 ITQ 方法与局部敏感哈希(LSH)方法的优劣。
参考答案：
(1). 迭代量化哈希方法的基本思想为，先对原始空间的数据集进行 PCA 降维，然后寻找量化误差最小的旋转矩阵，即可得到对应该最优旋转矩阵下的特征向量的二进制编码。(查找 PCA 嵌入式数据；对于 c c c 位编码，采用前 c c c 个 PCA 的主方向 s s s，并在该方向上零阈值进行二值化)
(2). ITQ 方法与局部敏感哈希(LSH)方法的优劣
- ITQ
优点：相比局部敏感哈希(LSH)方法多了一步操作，即数据降维后使用矩阵旋转优化，可以降低量化误差。
劣势：由于 PCA 不同维度的方差不平衡，旋转 PCA 投影数据以尽量减少量化误差时需不断控制旋转角度，即找出最优的旋转矩阵和与之对应的编码，相对麻烦。 - LSH
优点：通过 hash function 映射变换操作，将原始数据集合分成了多个子集合，而每个子集合中的数据间是相邻的且该子集合中的元素个数较小，因此将一个在超大集合内查找相邻元素的问题转化为了在一个很小的集合内查找相邻元素的问题，计算量下降了很多，改善近似检索的计算表现。
劣势：局部敏感哈希(LSH)方法并不能保证一定能够查找到与 query data point 最相邻的数据。
@. 阐述 PageRank 的基本原理，并试着阐述还可能有哪些改进的方式。(15 分)
参考答案：
(1). PageRank:
PageRank 基本思想：如果一个网页被很多其它网页所链接，说明它受到普遍的承认和信赖，那么它的 PagePank 值越高、排名也越高；如果一个网页的 PageRank 值较高，则其所键接的网页也比较重要，PageRank 值也较高。
在初始阶段：网页通过链接关系构建起 Web 图，每个页面设置相同的 PageRank 值，通过若干轮的计算，会得到每个页面所获得的最终 PageRank 值。随着每一轮的计算进行，网页当前的 PageRank 值会不断得到更新，在一轮中更新页面 PageRank 得分的计算公式为
r ( p ) = α ∑ q : ( q , p ) ∈ q r ( q ) w ( q ) + ( 1 − α ) 1 N r(p)=\alpha \sum_{q:\left( q,p \right) \in q}{\frac{r\left( q \right)}{w\left( q \right)}}+\left( 1-\alpha \right) \frac{1}{N} r(p)=αq:(q,p)∈q∑w(q)r(q)+(1−α)N1
- r ( p ) r(p) r(p)：网页 q q q的 PageRank值；
- q q q： p p p的后向链接；
- w ( q ) w(q) w(q)： q q q的前向链接数目；
- N N N：网络中网页的总数；
- α \alpha α：表示阻尼系数；
(2). 可能的改进
- 主题敏感的 PageRank（Topic-Sedsitive PageRank）
在这个算法中，我们需要预先计算离线时页面的重要性的分数；然后，我们为每一个页面计算多种重要性分数，即关于不同的主题来计算这个页面的重要性分数。在查询的时候，把这些重要性分数与根据被查询的主题的重要性分数综合在一起，就形成一个复合PageRank 分数。采用这种方法能形成更加精确的排序值，而不是原始普通的排序值。 - 二次方程推断法（Quadratic Extra polation）
这是一个可以加快 PageRank 的运算速度的方法。它能通过周期性的削减当前的矩阵乘幂迭代的非主要特征向量的方法，大大加快其收敛速度。使用这种方法计算 PageRank 值时，当计算一个包含 8000 万个节点的网络图时，与采用原来的 PageRank 方法相比，计算速度可以提高 20%-300%。 - 分块矩阵排序算法（BlockRank Algorithm）
该算法是 PageRank 算法的另一个加速算法，它首先把网络根据领域划分成不同的区域，为每个区域计算它们的 局部 PageRank 值；估计它们的相对的重要性（每个区域的BlockRank值）；用这个区域的Block-Rank.值来给每个区域 的Block-Rank赋予一定的权重。然后再把这些加权的局部的 PageRank 值近似地看作全局的 PageRank 向量，把这个向量 作为标准的 PageRank 算法的开始向量。这种方法可以减少计算的迭代次数，可以把更多的时间用于收敛速度慢的区域 的计算，提高了局部 PageRank 计算的有效性。BlockRank 算法可以采取并行或分布的形式来进行计算，节约运算的时间。 此外，局部的 PageRank 计算结果在以后的计算中可以被再利用。
@. 运动目标检测的困难有哪些？并简述目前常用方法的优缺点。
参考答案：
(1). 困难包括：光照变化、动态背景、伪装目标、相机抖动、相机对焦不准、间断的物体运动、阴影影响等等。
(2). 目前常用方法包括如下：
- 帧间差方法
优点：算法简单、容易实现、检测速度较快。而且一般相邻两帧的时间间隔比较短，因此对场景的光线变化不是特比敏感。
缺点：对噪声非常敏感且检测出的物体位置不精确，其次帧差法的检测结果与目标运动速度和相邻两帧间隔大小有关。目标运动过快会被分成两个目标，目运动过慢会被视作背景。 - 背景差分法
优点：算法比较简单；一定程度上克服了环境光线的影响。
缺点：不能用于运动的摄像头；对背景图像实时更新困难。 - 统计平均法
优点：选择适当的参数能够很好地修正背景图像，从而得到一个较为真实的背景估计图像。
缺点：对于频繁出现的运动目标或者在场景内停留的时间较长，该模型不能够很好的提取运动目标。在复杂场景中会将一些伪目标（如摇摆的树枝等）检测为运动目标。这是由于在场景中树枝的摇摆会引起像素值的变化。 - 混合高斯模型
优点：能适应背景随时间的缓慢变化，能描述背景中的如显示器屏幕闪烁，树枝晃动等一些周期性扰动等。
缺点：对于缓慢运动的目标不能精确的检测提取，不能够很好的适应阴影、噪声造成的误检或漏检，且不能适应场景的突然变化。 - 非参数核密度概率估计
优点：可以渐进收敛于任意形状的概率密度，而且对动态的场景还具有一定的适应性。
缺点：运算量非常大，很难实现对视频图像的实时检测。对内存要求比较高. - 基于码本的运动目标检测
优点：鲁棒性强，计算效率高，速度快，运算量少，精确度高。
缺点:当训练帧存在较大运动前景时，码本模型的建立会非常不准确，更新参数的调整非常复杂，不能广泛应用于实际情况；由于对于视频每个像素都要建立一个甚至多个码本模型，训练模型比较耗时，若需要背景重构，将大大降低运算速度。 - ViBe
优点：思想简单，易于实现。（用有限样本近似无限时间窗口）计算量小。运算效率高。（样本少；优化了相似度匹配算法）样本衰减策略。（随机更新策略使得样本生命周期指数衰减，不同于其他方法的先进先出）
缺点：有鬼影、静止目标、阴影前景和运动目标不完整等问题。 - SubSense
优点：使用了反馈机制，更好适应不同场景，对噪声更为鲁棒。