Automatic Modulation Classification UsingConvolutional Neural Network 解读（基于SPWVD和BJD特征融合的卷积神经网络调制自动）

摘要：自动调制分类（AMC）在频谱监测和认知无线电中越来越重要。然而，现有的调制分类算法大多忽略了不同特征之间的互补性和特征融合的重要性。为了弥补这些缺陷，该文提出了一种基于卷积神经网络（CNN）的AMC特征融合方案。该方法试图融合不同的图像和信号的手工特征，以获得更具辨别力的特征。首先，提取了8个手工特征和不同的图像特征。后者通过平滑伪平滑伪wigner-ville分布和Born-Jordan分布将信号转换为两种时频图像，并利用一个微调的CNN模型提取图像特征。其次，将图像特征和手工特征相结合，形成关节特征，并采用多模态融合模型对关节特征进行融合，以进一步改进关节特征。最后，仿真结果显示了该方案优越的性能。值得一提的是，在信噪比一定的情况下，分类精度可达92.5%−4分贝。

关键词：自动调制分类、时频分布、卷积神经网络、多模态融合。

1.引言

自动调制分类（AMC）是指自动识别接收信号的调制等级，这是频谱管理、干扰识别、电子战等各种应用中的一项重要技术。最近，随着无线通信的显著发展，信号的调制类型日趋复杂和多样化，无线电环境日益恶劣。这些因素使得AMC变得比以往任何时候都更加困难，吸引了更多的关注。因此，探索更有效的AMC方法至关重要。

一般来说，AMC方法可以大致分为两类：基于似然（LB）的方法和基于特征（FB）的方法。前者在理论上可以通过比较不同调制信号的似然函数来获得最佳结果，从而最大限度地提高分类精度。似然函数主要分为三类：混合似然比检验、平均似然比检验和广义似然比检验。然而，当存在更多的未知参数时，分类精度会严重下降，当存在更多的调制信号类型时，LB方法的计算复杂度会很高。相比之下，后者通常在特征设计合理时产生次优解决方案，在AMC领域吸引了大量关注，因为它们识别更多类型的调制信号，并以较低的计算复杂度实现。FB分类系统通常由两个主要部分组成：特征提取和识别子系统。因此，一个或多个精心设计的特性能够显著提高性能。多年来，人们研究了各种特征，如高阶累积量、信号瞬时特征、循环平稳特征、时频分析、。本文采用基于瞬时特征和高阶累积量的特征作为手工特征。

随着人工智能的重大成就，深度学习（DL）以其优异的数据处理能力引起了广泛关注，并在各个领域得到了广泛应用。最近，许多研究人员应用DL来解决AMC问题。AMC领域的先驱之一是O'Shea等人，他证明了基于基带IQ数据训练的卷积神经网络（CNN）的性能超过了基于循环矩特征的专家方法。Mendis等人[18]提出了基于DL的AMC方法，该方法通过谱相关函数（SCF）将信号转换为图像，然后通过深度置信网络从接收信号的SCF图像中提取复特征。然而，它们忽略了其他有效提高分类性能的辅助特征。张等利用CNN的自适应结构从调制信号的ChoiWilliams分布( CWD )中提取特征。然而，他们只考虑了一种时频分布，而忽略了与其他分布相结合来进一步提高性能。类似地，Peng等人研究了一种高效的AMC系统，该系统利用CNN从数字通信信号的星座图中学习特征。然而，该方法在低信噪比环境下性能下降。

上述工作的一个共同局限是它们忽略了不同特征之间的互补性。为了解决这个问题，首次在AMC领域提出了一种多模态融合（MMF）模型，该模型试图集成不同的模态特征，以进一步提高性能。

如上所述，提出了一种利用CNN将特征融合到AMC的新方案。它主要包括三个部分：时频处理、特征提取和特征融合。第一部分利用光滑伪维格纳维尔分布（SPWVD）和玻恩-乔丹分布（BJD）将所有信号转换成时间和频率的二维图像。在第二部分中，我们引入了一个经过微调的CNN模型来学习二维图像的特征。同时，提取了一些手工制作的特征。在最后一部分中，为了更好地表示信号，将图像特征与手工特征相结合形成关节特征，并利用MMF融合两种不同模态的关节特征，进一步提高性能。最后，实验结果表明，该方案具有优越的性能。具体来说，在信噪比为100%的情况下，该方法的分类精度可达92.5%−4分贝。

本文的其余部分组织如下。第二节介绍了两种时频分布的信号模型和基本理论。第三节详细描述了该方案，包括特征提取和特征融合。第四节给出了仿真结果，第五节对本文进行了总结。

2.信号模型与时频分布

A.信号模型

本文主要研究加性高斯白噪声（AWGN）对数字调制信号的影响。

三、 提出的调制分类方案

如图3所示，它主要由三部分组成：时频处理、特征提取和特征融合。时间-频率处理已在第二节中描述。特征提取包括图像特征提取和手工特征提取。特征融合分为三个步骤，首先将手工特征和图像特征相结合形成关节特征，然后利用MMF对关节特征进行融合，最后探索一个自行设计的全连通网络来完成分类任务。下面详细描述了特征提取和特征融合。

A.特征提取

1）图像特征提取：最近，DL是一种通过其分层学习框架提取更有意义特征的新方法。基于DL的方法能够自动学习高维数据的多级表示，这对计算机视觉和情感分析等各个领域做出了巨大贡献。已经提出了几种DL模型，包括堆叠式自动编码器（SAE）、深度信念网络（DBN）和CNN。CNN被发现在分类和检测领域比其他模型有更好的效果。因此，本文利用CNN来提取图像特征。

与其他DL模型相比，CNN的结构有两个特点，即局部连接和共享权重。局部连接是指每个神经元只与前一层的一个局部区域连接。如图4所示，在（m−1）-th层都连接到m-th层的同一个神经元。共享权重可以解释为用于计算相同特征映射的神经元的权重相同。在图5中，相同的颜色表示相同的重量。通过这两个特性，可以大大减少参数的数量。

完整的卷积操作包括卷积层和池化层，如图6所示。卷积层将前一层的特征映射视为输入，并将输入和权重集进行卷积运算。池化层通过非线性下采样操作降低特征图的维数。

考虑到从头开始训练整个CNN需要相当长的时间和精力，本文采用迁移学习，可以减少计算开销。迁移学习概念的灵感来源于人们可以利用学到的知识更快地解决新问题或获得更好的解决方案[31]。迁移学习是指在另一种情况下，为了提高泛化能力而对所学信息进行迁移。目标是在第一种情况下利用从数据优势中学习到的信息来加快新情况下的学习过程。本文采用迁移学习与新模型共享学习参数，以提高和优化模型的学习效率，而不必像以前那样从头开始学习。

然而，现有的预训练模型，如VGGNet[32]、ResNet[33]和DenseNet[34]，是在大规模自然图像上训练的，这些图像与AMC任务明显不同。因此，调整预先训练好的CNN模型以使其适合我们的工作是必不可少的。作为图像网络分类的标志性模型和ILSVRC'15的冠军，ResNet在图像分类领域的影响力和使用频率越来越高。如此好的性能的关键原因是引入了有效的剩余结构，该结构允许来自多个先前层的特征映射的任意组合，以形成更好的体系结构路径。同时，剩余结构使模型更易于优化，并显著加深网络以提高性能。因此，采用ResNet作为特征提取器，期望获得强大的特征。

经过一些尝试，我们引入了一个微调的ResNet152模型作为我们的图像特征提取器，它可以通过在不同层之间创建快捷路径来加强特征传播。具体地说，由于在我们的例子中，大规模自然图像类型的数量与调制类型不匹配，因此删除了ResNet152模型的最后一个完全连接的网络。同时，在最后一个卷积层的后端添加了一个全局池，可以大大减少参数的数量。经过这种微调后，ResNet152的输出正好是所需的图像特征。

为了更直观地了解从网络中提取的图像特征，我们在使用SPWVD变换时可视化了第一个和最后一个卷积层的输出。

在我们的工作中，第一层和最后一层的输出分别是64个低阶特征（112*112像素）和2048个高阶特征（7*7像素），如图7和图8所示。显然，从原始输入中提取的低层特征仍然保持一定的相似性，并且具有一定的轮廓和形状。

此外，基于前一层低层特征形成的高层特征更抽象、更多样，有利于调制分类。

2） 手工特征提取：分类系统的性能取决于特征的选择。这些特征应易于获得，并具有明显的可区分性。本文考虑了一些在相关论文中更受欢迎的特征[13]。

a） 归一化中心瞬时振幅功率密度的最大值：

其中Ns是采样数，ma表示瞬时振幅的平均值。

b） 归一化中心瞬时振幅绝对值的标准偏差：

c） 瞬时相位中心非线性分量绝对值的标准偏差：

d） 瞬时相位的中心非线性分量的标准偏差：

e） 非线性中心瞬时频率绝对值的标准偏差：

f） 由于高阶累积量对高斯噪声的鲁棒性，以往的工作中通常使用高阶累积量，因为当随机变量为高斯分布时，随机变量的高阶累积量值等于零。

B.特征融合

在AMC领域，基于特征的方法通过提取高质量的特征来识别信号，研究人员倾向于提出各种鉴别特征，如最大功率谱密度、循环功率谱、星座、高阶累积量等。然而，只有少数工作尝试将特征融合考虑在内，以实现不同特征之间的优势互补。因此，本文考虑特征融合，如图9所示。由于手工制作的特征数量远低于图像特征，因此它们通过连接连接到图像特征。然后，采用MMF对提取的特征进行处理，通过将所有模态的所有特征串接起来，并在每个模态特征和串接的特征之间加入惩罚项，降低了提取的复杂度。

在我们的工作中，信号被表示在两个不同的彩色图像中，通过SPWVD和BJD变换。由于不同模式的结果在处理同一问题时应该是一致的。在调制分类过程中，MMF被提出来，将从SPWVD和BJD中学习到的知识融合在一起，得到进一步的认证。它不仅考虑单个模态的特征，而且考虑每个模态特征之间的关系。

在下文中，将描述MMF方法的细节。由于输入包含同一受试者的两种模式，因此需要考虑两种预测标签分布之间的惩罚。为此，采用Jensen-Shannon（JS）散度来计算两种预测标签分布之间的惩罚，该散度弥补了Kullback-Leibler（KL）散度不对称的不足。

其中K表示所有类别的总数，ti表示真实概率分布，N表示训练样本数，μ表示超参数。损失函数的第二个和最后一个分量是正则化项，可以避免过度拟合。

在参数学习过程中，梯度下降被用来最小化损失函数。

在我们的实现中，参数{θc，θ1，θ2}需要通过在每次迭代中更新来获得。此外，由于在我们的模拟中有大量的数据集，因此采用了mini-batch来加速参数学习。将X1和X2定义为对象X上的两个不同模态特征，MMF的主要步骤如下：

步骤1：将数据集随机分成小批量。

步骤2：连接x1和x2以获得xc。

步骤3：随机初始化参数Θ={θc，θ1，θ2}。

步骤4：随机选择一个小批量Xb。

步骤5：利用梯度下降法用导数更新Xb上的θc.

步骤6：重复步骤4。

步骤7：利用梯度下降法更新Xb上的θ1和θ2，并在等式n中求导数。

步骤8：重复步骤4-7，直到结果收敛或达到最大迭代次数。

在预测过程中，定义p为期望的标签分布，可以得到最终的概率分布。

在预测过程中，定义p为期望的标签分布，可以得到最终的概率分布。

最后，通过构造上述公式的拉格朗日函数，可以得到最终概率。

4.模拟和讨论

在本节中，将进行各种模拟以评估我们方案的性能。首先，给出了实验信号的参数和模型的结构。其次，数值结果验证了手工特征的有效性。最后，为了验证特征融合的有效性，比较了SPWV（仅采用SPWVD和手工特征）、BJD（仅采用BJD和手工特征）等几种方法的性能，vanilla fusion（VF）（采用前两种方法中的串联特征）和MMF（仅采用通过自行设计的CNN模型提取的CWD特征）[20]。

A.实验数据和模型设计

在我们的仿真中，BPSK、QPSK、2FSK、4FSK、2ASK、4ASK 16QAM和OFDM调制信号被用来测试分类性能。信号参数设置如下：采样频率fs为40 KHz，载波频率在4到16 KHz之间随机变化，每个示例的符号数为8，每个示例包含512个样本。所有信号源均在Matlab 2015b中创建。对于训练，在相同的信噪比条件下，为每种调制类型生成1000组，生成信号的过程重复7次，其中信噪比从−4至8分贝，间隔为2分贝。即总共56000个示例。此外，还生成了5600个示例来测试我们的方案的性能。由于ResNet152的默认接收场，所有生成的信号都转换为SPWVD和BJD图像，并调整为（224，224）。

在图像特征提取的过程中，我们选择了一个经过调优的ResNet152作为我们的特征提取器，它允许来自多个先前层的特征映射的任意组合，以形成更好的架构路径。关于微调的更多细节在第III-A节中提到。在分类阶段，我们使用自行设计的全连接网络来完成我们工作中的调制分类，其架构为[2056128,8]。输入层中的神经元数量为2056，与图像特征和手工特征的总和相匹配。在参考其他相关文献和进行大量实验的情况下，将隐层神经元数设为128，可以得到更好的结果。输出数量为8对应于调制类型。此外，较小的学习速率被设定为0.001，以避免模型权重过快失真。

5.结论和今后的工作

本文主要试图解决大多数FB方法忽略不同特征之间互补性的问题。针对这一问题，提出了一种面向AMC的特征融合方案。调制后的信号通过SPWVD和BJD两种时间频率变换初步转化为二维图像。然后基于精细调整的ResNet152模型提取图像特征。此外，为了获得更有效的特征，将图像和手工特征结合起来形成联合特征。最重要的是，引入了一种特殊的融合机制，将两个不同模态提取的特征进行融合，充分利用了不同特征之间的关系。最后，在分类精度和运行时间方面，将该方案与传统的未考虑特征融合FB方法进行了性能比较。仿真结果表明，采用特征融合训练的微调CNN模型在低信噪比下具有优越的性能。

在进一步的工作中，这项研究可以在几个方向上继续进行。首先，仍然存在一些需要考虑和探索的调制类型，如高阶QAMs和QSK，这可以进一步增强该方法的泛化能力和鲁棒性。此外，大多数模型都是基于监督学习进行训练的，这需要相当长的时间来标记训练数据。因此，研究一种基于半监督学习的调制分类方法在AMC领域具有重要的应用价值。如何解决这些问题将是我们今后工作的重点。